Real-time Human Detection and Security System

人 型 即 時 辨 識 系 統 Real-time Human Detection and Security System 隊 名 : 偵 查 隊 系 別 : 資 訊 工 程 系 指 導 老 師 : 鄭 淑 真 老 師 組 員 學 生 : 吳 冠 億 陳 冠 達 王 士 豪 黃 智 鴻

ㄧ.. 前 言 : 現 今 社 會 科 技 非 常 發 達, 我 們 只 是 利 用 簡 單 工 具 做 出 ㄧ 個 簡 單 的 監 視 系 統 運 用 一 些 簡 單 原 理, 監 視 器 目 前 十 分 普 及, 要 是 能 好 好 推 廣 此 種 系 統, 必 定 對 社 會 貢 獻 良 多, 如 前 陣 子 美 國 警 方 開 發 出 的 防 竊 車 賊 的 系 統, 也 是 運 用 電 腦 程 式, 實 用 結 果 真 的 有 效 嚇 阻 犯 罪 率, 目 前 我 們 用 視 訊 web 來 模 擬 實 際 情 形, 針 對 物 體 經 過 進 行 辨 識, 並 利 用 電 腦 來 輸 出 結 果 二. 簡 介 : 由 於 近 幾 年 來 犯 罪 率 居 高 不 下, 而 監 視 器 正 式 不 可 或 缺 的 幫 手 但 是 犯 罪 者 往 往 會 趁 管 理 人 員 不 注 意 的 時 候 犯 案, 也 由 於 管 理 人 員 通 常 不 可 能 做 到 24 小 時 監 視 每 個 監 視 器 畫 面, 而 有 了 漏 洞 死 角 而 此 系 統 正 好 可 以 讓 畫 面 由 電 腦 判 斷 讓 平 時 管 理 者 獲 得 最 多 時 間, 在 一 般 如 動 物 汽 機 車 經 過 時, 不 做 警 告 的 動 作, 而 在 監 視 器 有 人 型 物 體 經 過 時 再 提 出 警 告 讓 管 理 者 在 工 作 上 提 高 效 率 增 加 突 發 事 件 的 反 應 時 間 以 及 安 全 性 三. 原 理 : 此 一 系 統 我 們 將 使 用 C# 語 言 製 作, 首 先 從 監 視 器 獲 取 影 像, 以 秒 為 單 位 來 進 行 擷 取 畫 面, 將 上 一 張 圖 片 與 現 在 做 比 較 我 們 將 一 擷 取 到 的 影 片 作 定 格 使 一 連 續 動 作 分 隔 為 數 張 圖 片, 然 後 用 點 圖 陣 擷 取 存 入 記 憶 體 做 處 理, 對 於 變 動 較 小 背 景 物 會 因 為 圖 片 的 相 減 而 被 忽 略, 而 當 有 物 體 經 過 圖 片 相 減 必 會 出 現 有 差 異 部 分, 我 們 將 圖 片 的 差 異 的 進 行 形 狀 大 小

的 判 斷, 以 區 分 開 人 跟 其 他 物 體, 然 道 進 行 連 續 比 較, 對 於 人 經 過 時 數 秒 內 的 連 續 幾 次 判 斷 結 果 都 符 合, 就 做 出 判 別 並 輸 出 結 果 PS( 本 程 式 定 位 在 定 點 監 視 器 ) 四. 辨 識 流 程 與 步 驟 說 明 : 步 驟 1. 視 訊 設 定 Webcam Setup 程 式 開 始 前 可 設 定 畫 面 解 析 度 跟 頻 率, 當 然 硬 體 方 面 必 須 支 援 步 驟 2. 畫 面 輸 入 Realtime Webcam Image Browsing

我 們 運 用 由 DirectX 中 的 DirectShow 的 方 法 來 進 行 CCD 的 畫 面 的 輸 入 程 式 的 工 作 [ 註 ] 由 Microsoft 提 供 步 驟 3. 畫 面 定 格 暫 存 Freeze Frame and Capture Image 讀 取 影 片 後 可 依 照 需 求 調 整 畫 面 擷 取 之 秒 數, 來 進 行 畫 面 暫 存, 另 外 也 可 手 動 儲 存 擷 取 畫 面 步 驟 4. 圖 片 相 減 Image Subtraction 我 們 將 暫 存 的 圖 片 相 減, 方 法 是 將 相 同 的 RGB 減 去, 留 下 的 就 是 差 異 部 份, 關 於 相 減 方 式 可 以 下 列 式 子 表 示 : [ 註 ]bi(t) 為 t 時 間 內 差 異 影 像,pi 代 表 影 像 中 位 置 i 的 RGB 值 步 驟 5. 反 白 & 二 值 化 1. 反 白 ( 去 雜 質 ):Remove Impurities 我 們 將 雜 質 定 義 為 : 兩 張 相 減 所 得 到 的 圖 片 中, 對 於 辨 識 沒 有 幫 助 的 小 連 續 點 將 相 減 完 成 後 的 彩 色 圖 片 存 檔 再 將 RGB 設 門 檻 值, 再 逐 一 進 行 去 雜 質 我 們 將 RGB 分 別 設 為 R( 紅 色 )=100,G( 綠 色 )=50,B( 藍 色 )=100 因 為 人 類 視 覺 對 R 和 B 比 較 敏 感 所 以 設 定 為 100, 而 比 較 沒 有 影 響 的 G 則 設 為 50

2. 二 值 化 :Image Binarization 所 謂 的 二 值 化 意 義 為 : 使 圖 片 中 只 用 兩 種 顏 色 來 表 示 我 們 將 對 於 那 些 小 於 門 檻 值 的 點, 將 其 值 設 為 255( 白 色 ), 反 之, 則 設 為 0( 黑 色 ) 步 驟 6. 判 斷 - 過 濾 大 小 ( 第 一 次 ) Estimation 1 filtered SIZE 先 判 斷 處 理 完 的 B P M 圖 檔, 用 圖 片 長 寬 計 算 所 有 黑 點 的 總 數, 因 為 物 體 有 一 定 大 小, 所 以 我 們 設 個 會 隨 解 機 度 改 變 的 門 檻, 當 黑 點 總 合 數 小 於 時 則 忽 略 不 理, 當 大 於 最 小 標 準 時, 則 進 行 下 一 階 段, 於 此 可 以 過 濾 小 貓 小 狗 之 類 太 小 物 體, 如 果 是 大 於 人 應 有 大 小 這 物 體 也 一 定 有 人 為 搬 運 步 驟 7. 判 斷 - 顏 色 辨 識 ( 第 二 次 ) Estimation 2 color recognition 當 人 體 經 過 時 畫 面 解 取 到 一 定 有 顏 色 上 差 異, 我 們 先 將 取 得 在 第 一 次 處 理 上 差 異 處, 然 後 比 對 原 始 圖 片 上 人 體 臉 部 位 會 有 膚 色 呈 現, 手 腳 也 極 有 可 能, 第 二 在 髮 色 上 照 常 理 說 也 會 是 黑 色 呈 現, 此 二 重 點 是 我 們 辨 識 方 向, 我 們 將 設 三 原 色 ( 膚 色 ) 資 料 庫 以 比 對 PRe,PGe,PBe 然 後 再 判 斷 結 果 是 否 大 於 門 檻 值 方 法 : PR-PRe + PG-PGe + PB-PBe =AND 步 驟 8. 判 斷 - 區 塊 檢 視 和 速 度 判 斷 ( 第 三 次 ) Estimation 3 move block & speed-check

最 後 我 們 在 畫 面 分 割 為 9 宮 格, 然 後 簡 視 物 體 出 現 在 哪 個 區 域 ( 此 時 物 體 有 一 定 大 小 不 可 能 只 出 現 於 一 塊 區 域, 故 不 用 去 做 忽 略 問 題 ) 然 後 在 最 後 輸 出 作 說 明, 然 後 速 度 方 面 要 是 人 物 以 快 速 經 過 此 時 可 能 只 判 斷 出 一 次 ( 當 人 物 慢 步 走 過 出 現 判 斷 差 異 一 定 不 只 一 次 ) 我 們 輸 出 也 將 註 明 之 步 驟 分 解 說 明 1. 視 訊 抓 取 Initialization 此 部 份 電 腦 會 自 動 搜 尋 連 接 上 的 視 訊 w e b ( 註 : 要 是 電 腦 未 接 視 訊 程 式 將 會 出 現 警 告 並 關 閉 ) 供 使 用 者 挑 選 所 需 視 訊 2. 視 訊 設 定 Webcam Setup

此 處 可 以 變 更 視 訊 各 種 設 定 ( 註 : 各 種 選 項 會 受 硬 體 配 備 限 制, 越 好 的 視 訊 支 援 的 功 能 越 多 ) 3. 畫 面 輸 入 成 功 Successful Connection 4. 程 式 說 明 Program Illustration

此 處 可 調 整 擷 取 畫 面 速 度 可 以 手 動 儲 存 結 果 ( B ) 或 定 格 圖 ( A ) 可 調 整 二 值 化 對 比 程 度 此 處 顯 示 步 驟 & 結 果 5. 圖 片 相 減 Image Subtraction

將 一 影 像 序 列 的 連 續 兩 張 圖 片 兩 兩 相 減, 將 相 同 的 RGB 值 減 去, 留 下 有 差 異 的 部 份 圖 1 圖 2 圖 3 ( 圖 3 = 圖 2 圖 1 ) 6. 反 白 ( 去 雜 質 )& 二 值 化 1. 二 值 化 Image Binarization 圖 像 二 值 化 是 設 定 一 個 臨 界 值 (Threshold), 將 灰

階 圖 像 中 的 灰 階 值 與 臨 界 值 做 比 較, 大 於 臨 界 值 是 設 定 1( 白 色 ), 小 於 臨 界 值 則 為 0( 黑 色 ) 二 值 化 的 目 的 是 區 分 出 圖 像 中 的 物 件 與 背 景, 以 獲 得 物 件 的 資 訊 ( 是 灰 階 化 ㄧ 種 應 用 ) 二 值 化 的 一 般 式 為 : 其 中 f(m,n) 為 灰 階 圖 像 之 灰 階 值,T 為 臨 界 值, fb(m,n) 為 圖 像 二 值 化 後 的 值,m 為 圖 像 水 平 軸 座 標,n 為 垂 直 軸 座 標 以 機 器 人 模 型 當 範 例 2. 去 雜 質 ( 反 白 ):Remove Impurities ( 標 題 英 文 要 大 寫 ) 我 們 將 雜 質 定 義 為 : 兩 張 相 減 所 得 到 的 圖 片 中,

對 於 辨 識 沒 有 幫 助 的 小 連 續 點 將 相 減 完 成 後 的 彩 色 圖 片 存 檔 再 將 RGB 設 門 檻 值, 再 逐 一 進 行 去 雜 質 我 們 將 RGB 分 別 設 為 R( 紅 色 )=100,G( 綠 色 )=50, B( 藍 色 )=100 因 為 人 類 視 覺 對 R 和 B 比 較 敏 感 所 以 設 定 為 100, 而 把 對 視 覺 比 較 沒 有 影 響 的 G 設 為 50 7. 程 式 執 行 結 果 Experimental Result esults 狀 況 一 : 當 有 人 經 過 時 第 一 次 判 斷 F i r s t e s t i m a t i o n

第 二 次 判 斷 S e c o n d E s t i m a t i o n 狀 況 二 : 當 沒 有 人 經 過 時

狀 況 三 : 當 有 小 物 體 經 過 時 ( 忽 略 不 理 ) 8. 判 斷 結 果 失 敗 Detection Error 狀 況 一 : Situation 1

狀 況 二 : Situation Two 狀 況 三 : Situation Three

造 成 辨 識 失 敗 的 其 主 要 原 因 有 下 列 幾 點 : 1. 當 背 景 光 線 明 顯 改 變 時, 會 造 成 判 斷 上 誤 判 2. 當 人 以 急 高 速 移 動 ( 快 速 奔 跑 ), 可 能 造 成 在 畫 面 擷 取 其 間 經 過, 過 影 像 過 模 糊 無 法 辨 識 3. 當 監 視 器 被 移 動 到, 會 造 成 畫 面 比 對 不 正 確 10. 總 結 Conclusion 我 們 想 藉 由 開 發 此 系 統 來 達 到 更 加 方 便 與 安 全 的 監 控 模 式, 以 往 的 監 視 器 都 是 由 人 工 來 監 視, 有 著 其 不 可 避 免 之 缺 點, 人 為 的 疏 失, 如 判 斷 不 正 確, 注 意 不 及 中 等, 使 得 效 率 下 降 如 何 簡 化 使 用 方 式 一 直 是 人 類 科 技 進 步 的 動 力, 更 方 便 的 管 理 模 式, 是 未 來 的 趨 勢, 而 方 便 即 時 的 監 控 系 統, 更 是 在 安 全 管 理 方 面, 不 可 欠 缺 的 研 究

到 目 前 為 止 雖 然 我 們 只 能 做 到 用 顏 色 及 身 體 比 例 來 進 行 辨 識, 其 他 的 方 法 受 限 於 技 術 上 的 難 以 實 現, 功 能 上 還 有 待 改 進 但 我 們 的 目 的 是 為 了 讓 這 些 成 果 延 續 下 去, 讓 我 們 的 後 輩 可 以 繼 續 發 展, 讓 他 更 為 完 善, 未 來 一 定 可 以 實 現 的 規 格 系 統 ( H a r d w a r e a n d S o f t w a r e R e q u i r e m e n t ) : 作 業 系 統 : W i n d o w s 2 0 0 0 ` X P 以 上 版 本 設 備 : 監 視 器 電 腦 等 名 稱 規 格 備 注 個 人 電 腦 A M D 2. 2 G / 記 憶 體 1 0 2 4 M B 1 台 / 8 0 G B / 1 7 L C D 支 援 G i g a p o r t 集 線 器 高 速 交 換 式 2 4 p o r t 支 援 G i g a p o r t

W E B C O M 崴 瑞 M C - 3 1 0 ( 型 號 ) 撰 寫 平 台 M i c r o s o f t V i s u a l S t u d i o. N E T 2 0 0 3 ( M i c s o f t W i n d o w s X P P r o f e s s i o n a l ) 1 台 應 用 項 目 : A p p l i c a t i o n s : 1. 大 樓 電 梯 監 視 器 的 應 用 : 目 前 熟 知 很 多 色 狼 案 件 都 與 電 梯 息 息 相 關, 所 以 ㄧ 但 有 人 乘 坐 電 梯 監 控 人 員 可 以 獲 得 通 知 監 視 情 況, 並 可 順 便 確 認 是 否 為 本 大 樓 住 戶 2. 重 要 設 備 場 所 的 保 護 : 像 某 些 重 要 店 家 的 機 房 或 企 業 的 系 統 中 樞 地 方 平 常 是 不 該 有 人 進 入 的, 裡 面 往 往 有 極 為 重 要 的 設 備 儀 器 及 資 料 所 以 一 但 有 人 入 侵 可 以 馬 上 進 行 了 解 以 免 重 大 損 失 3. 停 車 場 使 用 : 迅 速 分 辨 經 過 的 物 體 為 人 類 時, 能 適 時 的 發 出 警 告, 提 醒 管 理 人 員, 讓 管 理 人 員 可 以 快 速 的 應 變, 防 止 人 為 的 疏 失, 以 達 到 增 加 反 應 時 間, 減 少 意 外 事 故 或 犯 罪 行 為 的 發 生 4. 街 道 死 角 的 控 管 : 如 : 公 園 公 共 廁 所 陰 暗 巷 弄 等 等 可 以 和 警 局 連 線, 遠 端 監 控 這 些 地 方, 以 達 到 改 善 治 安 的 重 大 助 益

預 期 成 果 ( O U T C O M E ) : ( 1 ). 學 校 圖 書 館 大 樓 的 夜 間 安 全 監 控 ( 2 ). 學 校 各 停 車 場 的 夜 間 安 全 監 控 ( 3 ). 學 校 各 宿 舍 的 夜 間 安 全 監 控 ( 4 ). 校 內 各 系 系 館 夜 間 安 全 監 控 ( 5 ). 校 內 各 棟 大 樓 的 夜 間 安 全 監 控 ( 6 ). 校 內 陰 暗 死 角 的 安 全 監 控 工 作 分 配 本 系 統 使 用 C # 編 輯 陳 冠 達 : 資 料 收 集 程 式 收 集 功 能 測 試 吳 冠 億 : 平 台 架 構 程 式 整 合 主 程 式 撰 寫 王 士 豪 : 模 組 測 試 整 合 測 試 圖 片 研 究 黃 智 鴻 : 灰 階 辨 認 整 合 測 試 書 面 資 料

參 考 資 料 1. 參 考 The Code Project 網 站 : h t t p : / / w w w. c o d e p r o j e c t. c o m / 2. 參 考 南 台 科 技 大 學 91 屆 資 工 系 手 寫 辨 識 系 統 組 相 關 資 料 3. 參 考 書 :Visual C#.net 程 式 設 計 經 典 松 崗 出 版 作 者 : 曹 祖 聖 吳 明 哲 等 4. 參 考 書 :Visual C++.net 程 式 設 計 博 碩 出 版 作 者 : 超 維 度 工 作 室