<4D F736F F D20B2C4A454B3B920A448C179B0BBB4FABA74BAE2AA6B2E646F63>

Size: px

Start display at page:

Download "<4D F736F F D20B2C4A454B3B920A448C179B0BBB4FABA74BAE2AA6B2E646F63>"

接煊阮
5 years ago
Views:

1 第三章人臉偵測演算法 3.1 人臉偵測系統為了使家用機器人可以對家庭成員進行追蹤以提供協助, 首先, 就是要讓家用機器人可以偵測出人臉所以本章將詳述如何在環境中找到人臉所在的位置, 當偵測到人臉之後再交由人臉追蹤系統進行持續地追蹤此系統為機器人視覺系統初始化的狀態人臉偵測之流程圖如圖 3-1 所示在人臉偵測的過程當中, 系統會先將輸入的影像進行膚色的色彩分割, 並且透過形態學的閉合運算 (Closing) 填滿膚色區域內空洞及不連續之處接著我們透過膚色區域投影將屬於膚色的區域框選出來, 並且利用投影的長寬比先排除可能不屬於人臉的區域, 再將可能屬於人臉的區域交由專注式串聯法 (ttentional Cascade)[14] 來判別此區域是否為正面的人臉以下各章節將對圖 3-1 的各元件分別加以說明為了使系統能夠快速的搜尋到人臉位置, 在進行人臉偵測之前, 我們會先將輸入的彩色影像縮小為彩色影像, 以減少人臉偵測所需的時間 3.2 膚色搜尋及選取本論文主要是利用膚色的色彩分佈及分割形態學的閉合運算及色彩投影, 先將膚 CMOS sensor Color Segmentation Morphology Closing Color Region Mapping NO Candidate is face or not ttentional Cascade YES Face racking 圖 3-1 人臉偵測系統流程圖 41

2 色區域框選出來, 然後利用投影區域長寬比以判斷此區域是否可能為人臉區域由以上的做法可以縮小搜尋可能為人臉的範圍圖 3-2(a) 為膚色分割測試首先, 先利用膚色色彩分割將影像當中屬於膚色的像素分割出來因為膚色為人臉偵測的第一個步驟, 所以必須先找到膚色分佈才可以進行色彩分割, 所以我們根據在不同的環境及光源的膚色色彩分佈的情況, 隨時調整其膚色分佈閥值如圖 3-2(a) 與 (c) 所示, 測試圖 1 及測試圖 2 的膚色色彩分佈是不同, 但只要 (a) 膚色分割測試圖 1 (b) 測試圖 1 之膚色分割結果 (c) 膚色分割測試圖 2 (d) 測試圖 2 之膚色分割結果圖 3-2 膚色分割測試 42

3 適當地調整其色彩分佈即可將膚色分割出來, 圖 3-2(b) 與 (d) 分別為色彩分割之後的結果當色彩分割完成之後, 接下來利用第二章所提之形態學的閉合運算 (Closing) 將圖 3-2(b) 色彩分佈洞空之處填滿, 圖 3-3(a) 為經由閉合運算所得到之結果最後, 使用色彩投影法將屬於膚色的區域框選出來, 如圖 3-3(a) (b) 與 (d) 所示圖 3-3(a) 為第一次投影的結果, 分別可以框選出 1 及 2 兩個區域, 並且再利用此兩個區域再進行第二次的投影, 即圖 3-3(b) 與 (d) 所示, 此用意在移除不是膚色的區域 1 2 (a) 測試膚色分割圖, 第一次投影 (b) 第二次 1 投影結果 (c) 第二次 2 投影結果 (d) 最後投影框選結果圖 3-3 色彩投影法 43

4 3.3 專注式串聯法假設前一小節已經將可能為人臉的區域框選出來, 接下來我們會利用專注式串聯法來判定框選出來的區域是否為正面的人臉在人臉偵測領域中, 無論是基於特徵法 (Feature-based methods) 或者是基於表象法 (ppearance-based methods) 等等之研究方法, 常使用的方法是將輸入的影像進行全域的掃描 (Full Searching), 此方式是先在影像中取出一小區塊的影像視窗 (Sub-window), 接著利用各種特徵或者訓練過的類神經網路對此影像視窗進行人臉特徵的檢驗, 若不是人臉的話, 則再取下一塊影像視窗為了準確地偵測出人臉, 通常會包含許多特徵及判斷條件, 雖然有一定的準確率, 但是相對來說, 也會消耗比較多的運算量在處理非人臉的影像視窗如圖 3-4 所示, 專注式串聯法可解決過多的運算量浪費在判斷非人臉影像視窗的問題其人臉偵測器主要是使用數個簡單的臉部特徵, 稱為簡易分類器 (Simple Classifier), 串聯成為一個複雜分類器 (Complex Classifier) 愈前面的分類器規則愈容易, 所需運算量也愈少, 但是具有快速判斷影像視窗為人臉或者是背景之效果 ; 愈後面特徵則是愈複雜人臉規則, 所以運算量也隨之提高, 不過當層數愈多時, 人臉偵測的準確性也會提高如圖 3-4 所示, 在判斷的過程中以來表示通過某一層特徵的檢測, 若為 F 則表示偵測失敗, 也就是此影像視窗不是屬於人臉本論文利用串聯的方法來判斷輸入的影像視窗是否為正面的人臉, 因為結合了膚色的條件, 所以在人臉偵測時不必進行全域的掃描, 如此可以減少運算量以達到即時性偵測人臉的效果 Sub-windows n Face F F F F Reject Sub-windows 圖 3-4 人臉偵測串聯法 44

(X_temp, Y_temp) M_W B (X,Y) M_H 圖 3-5 正面人臉之特徵首先, 我們定義本系統所需之人臉正面特徵根據觀測及統計的結果, 投影之後的臉部寬度的四分之一, 也就是的長度, 大約是眉心之間的距離, 並且依照圖 3-5 所示, 我們依照公式 (3-1) 設定長度為此特徵區域的高度, 兩眼及眉心的寬度也設定為, 公式 (3-1) 及公式 (3-2)

5 (X_temp, Y_temp) M_W B (X,Y) M_H 圖 3-5 正面人臉之特徵首先, 我們定義本系統所需之人臉正面特徵根據觀測及統計的結果, 投影之後的臉部寬度的四分之一, 也就是的長度, 大約是眉心之間的距離, 並且依照圖 3-5 所示, 我們依照公式 (3-1) 設定長度為此特徵區域的高度, 兩眼及眉心的寬度也設定為, 公式 (3-1) 及公式 (3-2) 為正面人臉特徵之設定參數值經由兩眼及眉毛之間組成之上半部區域及下半部為鼻子及兩頰組成之區域, 此特徵為第一個判斷是否為正面人臉之特徵, 最主要的特點在於兩眼相連的區域灰階值總和會比鼻子及兩頰組成之區域之灰階值總和低 ; 另外, 眼睛區域灰階值總和會比眉心區域灰階值總和小, 此為第二個正面人臉特徵 = M_W / 4; (3-1) B = 3 x ; (3-2) X = X_temp + ( M_W- B ) / 2; (3-3) Y = Y_temp ~ Y_temp + M_H / 3; (3-4) 由研究 [15] 顯示頭部為一楕圓形物體且長寬比為 1.2 倍, 所以我們第一層的判斷條件為投影之長寬比, 因為膚色分割有時會將脖子的區域也包含進來而造成投影之後臉部 45

6 的長度大於只有臉部區域的長度, 所以我們設定其投影長寬比大約是一到二倍另外, 在正面人臉特徵方面, 因為考慮到光源對臉部的影響, 所以我們採用區域灰階值總和為判別的條件, 由實驗的結果來看, 只利用第一個特徵及第二個特徵已經可以判定此區域是否為正面的人臉, 不過誤判率過高, 所以我們又加入更詳細的判斷條件來排除非正面的人臉在文獻 [14] 中有討論到, 經由以上兩個正面人臉特徵雖然可以完全地偵測出正面的人臉, 但是誤判率高達百分之四十, 所以必須藉由其他更詳細的臉部特徵將人臉偵測出來透過色彩投影及臉部長寬比初步的篩選之後, 我們將可能為人臉區域送入串聯法判斷此區域是否為正面的人臉我們用以下幾點規則做為判斷條件 : 1) 人臉投影之長寬比為 1 到 2 倍 2) 人臉上半部兩眼區域與兩眉之間之灰階值總和會小於下半部灰階值的總和 3) 眼睛區域的灰階值總和會小於眉毛中間灰階值的總和 4) 在兩側臉頰相鄰的上下區域其灰階值總和會小於某一閥值 5) 在搜尋特徵時利用上下搜尋且搜尋的距離為投影長度的三分之一雖然說 [14] 利用串聯法以克服全域掃描時所需之大量運算量, 不過難以達到即時偵測人臉的效果我們利用膚色區域投影之後的長寬以減少掃描的次數, 希望能達到即時偵測正面的人臉經由公式 (3-1) 及公式 (3-2) 設定之後, 如圖 3-5 所示, 將膚色區域框選出來, 則第一個及第二個正面特徵會在此區域中間且偏上的位置, 於是我們只需要搜尋此區域中間且偏上的區域即可我們設定此兩個特徵的水平起始位置在臉部投影寬度的中間, 如公式 (3-3) 之設定, 並且垂直起始位置主要是根據公式 (3-4) 之設定, 起點由投影長度的最高處, 而搜尋的過程只需要由上往下掃描某一距離即可, 不需要在投影區域內進行全域的掃描, 如圖 3-6 所示 46

7 Face width Face width Face height Face height B F Rejcet sub-window B Rejcet sub-window 圖 3-6 正面人臉特徵判斷流程 3.4 人臉偵測結果圖 3-7 正面人臉偵測之流程圖 3-7 (a) 為原始之測試影像, 利用第二章所介紹之色彩分割法將屬於膚色的範圍分割出來, 圖 3-7 (b) 即為分割之後的結果圖 3-7 (c) 為利用膚色投影之後所框選之區域, 並且為未加入特徵判別的結果圖 3-7 (d) 主要是在顯示利用專注式串聯法之路徑顯示, 黑色點表示不符合所有的特徵條件, 白色點則表示符合所 47

8 有的特徵條件, 而且此白點會落在左上角眉毛之處圖 3-7 (e) 為加入特徵判別之後得到的結果 (a) 原始測試像影 (b) 膚色分割 (c) 未加入特徵判別之處理結果 (d) 特徵搜尋之路徑 (e) 加入特徵判別之處理結果圖 3-7 正面人臉偵測之示意圖 48

9 3.5 結論與討論本論文利用膚色及特徵判斷完成一即時性的人臉偵測系統, 此系統即為人臉追蹤系統之初始化的狀態, 當偵測到影像當中出現人臉之後, 即將此人臉的位置及大小傳到人臉追蹤系統進行持續性的追蹤在臉部特徵方面, 我們使用區域之灰階值總和與鄰近的區域的灰階值總和來判斷正面人臉的特徵, 因此在人臉的旋轉有一定的容錯率, 人臉可平面旋轉 (Rotation-in-plane) 正負 30 度, 左右旋轉 (Rotation-out-of-plane)15 度, 皆可以準確地及快速地將正面的人臉框選出來此人臉偵測系統是利用膚色做為偵測是否有出現人臉, 若光源在合理的範圍之內, 此系統都可以即時地偵測到正面的人臉, 倘若人臉受到光源的影響而造成臉部膚色過暗或者過亮, 則此人臉偵測系統便難以偵測膚色區域, 因此若能加入其他判斷條件, 例如楕圓偵測動態偵測, 則對於提昇人臉偵測準確性有一定的幫助在許多的人機互動介面中人臉偵測及追蹤系統為必須的, 若能穩健地偵測及追蹤人臉時, 則系統可將追蹤到的人臉交由人臉辨識系統或者唇形辨識, 以進行更進一步的處理在本論文我們利用第二章所提出之適應性膚色搜尋法已能穩定地及即時地追蹤到人臉, 不過在初始化狀態, 也就是人臉偵測系統, 卻有其限制而無法穩健地偵測到人臉, 若將來能完成一穩健的人臉偵測系統, 並且結合本論文設計之追蹤系統, 相信對於將來之人機互動能有所助益 49

0 0 = 1 0 = 0 1 = = 1 1 = 0 0 = 1

0 0 = 1 0 = 0 1 = = 1 1 = 0 0 = 1 0 0 = 1 0 = 0 1 = 0 1 1 = 1 1 = 0 0 = 1 : = {0, 1} : 3 (,, ) = + (,, ) = + + (, ) = + (,,, ) = ( + )( + ) + ( + )( + ) + = + = = + + = + = ( + ) + = + ( + ) () = () ( + ) = + + = ( + )( + ) + = = + 0