大同大學數位論文 - PDF 免费下载

視覺式計人次暨性別辨識系統 - 以數位廣告看板為例 A Real Tme Vsual People Countng and Gender Classfcaton System-for Dgtal Sgnage Applcaton 研究生 : 林柏宏 (Bo-Hon Ln) 指導教授 : 謝禎冏 (Prof. Chen-Chung Hseh) 大同大學資訊工程研究所碩士論文 Thess for Master of Scence Department of Computer Scence and Engneerng Tatung Unversty 中華民國九十八年八月 August 2009

July 200

致謝本論文之得以完成, 首先要由衷感謝的是指導教授謝禎冏老師, 在這二年之中於學業和求學態度上的細心指導遇到困難, 老師不斷地提供我新知, 在我有實作上的疑惑時, 也一一的幫我解答疑惑在研究的過程中, 也不時的將新奇的想法告訴我, 讓我能找到有趣的方法感謝虞台文教授和蘇木春教授抽空擔任口試委員, 於口試過程中提供許多寶貴的意見, 讓本篇論文更加完善另外, 感謝和我一起奮鬥的同學們, 大家為了期中期末考而一起共同研習課業的景象將永遠值得回憶 ; 同時, 也感謝實驗室的同學東樺柏升耀德和柏翰的相互支持與幫忙最後, 要感謝的是我最親愛的家人, 給予我最大的支持與鼓勵, 順利完成研究所的論文及學業感謝爸爸媽媽以及兩位弟弟的支持, 讓我在求學過程中沒有後顧之憂僅以此文獻給所有幫助過我的人, 並表達我內心最誠摯的感謝 2009 年 8 月林柏宏

摘要在本篇論文中, 我們設計出一個新的即時計人次且具記憶系統, 並且更進一步的辨識潛在客戶性別, 主要應用在展覽會場與購物中心, 其功能是讓廣告主知道目前放映的廣告, 吸引了多少人前來觀看, 並且觀看的族群中, 男女生比例的多寡首先, 我們利用 Adaboost 偵測人臉, 再利用一些條件濾除在廣告看板前非人或非真正在觀賞廣告的人為了算出精確的觀看廣告看板的人流數目, 我們擷取出一些特徵, 像是人臉紋理軀幹紋理質量中心等, 最後將這些特徵存入資料庫做相似度比對在資料庫更新上, 我們採用 Least Recent Used 的機制, 刪除不常使用的特徵資料在性別辨識的功能上, 我們擷取的辨識特徵主要為頭髮及人臉大小, 並且計算比例, 依此判斷目標是否為男或女在實驗結果中, 人數計次和男女辨識的準確率分別為 95.55% 和 94.1%, 而執行效能在一般個人電腦上可達 15~20fps 關鍵字 : 數位看板, 人數計次, 性別辨識, 人臉偵測, 電腦視覺

Abstract In ths paper, we desgned a real tme person countng/memorzng system whch could further dstngush the gender of potental customers. Frstly, we employ Adaboost to detect possble human faces and utlze some crtera to flter out the wrong ones. For each detected person, face, torso, and mass center are recorded n database for people matchng/trackng. The least recently used record would be deleted f database s full. Regardng the gender-classfcaton functon, the ratos of har to facal sze and beard to chn area are calculated to determne the sexes. From the expermental results, person countng and gender classfcaton each has an accuracy of 95.55% and 94.1%, respectvely. The executon effcency on personal desktops can reach as hgh as 15-20 fps. Keywords:Dgtal sgnage, people countng, gender classfcaton, face detecton, computer vson

目錄致摘謝... I 要... II ABSTRACT... III 目錄... IV 圖索引... VII 表索引... IX 第一章緒論... 1 1.1 前言... 1 1.2 研究動機與目標... 1 1.3 論文架構... 2 第二章相關研究... 3 2.1 人數計次相關研究... 3 2.2 影像處理方法之研究... 6 2.2.1 人臉偵測... 6 2.2.2 樣板比對... 6 2.3 性別辨識相關研究... 7 第三章人數計次系統... 9 3.1 系統架構與流程... 9 3.2 前處理... 11 3.2.1 人臉大小... 12 3.2.2 膚色偵測... 14 v

3.2.3 重疊情況... 15 3.3 特徵抽取與比對方法... 16 3.3.1 人臉特徵... 17 3.3.2 軀幹特徵與直方圖比較方法... 18 3.3.3 質量中心... 21 3.4 資料庫比對... 23 3.4.1 更新資料庫... 23 第四章性別辨識... 25 4.1 髮量偵測... 25 4.1.1 頭髮顏色抽取... 25 4.1.2 頭髮統計與分析... 26 4.2 人臉大小偵測... 27 4.2.1 臉部膚色抽取... 27 4.3 性別辨識方法... 29 4.3.1 鬍子辨識... 30 第五章實驗結果與分析... 31 5.1 開發環境... 31 5.2 計人次系統... 31 5.3 性別辨識... 33 第六章結論與未來展望... 40 6.1 研究成果... 40 6.2 心得... 40 v

6.3 未來研究建議... 41 參考文獻... 42 v

圖索引圖 2-1 利用 PCA 與 FLD 的人數計次系統 [14]... 4 圖 2-2 灰階圖型特徵 [20]... 6 圖 2-3 LU 和 LIN[21] 提出的橢圓形人臉資訊與 GABOR FILTER... 8 圖 3-1 系統架構圖... 11 圖 3-2 (A) 距離攝影機 0.7M;(B) 距離攝影機 1.0M;(C) 距離攝影機 1.1M;(D) 距離攝影機 1.2M 14 圖 3-3 YCBCR 膚色分佈... 15 圖 3-4 (A) 目標人物被已計算的人擋住 ;(B) 目標人物被經過人物擋住 ;(C) 當重疊情況解除後... 16 圖 3-5 擷取的灰階人臉特徵圖... 18 圖 3-6 擷取的灰階軀幹特徵... 19 圖 3-7 軀幹特徵與統計直方圖... 21 圖 3-8 (A) 時間 T-1 的位置 ;(B) 時間 T 的位置... 22 圖 4-1 (A) 人臉區域 ;(B) 頭髮採樣區域... 26 圖 4-2 髮色偵測結果... 27 圖 4-3 (A) 人臉區域 ;(B) 膚色採樣區域... 28 圖 4-4 人臉大小偵測結果... 29 圖 4-5 系統結果圖... 30 圖 5-1 實驗結果與計次人數統計圖... 33 圖 5-2 展覽會場的系統畫面圖... 33 圖 5-3 (A) 綁馬尾性別辨識誤判結果圖 (B) 背景影響性別辨識誤判結果圖 (C) 長頭髮男 v

性的性別辨識誤判結果圖 (D) 短頭髮女性的性別辨識誤判結果圖... 38 圖 5-4 性別辨識結果圖... 39 v

表索引表 3-2 人臉大小與距離對照表... 13 表 3-1 詳細系統規格... 31 表 5-1 性別辨識的結果... 34 表 5-2 適應性髮色偵測... 35 表 5-3 適應式膚色偵測... 36 x

第一章緒論最近幾年的科技發展, 人臉辨識技術已達到成熟的地步, 在應用上也更為廣泛, 例如 : 門禁系統身分辨識等, 利用系統記憶個人資料, 達到辨識每一個人的身分, 此種技術最大的優點, 就是使用者不需要在身上帶上證明文件, 也能透過系統辨識自己的身分使用時只要面對攝影機, 擷取系統需要的辨識特徵, 就可以達到辨識身分的效果, 這種辨識功能, 只需要一些特徵就能辨識出身分, 對於使用者來說, 出門不需要帶鑰匙, 或是進出重要場所也不需要帶證明文件, 都是很方便的一件事 1.1 前言以往的人流統計, 通常利用找出移動物體, 並且界定一個區域範圍, 只要有物體經過就作為計算的依據, 因此只要移動物體面積大於一個門檻值, 並且經過自定區域, 系統就會把此目標物體加總到總人數, 並且輸出結果但是此種系統運用在觀看廣告看板的人數統計上, 會造成不實的人數統計輸出, 由於這種計算人數的方法是利用找出移動物體, 並且經過一個界定區域, 加總的人數中, 對於真正觀看廣告看板的人數可能寥寥無幾, 這樣的資訊對於廣告主而言是一種負擔所以若是可以提出讓系統自動辨識目標人物, 不會造成重複計算, 並且自動統計人數, 並且輸出必要資訊給廣告主, 將能夠節省使用者的時間並提升效率 1.2 研究動機與目標本論文研究目的在於提出利用人臉偵測找出真正面對廣告看板並且注意它的目標人物, 更進一步的利用每個人身上的特徵, 經過比對後, 辨識出個別的目標人物, 不會造成人數的重複計算情況發生, 有別於以往的人流計算方法, 最後輸出的結果比起傳統的方法更加可靠, 並且可信度也大幅增加一般來說, 如何正確的辨別目標人物並且系統不會誤判目標人物是我們最重要 1

的課題, 而本篇論文的目標也就針對如何正確的計算人數, 並且找出一個比較有效的性別辨識方法 1.3 論文架構第二章相關研究將會簡短介紹一些此論文中使用到的影像處理技術, 並且提出一些有關人數計次和性別辨識的研究文獻, 第三章講解我們如何利用一些前處理機制過濾掉不可靠並且不正確的人臉資訊, 讓人數計次系統更準確, 以及描述擷取人臉, 軀幹和質量中心等特徵與資料庫中的特徵資訊做樣版比對, 找出每個特徵個別的相似度, 再利用 HSV 色彩空間的 H 色域, 統計直方圖並且做直方圖分佈比對, 計算出相似度, 最後統計一個最大相似度, 加強人物辨識的準確率, 第四章介紹我們提出一種適應性髮色偵測, 並且利用找出的髮量和人臉大小判斷性別做一個介紹第五章將會陳列出本論文的實驗結果第六章會對整個論文內容歸納出一些結論與對未來研究的建議 2

第二章相關研究人數計次方面, 近幾年來由眾多的研究人員投入許多的心力下, 而技術不斷的突破和經驗的累積, 此方面相關研究也越來越成熟, 應用的範圍也廣泛許多, 例如 : 觀看廣告看板的人數展場中人潮的數量在公共場合下的人數, 像是在機場火車站或是街道等 ; 而過去使用的方法不外乎是使用偵測物體的形狀是否符合人體的身型, 或是利用找出的邊緣密度 [1] 碎形維度[2] 像素移動的大小[3-5], 或是團塊大小 [6-8] 等, 估計目前畫面中有幾個人, 還有利用 PCA(prncple component analyss)[9] 以及 SVM(support vector machne)[10] 訓練大量的人臉樣本, 使用 egenface 與類神經網路做人臉偵測等, 這些方法都是普遍應用在人數計次的方法以下將會介紹幾個實例, 並且加以分析和說明在實際應用上可能會遭遇的問題 2.1 人數計次相關研究在最近幾年有許多有關人數計次的研究文獻, 並且都是針對如何提升人數計次的準確度大致上, 有關人數計次的方法, 我們需要分類物體, 才知道哪些物體是我們想要的目標物體, 大致上物體分類可以分為兩大類 [11]: 分別是人體偵測方法和特徵偵測方法在人體偵測的方法上, 一旦有人被偵測到, 系統就會把此人算入總人數中例如 Hartaoglu et al.[12] 提出的 W4 系統, 利用像是頭身體和四肢等人型資訊辨別獨立的人物個體, 並且達到追蹤的效果 Vola et al.[13] 使用了 boosted 分類器, 再利用外觀和運動的資訊偵測行人這兩種方法的主要缺陷是應用性被限制住, 只能在某些場合下適用在不同情況下, 像是行人並肩走在一起或是彼此遮擋, 這些方法在偵測行人或是追蹤目標人物時, 就會發生失誤的狀況 Chen et al.[14] 提出一種應用於電子廣告看板的人數計次系統, 如圖 1-1 所示首先利用 PCA 訓練系統分辨人臉和非人臉, 當抽取軀幹特徵後使用 Dstance 3

Transform[15] 分辨目標人物和資料庫中的資料是否相同, 再利用 FLD(Fsher Lnear Dscrmnant)[16] 機制濾掉非人臉, 以及沒在觀看數位廣告看板的人臉, 更新資料庫的方法則是利用 FIFO 的機制雖然他們的這種方法可靠性有一定的水準, 但是由於他們抽取的特徵只有軀幹特徵, 當發生一堆穿制服的人在廣告看板前瀏覽的時候, 他們的系統會將所有的人都認為是同一人, 這時候準確率就會下降許多並且當資料庫中的空間已滿, 而且有新的人進入的時候, 會將最早儲存的資訊刪除, 再把新的目標人物存入資料庫, 這樣的機制對於目前還在畫面中的人, 但是卻把其特徵資訊刪除掉的機會非常大, 因此對於人數計次的統計上, 也會造成一定的誤差圖 2-1 利用 PCA 與 FLD 的人數計次系統 [14] 彭振軒 [17] 提出使用樣板比對做進出口行人數量統計, 將攝影機架設在上方, 並且由上往下拍攝, 做法首先找出移動物體, 並且利用連通元件濾掉雜訊並且面積過小的物體, 利用邊緣偵測找出畫面中的邊緣, 與資料庫中的人型邊緣作模組比對, 並且確定目標是行人, 利用行人的座標達到追蹤的功能, 直到行人離開後, 再將此人數加總但是此方法應用於觀看廣告看板的人數計次系統, 並不能有效的計算人數, 由於攝影機的拍攝方位是由上往下, 在拍攝的時候, 並不知道經過的人是否真的觀看廣告看板, 同時也不知道目前在畫面中的人是否已經重複過, 因此最後輸出的統計人數資訊就不準確也不可靠 4

鄭凱方 [18] 利用膚色偵測找出人臉, 當找出人臉區域後利用 PCA 建立人臉資料庫, 最後以歐式距離的大小判定人臉身分此種方法的缺點是利用膚色找出人臉, 假設在背景複雜的情況下, 找出的膚色區域可能不是我們想要的人臉區域, 接著利用 PCA 建立出來的人臉資料庫當然也就會是錯誤的, 因此在計算人數的準確率上就會降低許多而利用 PCA 做人臉辨識的功能, 要達到準確率高必須建立許多的人臉樣本做訓練, 必須花費不少時間, 更會降低執行速度以上的這些方法, 計算的人數數量相對於真正的人數只能是一個近似值, 並且會造成部分誤差但是對於統計觀看廣告看板的人數, 結果必須是一個與實際人數不會相差太大的統計值, 才會讓廣告主有參考的價值因此我們提出抽取人臉軀幹質量中心特徵, 相對於 Chen et al.[14] 只抽取軀幹特徵, 我們更額外的利用人臉和質量中心特徵, 讓人數計次更加準確, 接著利用模組比對找出相似度, 不會讓之前出現過的人, 被重複計算到總人數中, 使用 LRU 資料庫更新機制, 當資料庫中的空間不足, 會讓最久未使用到的資訊刪除掉, 由於資訊最久未被使用代表此人已經不在畫面中, 因此與 FIFO 相比較之下, 我們的機制比較可靠更進一步地, 我們還使用髮量多寡與人臉大小的比例判斷性別, 藉以調查目前觀看的廣告是受到哪一種性別的青睞 5

2.2 影像處理方法之研究以下將簡單說明本論文使用到的影像處理技術, 包括了人臉偵測, 樣板比對, 以及性別辨識相關研究 2.2.1 人臉偵測本論文使用的人臉偵測技術是 Vola and Jones 在 2001 年所提出 [19] 他們提出了一種使用灰階圖形中的弱特徵來檢索人臉的方法, 如圖 1-2 所示 Raner Lenhart 於 2002 年對此方法改進, 增加傾斜特徵的定義並將此方法擴展到全旋轉縮放情況下的人臉偵測 [20] 此人臉偵測方法的特色就是使用黑白相間的特徵來尋找人臉的位置與大小, 不同的人種或是膚色並不會影響偵測的結果圖 2-2 灰階圖型特徵 [20] 2.2.2 樣板比對模組比對是一種用來搜尋在全域影像中特定圖案特徵的數位影像處理技術, 其中有數種不同的變化的比對方法其中最簡單的是在全域圖像中, 對每一個像素逐一做比對, 精確度大, 但是也是很耗時的一種方法普遍被採納的比對的方法像是 NCC(Normalzed Cross Correlaton) SAD(Sum Of Absolute Dfferences) 和 SSD(Sum Of Squared Dfferences) 6

7 NCC 方法主要是將每個視窗內灰度的標準差視為一個向量, 所以兩個欲比對的視窗下關係可轉換成向量的角度表示, 如算式 (1) 所示 (1) ] ), ( [ ] ), ( [ ] ), ( ][ ), ( [ ), ( 5 0., 2, 2, = y x j j y x j j y x f y x f f y x f f y x f f y x f y x NCC 相關係數 NCC(x,y) 表示相關性的程度, 數值介於 1 與 -1 間, 當兩個向量越來越接近時, 相關係數越接近 1 代表相關性越大, 亦代表是最佳匹配位置,f (x,y) 代表的是原始影像各像素的灰度值,f j (x,y) 是遮罩各像素的灰度值不同於 NCC 比對方法,SAD 與 SSD 是利用影像相減的方法比對, 如算式 (2)~(3) 所示 (2) ] ), ( [ ] ), ( [ ), (,, = y x j j y x f y x f f y x f y SAD x (3) ] ), ( [ ] ), ( [ ), ( 2,, = y x j j y x f y x f f y x f y x SSD SAD 和 SSD 的相關係數結果也與 NCC 不同,NCC 的相關係數越大, 並且越接近 1, 則代表相似度越大但是這兩種方法, 利用影像相減比對相似度, 所以越接近 0, 代表相似度越高 2.3 性別辨識相關研究由於性別辨識是一個很容易因目標人物或是環境影響, 最後造成偵測失敗, 很多學者都致力於找出一個根據一些辨識度的特徵, 並且可以正確辨識男女的方法, 以下將列出一種方法代表說明 Lu 和 Ln[21] 提出了結合橢圓人臉影像,Gabor flter, 和 Adaboost 以及 SVM 分類器做出性別辨識, 他們主要的做法, 是利用大量的橢圓人臉影像, 並且使用 gabor flter 擷取需要特徵後, 再使用 Adaboost 訓練擷取的人臉資訊和特徵, 最後利用 SVM

找出人臉, 並且判斷男女的性別, 這種方法, 只要畫面中的人, 不具有被訓練到的人臉資訊和特徵, 並且也不是正臉的話, 就辨識不出來, 況且訓練資訊也花上不少時間圖 2-3 Lu 和 Ln[21] 提出的橢圓形人臉資訊與 gabor flter 8

第三章人數計次系統本章節將介紹論文中人數計次實作方法的細節, 實作可分為三大部分 : 前處理特徵抽取與比對方法資料庫比對等, 以下將分別詳細說明 (1) 前處理 : 一般的人臉偵測, 是利用黑白相間的特徵, 從灰階畫面中搜尋有符合特徵的人臉, 這樣的做法很容易搜尋到不正確的人臉, 因此我們利用一些簡單的影像處理方法, 過濾掉不可靠的人臉資訊, 使得找出的人臉資訊更加可靠 (2) 特徵抽取與比對方法 : 經過前處理找到人臉之後, 從畫面中擷取該目標人物的各個特徵, 儲存至資料庫, 再與畫面中觀看廣告看板的人物做比對, 計算出各個特徵的相似度, 計算後的相似值在記錄到資料庫 (3) 資料庫比對 : 當我們完成每一個特徵比對, 並且得到每一個相似值, 為了讓相似度取得一個平均, 並且得到一個最好的結果, 將採取比重的方式分配相似值, 並且統計最後的相似度, 判斷在畫面中的目標人物是否和資料庫中的資料吻合, 避免系統重複計算同一個人, 並且加總到總人數中由於資料庫有一定的大小限制, 因此在儲存資料時, 會有空間不夠的情況發生, 這一部分也將說明如何更新資料庫中的資料, 並且妥善使用資料庫的大小最後的人數統計結果, 我們將會在第五章說明 3.1 系統架構與流程本系統架構主要分為三個部份, 主要系統架構如圖 3-1 所示第一部分為人臉偵測與前處理部份, 我們首先利用 AdaBoost 做人臉偵測, 接著利用膚色偵測人臉大小和重疊情況三種前處理, 根據找到的人臉搜尋膚色像素是否超過一個門檻值利用找到的人臉大小, 濾除掉距離廣告看板太遠的目標人物, 並且當兩人重疊情況發生時, 暫時忽略此目標人臉的資訊, 根據這三種條件判斷目 9

前偵測到的人臉是否真正觀看廣告看板第二部份是設定感興趣的區域 ROI(Regon Of Interest) 擷取出人臉特徵軀幹特徵和質量中心, 利用這些特徵與行人資料庫中的資訊做模板比對, 以及利用 HSV 色彩空間中的 H 色彩空間, 將軀幹特徵 H 色彩空間做分析與比對, 最後找出最大相似度第三部份是利用在即時影像中的目標人物特徵, 與資料庫的特徵資訊比對後, 得出一個最大的相似度, 要是相似度大於一個門檻值, 並且觀看廣告看板一段時間, 系統將會把此人加總至總人數中, 並且持續地與畫面中的目標人物比對, 證明此人已經被計算過到總人數, 系統便不會再將此人加總, 避免系統重複計算的情況發生, 最後在一定時間內, 利用適應性髮色和臉部膚色找出髮量和人臉大小的面積大小, 再利用比例判斷性別, 最後會輸出總人數以及男女個數本論文目標是做出一個即時性的計人次系統, 利用人臉特徵, 軀幹特徵和質量中心與存入資料庫的特徵資訊做比對, 讓目前在畫面中的人不會被重複計算, 達到精確計人次的功能, 在資料庫的更新上使用 LRU 機制, 讓最久未被使用到的資訊刪除再利用髮量與人臉大小的比例做為判斷男女的依據, 更能進一步的辨識性別在本篇論文中, 我們提出了一個利用人臉軀幹, 質量中心特徵,LRU 資料庫更新機制以達到人數計次系統, 並且可利用髮量和人臉大小的比例特徵辨識性別, 圖 1-1 是系統架構圖首先, 我們利用視訊擷取一連串序列的影像, 再找出真正觀看電視牆或是數位看板的人臉, 由於人臉偵測會意外地偵測到沒有真正觀看廣告的人臉資訊, 因此我們加入了前處理, 例如 : 膚色偵測人臉大小和重疊判斷, 濾除非人臉的部分然而只有人臉特徵, 不足以作辨識的功能, 我們還抽取了身體紋理和質量中心特徵將這三種特徵存入資料庫中接著以 LRU 的方式更新資料庫的行人 10

資訊, 將最長時間未被使用到的資料刪除為了不讓重複的人次出現, 我們利用樣板比對, 採取標準化互相關比對方法 ((Normalzed Cross Correlaton), 並且找出最大相似度, 達到行人辨識和追蹤的功能, 最後輸出人數統計的資訊而在男女辨識的功能上, 我們採取了適應性髮色與膚色偵測, 為的是要準確的找出頭髮與人臉的面積, 再藉由髮量與人臉大小的比例判斷男女, 最後再統計男女出現的次數藉由我們擷取的人臉質量中心和軀幹等特徵, 系統可以有效的執行人數統計利用頭髮與人臉大小相對的比例, 可更進一步達到辨識性別的功能 3.2 前處理圖 3-1 系統架構圖由於此系統應用在計算觀看廣告看板的人數, 並且將經過統計後的人數輸出, 所以第一步先將攝影機固定在廣告看板上的上方, 採取由上往斜下擷取影像, 我們首先利用人臉偵測找出以正臉面對廣告看板的目標人物, 但是會因背景複雜以及環 11

境因素的影響, 導致系統找出誤判的人臉, 並且計算出的人數有所誤差為了排除這些誤判的人臉, 並且確定找出真正在觀看廣告看板的人臉, 所以我們做了以下的前處理程序, 分別是人臉大小膚色偵測和重疊情況, 目的就是要確定目標人物是真正注意廣告看板, 並且對此有興趣這樣的做法就能將不可靠的人臉消除, 亦不會影響到人數計次的結果, 對本系統而言, 這樣的人數資訊才是廣告主想知道的 3.2.1 人臉大小在展場或是大賣場中, 當一個人對廣告看板有興趣, 並且向前觀看, 並且會站在離廣告看板不會太遠的距離, 大多都是以正臉的角度, 面在廣告看板觀賞廣告, 所以在人臉大小這一部分的處理程序中, 我們認為距離廣告看板太遠的人臉, 並不是真正觀看廣告看板的人, 也不是我們想知道的目標人物因此, 我們就忽略這些不必要的人臉資訊, 為的就是不讓系統將這些沒有觀看廣告看板的人計算到總人數中, 而造成最後總人數的資訊錯誤為了解決這個問題, 此系統設定一個被偵測的人臉大小, 如算式 (4),T 1 和 T 2 是我們設定的人臉大小門檻值, 被偵測的人臉只有在此範圍內, 才會被認為是有注意廣告看板的目標人臉在使用上, 許多人認知的人臉大小並不是一個固定數值, 部分廣告業主, 可能認為觀看廣告看板的人臉大小與我們認知不同, 因此系統在現場執行時, 需要做偵測人臉大小的數值調整, 因此本系統設定這個數值可以在任何場合下, 讓使用者藉由手動調整自定的人臉大小, 使系統在執行上更加彈性在不同的解析度下, 人臉寬度的參數值也需要視情況而做調整, 例如 320*240 解析度與 640*480 解析度大小的人臉寬度參數值就不一樣, 由於解析度變大, 人臉偵測距離也會變得比較遠, 所以人臉寬度大小的參數範圍設定, 與 320*240 解析度相比較起來就會變得比較小 12

. 4 本系統於 2009 南港世貿國際電腦展覽時, 於桓基科技公司的攤位上架設的廣告看板, 將攝影機架設廣告看板上, 並且在現場測試, 經過測試的結果, 我們認為觀看廣告看板的人不會距離看板太遠, 但是也不會完全貼近看板, 本系統在 320*240 解析度, 將擷取的影像做人臉寬度大小偵測, 本系統設定人臉大小參數, 範圍介於 30~80 內, 小於 30 的人臉大小, 系統將會認定此人只是路過廣告看板的人, 並沒有真正觀看廣告看板, 因此不會將此人紀錄至總人數中由於不同的攝影機會有不同的解析度預設值, 人臉大小在不同的解析度下也會影響人臉大小與距離對照表如表 3-1 所示圖 3-2 是系統找出在 320*240 解析度, 找出觀看廣告看板的人臉大小結果圖, 左下角是人臉寬度的大小表 3-2 人臉大小與距離對照表人臉大小範圍距離步伐 60~80 <0.85m 50~60 <1m 40~50 <1.15m 30~40 <1.3m (a) (b) 13

(c) (d) 圖 3-2 (a) 距離攝影機 0.7m;(b) 距離攝影機 1.0m;(c) 距離攝影機 1.1m;(d) 距離攝影機 1.2m 3.2.2 膚色偵測在人臉偵測上, 我們採用由 Vola and Jones [2] 在 2001 年所提出的人臉偵測技術, 此技術是利用黑白相間的特徵, 並且在灰階圖像中找尋有符合黑白特徵的人臉, 並且加入旋轉的特徵, 更可以找出不同角度的人臉, 但是並沒有對膚色做進一步的偵測, 因此偵測人臉時, 只要畫面中有類似五官的特徵, 系統就會判定為一張人臉, 實際上卻不是正確的人臉, 這樣的情況導致我們系統的計人次準確率降低, 為了提高準確率, 並且確定找出的是一張真正的人臉, 我們使用傳統 YCbCr 膚色偵測, 當找出人臉區域後, 更進一步判斷此人臉區域有沒有膚色特徵存在所以當找到人臉, 系統以一個矩形框住人臉, 矩形區域就是人臉區域, 系統將會對此人臉區域做膚色偵測, 判斷是否具有膚色特徵, 只要被偵測的人臉區域具有膚色特徵和五官特徵, 我們就能更加確定此人臉區域是正確的資訊, 對於統計人數的結果, 更加強系統的準確性判斷人臉區域是否具有膚色特徵, 我們使用了傳統的 YCbCr 色彩空間做膚色辨識, 利用 Cb 與 Cr 空間, 判斷每一個像素是否落在此範圍內, 首先將 RGB 轉換成 YCbCr 14

空間, 如算式 (5) 0.299 0.587 0.114 0.5 0.169 0.331 (5) 0.5 0.419 0.081 由於膚色像素在 YCbCr 空間有一個固定的區域分佈, 如圖 3-3 找到人臉區域後, 對人臉區域的每一個像素逐一做檢查, 要是此一像素的 Cb 與 Cr 值在設定的膚色範圍內, 此像素就是屬於膚色像素, 範圍如算式 (6) 所示最後整張人臉區域的每一個像素都搜尋完畢後, 並且人臉區域中的膚色像素個數大於設定的門檻值, 系統會認為此人臉區域具有五官特徵並且有膚色特徵, 被偵測出的人臉資訊就更準確, 對於系統加總人數的功能上, 不會將非人臉的目標認定是觀看廣告看板的人數, 加強系統的強健性圖 3-3 YCbCr 膚色分佈 77 127 137 173 190 0.6 245 6 3.2.3 重疊情況廣場中或是大賣場的環境中, 因為人潮多的關係, 每個人在觀看廣告看板的時候, 時常發生每一個人都會彼此擋到對方的軀幹, 或是自己被其他人遮擋住的情況發生在這種情況下, 系統抽取的軀幹特徵會變得模糊並且不是正確的特徵, 當特 15

徵模糊並且不正確, 進行樣板比對時, 只要有一點模糊不清, 就會影響樣板比對的結果, 所以人臉辨識的辨識率就會降低許多, 進而造成人數計次的準確率下降為了解決這種問題, 我們設定當許多人在觀看廣告看板, 並且有彼此遮蔽軀幹特徵的身體狀況發生, 如圖 3-4(a) 與 (b) 所示, 系統首先把被遮蔽住身體的人臉特徵和質量中心存入資料庫, 但是此人的軀幹特徵卻未被儲存到資料庫並且把未被遮蔽的人的各個特徵資訊存入資料庫, 開始對未被遮蔽的人做相似度計算, 讓系統不會重覆計算此人, 並且加總到總人數由於被遮蔽住的目標人物, 雖然有面對廣告看板並且觀看它, 但是軀幹特徵的錯誤, 會導致辨識的功能發生失誤的情況發生, 所以直到此人的遮蔽情況解除後, 再將此人的身體特徵資訊存入資料庫, 並且這時候才開始做相似度的計算, 系統才開始判斷此人是否為新的目標人物這樣的做法可能會導致一些正在觀看廣告看板, 但是軀幹被遮蔽住的目標人物被遺漏, 導致輸出結果會比實際人數的總數少, 卻能避免人數異常增加的情況發生 (a) (b) 圖 3-4 (a) 目標人物被已計算的人擋住 ;(b) 目標人物被經過人物擋住 ;(c) 當重疊情況解除後 3.3 特徵抽取與比對方法完成前處理的步驟後, 系統濾除掉許多不可靠的人臉資訊, 並且更能確定目前被偵測到的人臉是真正觀看廣告看板, 以及感興趣的人, 對於擷取的特徵, 也都能清楚而不影響比對結果對系統在人數計次方面, 輸出的總人數和每個人的停留時 16

間, 甚至是進一步的性別辨識, 輸出的男女個數, 對於使用者就更加可靠計人次的功能上, 為了不讓系統重複計算同一個人, 所以要擷取每一個人的特徵做辨識用途關於特徵抽取方面, 我們參考了有關 Chen et. Al[12] 的相關文獻, 他們在特徵抽取上, 只擷取了軀幹部份, 再利用此軀幹部份做距離轉換, 分辨目標人物和資料庫中的是否為同一人, 但是我們發現只抽取軀幹特徵, 對於人數計次的功能, 在總人數上會有一定的誤差為了使系統更加穩定, 除了軀幹特徵之外, 我們加入了人臉特徵和質量中心, 並且軀幹特徵的 H 通道影像也當作特徵之一, 與資料庫的資訊做比對以下將會對於我們如何擷取人臉特徵軀幹特徵和質量中心, 以及採取何種比對方法, 並且詳細描述彼此的特徵加權比重分配 3.3.1 人臉特徵為了不讓系統將同一個人重複計算至總人數, 當系統完成人臉偵測與前處理後, 系統將被偵測的人臉區域中的人臉, 擷取出人臉特徵, 並且存入資料庫中在現實環境中, 每一張人臉都有一定程度的差異, 並且可以找出每一個人的相異點, 辨別出個別目標人物比對的方法上, 為了找出精確的相似度, 我們利用樣板比對, 採用的方法是標準化互相關比對方法, 如算式 (7) 所示, 運算的方式是建立一張人臉學習樣板, 利用找出的人臉特徵存入資料庫, 並且當作一個樣板, 接著利用建立好的樣板與即時影像做逐行逐列的數學比對, 根據預設樣板與待測影像的相似性, 表示其吻合的程度, 數值越大, 相似度越大,γ 1 是由正規化相關匹配法計算出來後的人臉特徵相似值, (x,y) 是樣板 f 的像素平均亮度值, j (x,y) 是原始影像中符合樣板區域的平均值經由實驗結果, 我們發覺每一個人的人臉五官特徵基本上都大同小異, 因此人臉特徵辨識度並不足以採用為了解決這個問題, 除了人臉特徵, 本系統還擷取了軀幹特徵和質量中心彌補人臉特徵的不足每一個特徵比對後的結果, 17

辨識度有高有低, 因此我們對每一個特徵採用辨識度的加權比重的分配在此系統中, 因為人臉的辨識度最低, 因此在設定上, 人臉的加權比重分配設定最小, 圖 4-1 是擷取出來的人臉特徵 γ1 = x, y x, y [ f ( x, y) f ][ f [ f ( x, y) f ] 2 x, y j [ f ( x, y) f j ( x, y) f j j ] ] 2 0.5 (7) 圖 3-5 擷取的灰階人臉特徵圖 3.3.2 軀幹特徵與直方圖比較方法如上述, 我們發覺只是利用人臉特徵, 想要達到一個準確率高的人臉辨識是不夠的, 所以為了加強人臉辨識的強健性, 除了擷取人臉特徵之外, 我們還利用軀幹特徵彌補不足, 在商場或是一些比較複雜的環境下, 由於每一個人穿著服飾大部分都不一樣, 和人臉特徵相較起來, 這個特徵辨識的可信度更高, 並且在樣板比對上, 每一個人的衣服穿著都會有些分別, 因此辨識度也比人臉更高, 所以我們認為軀幹是一個有效的特徵軀幹特徵的 ROI 部份, 擷取範圍從脖子至腰部, 在比對的方法上, 也是採取樣板比對, 並且也是標準化互相關比對方法, 如算式 (8) 所示, 運算的方式是建立一塊軀幹學習樣板, 利用找出的軀幹特徵存入資料庫, 並且建立成為一個樣板, 再利用建立好的樣板與即時影像做逐行逐列的數學比對, 根據預設樣板與待測影像的相似性, 表示其吻合的程度, 數值越大, 相似度越大,γ 2 是由正規化相關匹配法計算出來後的人臉特徵相似值, (x,y) 是樣板 t 的像素平均亮度值, j (x,y) 18

是原始影像中符合樣板區域的平均值經過我們實驗後, 發覺軀幹特徵樣板比對的結果, 比人臉特徵的還要好, 所以為了算出一個最好的相似度, 和人臉特徵一樣, 作加權比重的分配由於軀幹的辨識度比人臉還要高, 所以加權比重的值比較高, 相對的人臉的比重值就比較低, 在此系統中, 軀幹的比重設定值最大, 圖 3-6 是和圖 3-5 的人臉相對的軀幹特徵圖, 從圖中可以比較, 因為大部分的服飾穿著都不一樣, 所以軀幹特徵比人臉特徵有辨識度 γ 2 = x, y x, y [ t ( x, y) t ][ t [ t ( x, y) t ] 2 x, y j [ t ( x, y) t j ( x, y) t j j ] ] 2 0.5 (8) 圖 3-6 擷取的灰階軀幹特徵傳統的樣板比對都是利用灰階圖像, 並且從頭開始對每一個像素做比對, 最後算出相關係數, 數值越接近 1 代表相似度越高雖然找出的軀幹轉為灰階圖像, 實行樣板比對時, 可以避免光影變化的影響, 但是當每一個人穿著同樣款式的服飾, 會因為轉換成灰階而無法辨識出衣服的顏色, 導致系統會誤判穿著同樣款式衣服的人是同一人為了應付這樣的狀況發生, 本論文將軀幹特徵的 RGB 影像轉成 HSV 格式影像, 如算式 (9)~(11), 將 H 通道的單通道影像取出, 對此張影像做統計特性的運算, 並且統計出直方圖, 但是 H 通道的色調範圍為 0~360, 直方圖的統計運算範圍只有 0~255, 因此必須先把 H 通道設定為 0~255 的範圍, 再統計出直方圖, 最後統計出的直方圖結果, 並且把此直方圖資料當成樣板直方圖, 並且儲存到資料庫, 19

如圖 3-7 所示 60, 60 180, 60 240, 360, 0,, 255,, 9 10 11 再將資料庫中樣板直方圖與即時影像中統計的軀幹特徵直方圖做比較在直方圖比對方法, 本系統利用比較兩個直方圖的 H 通道顏色分佈, 藉此計算出相似度, 直方圖分佈狀況越接近, 代表相似度越高, 比對的公式如算式 (12)~(13) 所示 d(h 1,H 2 ) 是最後算出的相關係數, 範圍在 1 到 -1 之間, 越接近 1, 代表相似度越高,H1 和 H2 分別是欲比對的直方圖和樣板直方圖,N 代表直方圖中分組組數, 在圖 3-7 中我們可以清楚看到, 因為每一個人的穿著都不會一樣, 因此利用 H 通道統計出的直方圖, 並且利用直方圖分佈比對, 計算出的相似度, 相較利用灰階軀幹特徵圖, 利用樣板比對後計算的相似度, 辨識度又高了許多軀幹特徵除了樣板比對之外, 本論文再加上直方圖比對方法, 以及最後利用加權比重分配各個特徵的相似度, 最後統計的相似度, 讓系統的辨識率上升許多, 穩定性也提高不少 1, 2 12 1 13 20

圖 3-7 軀幹特徵與統計直方圖 3.3.3 質量中心當許多人在觀看廣告看板, 並且人潮擁擠的時候, 會導致目標人物經常移動, 並且不會站定在相同的位置上觀看廣告看板, 在移動時, 雖然系統會經過前處理擷取清楚並且確定的特徵但是在移動時, 會導致目前的人臉與軀幹特徵, 與上一張 21

畫面有些許差別, 並且會引發系統執行上的錯誤, 導致系統誤算總人數為了解決誤算的問題, 本論文擷取質量中心, 並且計算出移動距離大小, 判斷是否為同一個人, 達到追蹤的功能假設目前有某人在瀏覽廣告看板, 並且已經佇立一段時間, 系統會把此人的特徵存入資料庫, 並且開始計算此人特徵與資料庫中資料的相似度, 避免出現重複計算的情況當此人揮動手臂或是任意移動時, 會因為一些外在環境變化的影響, 系統會重新將此人的特徵資料存入資料庫, 但是在移動的時候, 會造成特徵的模糊, 而且造成辨識度不足的情形發生, 因此我們利用質量中心, 並且利用歐式移動距離公式計算出移動距離, 如算式 (14) 所示,d,j 是計算出的距離,x,j 是第一個目標人物的位置,y,j 是第二個目標人物的位置當此種情況發生假設目前此人的質量中心的移動距離小於一個門檻值, 系統會認為目前移動的人和資料庫中的某一人是同一個人, 並且刪除資料庫中舊有的資料, 將新的特徵資料存入資料庫並且更新, 如圖 3-8 所示, 圖 3-8(a) 是目標人物在時間 t-1 時的位置, 圖 3-8(b) 是目標人物在時間 t 時的位置, 因為移動的距離並未超出設定的門檻值距離大小, 所以系統就認為此人是同一個人假如移動距離大於一個門檻值, 系統就會認為此人是一個新的目標人物, 並且把新的路人資訊存入資料庫中, 再重新與資料庫比對並且計算相似度, 14 (a) (b) 圖 3-8 (a) 時間 t-1 的位置 ;(b) 時間 t 的位置 22

3.4 資料庫比對擷取正確的人臉軀幹特徵和質量中心後, 我們使用樣板比對, 並且採取標準化互相關比對方法, 計算出每個特徵的相似度, 還有距離大小產生相關係數 γ 1 及 γ 2, 相關係數越接近 1 就代表越匹配, 在軀幹特徵比對上, 本系統不只利用樣板對, 還將軀幹特徵的 RGB 影像轉為 HSV 影像後, 利用 H 通道的影像統計直方圖, 並且利用直方圖分佈比較, 找出相關系數 γ 4, 範圍與 γ1 和 γ2 一樣, 介於 1 與 -1 之間, 越接近 1 代表相似度越高在人臉和軀幹特徵的辨識度比較上, 軀幹的辨識度比較高, 是主要統計相似度的依據, 因此我們採取加權比重分配相似度, 讓最後統計的相似度是最正確, 並且不會造成系統誤判, 最後再利用質量中心, 使用歐式距離公式計算出距離大小 d d=p1-p2,p1 和 P2 代表個別物體的位置最後統計的相似度計算公式, 如算式 (15) 所示,S 代表最後的相似度,W 是加權比重值, 統計出的相似度 S, 假如大於一個門檻值, 系統就會認為目前在影像中的目標, 和資料庫中的人是同一人, 並且只要此人在影像中持續看著廣告看板一段時間, 例如十秒, 系統就會把此人加總到總人數, 假如在資料庫中的人和影像中目標人物的相似度都小於門檻值, 系統就會認為此人是一個新的目標人物, 並且將新目標人物的人臉軀幹和質量中心存入資料庫 15 3.4.1 更新資料庫本論文是利用攝影機擷取影像, 並且應用在統計觀看廣告看板的人數, 因此攝影機極可能會開啟整天或是更長的時間, 因此會擷取大量的影像畫面做處理, 但是系統設定的資料庫大小有限, 並沒有辦法能夠一次處理這麼大的影像資料, 所以本論文提出採取 LRU(Least Recently Used) 機制更新資料庫, 當資料要儲存至資料庫, 23

資料庫卻沒有多餘的欄位儲存新目標人物特徵資訊, 系統會把最久未被使用到的資料欄位刪除, 並且再將目標人物資料儲存到此欄位因為最久沒被使用的資料欄位代表某人已經離開了很長一段時間, 系統判斷此人已經沒在畫面中出現過, 並且刪除此人資料欄位相較於 FIFO(Frst In Frst Out) 的機制, 此種機制將先進入資料欄位的人刪除, 並不管此人是否還在畫面中, 因此這種更新資料庫的機制, 資料庫中的欄位一旦超過限定的大小, 並且儲存下一筆目標人物資料時, 會將先進入的資料欄位刪除, 但是卻有極大風險將還在畫面中的人物資訊欄位刪除掉, 而造成系統誤算, 因此以 FIFO 方式更新資料庫, 統計出來的人數資訊就不可信, 對於廣告主也不可靠, 相較之下, 本論文提出的以 LRU 機制更新資料庫就比較合理, 並且輸出的資訊也更加可信 24

第四章性別辨識本章節將會介紹論文中性別辨識的實作方法, 並且加以詳細說明, 在性別辨識的實作方面, 本論文提出一種利用擷取目標人物的頭髮樣本, 並且利用此種樣本找出目標人物的頭髮, 更進一步地計算出髮量的多寡, 同時找出目標人物的人臉, 並且計算出人臉面積的大小, 這樣的做法, 因為我們認為頭髮以及人臉大小是一個男女辨識的重要特徵, 最後計算髮量與人臉大小的比例數值, 同時也根據在脖子周圍的髮量多寡判斷男女, 而為了讓男女的特徵更明顯, 我們更擷取了人中特徵, 判斷是否有鬍子, 藉此讓性別辨識的準確率更高 4.1 髮量偵測在以往的性別辨識方法, 大部分的方法, 都是利用蒐集大量的男女生人臉樣本, 並且花時間訓練樣本, 藉此達到辨識男女的功能, 但是被訓練的人臉中, 並沒有屬於這些特性的女生, 性別就不能辨識出來在性別辨識的方法中, 本論文提出了利用髮量與人臉大小的比例做性別判斷, 偵測頭髮的方法, 我們找出髮色樣本後, 定義出每一個人的髮色模型, 這樣一來, 就不需要花時間訓練人臉樣本, 也不會因為沒有訓練的人臉特徵, 而做不出性別辨識 4.1.1 頭髮顏色抽取本論文提出一個適應性髮色偵測, 利用抽取的頭髮樣本, 將 RGB 色彩空間轉換成 YCbCr 色彩空間, 並且對即時影像做顏色的分析和比對首先利用人臉偵測找出人臉, 利用一個矩形框住人臉區域, 接著由人臉區域往上方擷取一小塊 ROI 區域, 如算式 (16)~(19) 定義好 ROI 區域範圍後, 此區域就是頭髮樣本, 如圖 4-1 所示由實驗結果得知, 這種擷取方法可適用在大多數人的身上, 並且擷取的頭髮樣本符合系統需要的顏色樣本, 表是系統偵測到的人臉以及被採樣的頭髮樣本區域範圍 25

.... 3.... 6... 3 16 17 18... 19 ` (a) (b) 圖 4-1 (a) 人臉區域 ;(b) 頭髮採樣區域 4.1.2 頭髮統計與分析本論文使用 YCbCr 色彩空間, 將頭髮樣本區域的顏色, 轉換成 YCbCr 後, 再進行分析這樣色域空間, 顏色資訊較為集中, 並且比較不會受到光影的影響, 經過分析, 顏色資訊會呈現比較集中的趨勢首先將擷取的頭髮像本, 從 RGB 色域空間轉為 YCbCr 空間, 再對 YCbCr 空間分別計算出頭髮樣本的平均值與標準差, 如式 (20) 與 (21), 其中 n 是頭髮區域的像素個數計算出各別的平均值與標準差, 就可以訂定出個人的髮色區域模型 1 μ = I( x, y), = Y, C n ( x, y) Har b, C 1 2 σ = ( I( x, y) μ ), = Y, Cb, Cr n ( x, y) Har r (20) (21) 做完頭髮區域的顏色統計和分析後, 我們利用頭髮顏色的 Y Cb Cr, 計算出髮色的平均直與標準差, 用於訂定髮色的上下邊界後, 就可以分類每一個像素是否 26

為髮色, 髮色範圍邊界如式 (22)~(23), 而介於在這兩個邊界中的像素, 系統就認為是髮色像素,, 髮色偵測的結果如圖 4-2 所示利用此種方法, 可找出除了黑色髮色以外的頭髮, 並且效果也不會太差, 更多結果將會陳列在第五章的實驗結果中 UBound = μ + 3σ, = Y, Cb, Cr LBound = μ 3σ, = Y, Cb, Cr (22) (23) LBound < I ( x, y) < UBound, = Y, C b, C r (24 ) 圖 4-2 髮色偵測結果 4.2 人臉大小偵測為了找出人臉大小, 並且計算面積, 系統要找到人臉區域中膚色的部份, 在傳統的作法下, 通常都是利用 YCbCr 色彩空間下, 找出屬於膚色的部份, 這樣的做法容易受到環境或是燈光影響, 或是攝影機不同而造成錯誤的膚色偵測, 對於要找到正確的人臉大小, 只會增加誤判的機率, 並且降低性別辨識的準確率 4.2.1 臉部膚色抽取為了找出正確的人臉大小, 本論文也使用類似髮色偵測的做法, 利用人臉偵測找出的人臉, 使用一個矩形框住人臉, 並往人臉區域中間去抽膚色樣本, 因為在這個區域, 不會出現頭髮或是背景, 因此擷取出的膚色就更準確, 擷取的 ROI 範圍, 如算式 (25)~(28) 所示定義好 ROI 範圍後, 我們再擷取臉部膚色樣本, 如圖 4-3 所示 27

.... 3.... 4... 0.4... 0.4 25 26 27 28 (a) (b) 圖 4-3 (a) 人臉區域 ;(b) 膚色採樣區域同理, 使用 YCbCr 空間是因為利用 YCbCr 分析時, 顏色資訊較為集中, 並且比較不會受到光影的影響對臉部膚色分別計算出 YCbCr 平均值與標準差, 如同算式 (20)~(21) 當有了臉部膚色區域後, 利用抽取的膚色樣本的 YCbCr 空間, 計算出各別的平均值與標準差, 訂出個人膚色的上下邊界, 如同算式 (22)~(23) 有了膚色的上下邊界後, 就可以分類每一個像素是否為膚色, 臉部膚色條件如算式 (24), 以此方法找出的膚色比以往傳統的 YCbCr 找膚色方法更有彈性利用我們的方法, 可以找出更多人種的膚色, 例如白人或是黑人等, 也不怕光影的變化影響, 找出的膚色部分如圖 4-4 所示比起傳統的找膚色方法, 此種方法比較彈性, 並且比較不限於不同膚色的人, 像是黑人也可以找出正確的膚色範圍, 當然也就可以計算人臉大小更多的實驗結果將會在第五章陳列出來 28

圖 4-4 人臉大小偵測結果 4.3 性別辨識方法對於男女的性別辨識, 我們利用髮色偵測和人臉大小偵測, 並且轉換成二值化影像後, 計算髮量和人臉大小的面積, 統計每一個人的髮量值和人臉大小值, 再利用髮量和人臉大小的比例, 如算式 (29) 所示, 計算出來的值介於 0 到 1 之間, 如果比例大於設定的門檻值, 系統將會判斷此人為女性, 反之比例小於一個門檻值, 系統就會判斷成為男性 &&, &&, (29) 如圖 4-5 所示, 脖子兩頰邊的四個區域是我們用來判斷髮量的 ROI, 在這四個區域中, 我們利用適應性髮色找出的頭髮髮量作為判斷男女的依據除了髮量, 我們還利用頭髮與人臉大小的比例做判斷而在脖子周圍各取兩個區域, 是為了去除在複雜背景下, 假設找到的髮量是下方區域比上方區域多, 代表受到背景顏色像髮色的情況發生把這情況去除後, 男女辨識的準確率又可以提升許多, 在辨識性別的方法上, 首先我們找出髮量與人臉大小的比例關係值, 並且也在脖子周圍找出髮量的多寡, 相同也統計出一個比例關係值, 最後以加權比重分配兩個比例關係數值, 並且將統計值正規化為 0~1 的數值, 假設數值大於設定閥值, 就判定為女性, 相反, 29

小於設定閥值, 則判定為男性最後輸出結果, 以藍色矩形住人臉代表此人為男性, 紅色矩形代表為女性, 系統各別統計出男女生的個數, 並且輸出資料讓使用者知道圖 4-5 系統結果圖 4.3.1 鬍子辨識男性的辨識功能, 為了能夠與辨識女性的功能, 更加有辨識度的分別, 在男性辨識的功能上, 本系統還多加了鬍子辨識的功能主要的方法, 首先我們找出人中的部份, 接著利用灰階圖, 找出屬於鬍子的部份, 假設鬍子的量大於設定的門檻值, 系統就會將此人辨識為男性, 由於在髮量與人臉大小的比例上, 雖然能夠辨別出一定程度的男女性別, 但是會因為頭髮長短或是人臉大小的影響, 導致系統辨別不出這些例外狀況, 加上鬍子辨識功能後, 我們在性別辨識的準確率上, 會更加準確, 並且也會把例外狀況降低許多, 如圖 4-6 所示 4-6 鬍子擷取部分 30

第五章實驗結果與分析本章節將會針對本論文提出的一個新的計人次系統以及性別辨識的系統加以說明實驗結果與分析 5.1 小節將會說明計人次系統的實驗結果,5.2 小節將會介紹性別辨識的結果, 以及對一些誤判的情形加以說明 5.1 開發環境本論文使用的開發平台為 Wndow Vsta TM Home Premum,CPU 為 AMD Phenom(tm) 9550 Quad-Core Processor, 記憶體為 2.00GB 使用的攝影機為羅技 Logtech 的快看商務版網路攝影機開發環境為 Vsual C++ 6.0 影像處理函式使用 OpenCV 1.0 版詳細規格如表 3-1 所示表 3-1 詳細系統規格硬體規格說明個人電腦攝影機 CPU RAM 鏡頭解析度 AMD Phenom(tm)9550 Quad-Core Processor 2.00GB Carl Zess 320 * 240 pxels 5.2 計人次系統圖 5-1(a) 與 (b) 是我們擷取兩段影片的測試結果, 影片 (a) 是在實驗室中與同學一同測試的結果, 而影片 (b) 是我們於 2009 年南港世貿展覽會, 在現場測試的結果利用本論文提出的人數計次系統, 統計出來的結果圖, 綠色線段代表影片中實際上的人數, 而紅色線段代表我們系統統計出來的總人數, 影片 (a) 中間有漏失的原因是因為目標人物不定時的擺動頭, 並且停留時間也沒有大於我們設定的門檻值, 例如 31

十秒鐘, 因此造成漏失至於影片 (b) 統計結果多一個人的情況, 是因為有某個目標人物一開始進入畫面中, 並且被算進總人數後, 最後離開了一陣子, 在這段時間, 又有許多目標人物進來, 並且因為資料庫大小額滿的關係, 把離開最久的這位目標人物資料刪除掉, 並且儲存新的目標人物資料, 當此人回來後, 由於此人資料已被刪除, 系統會在一次認為他是新的目標人物圖 5-1(c) 與 (d) 是將系統在比較久的時間做測試後的結果, 影片 (c) 有一段時間, 在畫面中只有兩個人, 當這兩人被計算到總人數後, 卻又一直走動到不同的地方繼續觀看畫面, 造成系統一開始將他們重複計算, 但是在經過系統的檢查後, 又能夠辨別出額外增加的人數, 其實與被計算過的人是同一人, 因此人數才會先計算的實際人數高, 一段時間後, 系統計算的總人數又與實際人數相同, 不會造成誤算的結果, 影片 (d) 是我們在南港世貿展覽時, 將系統做較久時間測試的結果, 雖然背景複雜, 並且行人來來往往的走向攤位, 但是本系統能準確的記錄真正觀看廣告看板的人數, 並且統計輸出總人數和男女個數系統的結果圖就如圖 5-2 所示, 經過我們系統經過前處理, 並且和特徵比對後, 雖然彼此目標人物有移動位置或是交錯, 都能統計出正確的人數, 縱然有誤判的情形發生, 總人數也不會相差太多, 輸出的資訊對於廣告主也是一個可靠的資訊 (a) (b) 32

(c) (d) 圖 5-1 實驗結果與計次人數統計圖 (a) (b) (c) (d) 圖 5-2 展覽會場的系統畫面圖 5.3 性別辨識性別辨識的功能上, 我們利用髮色偵測與人臉大小偵測, 找出屬於頭髮和人臉的部份, 並且轉成二值化影像, 統計髮量和人臉面積大小, 再利用髮量與人臉大小 33

的比例, 達到性別辨識的功能, 除此之外, 我們還在脖子四周檢查有沒有頭髮的像素, 超過一定門檻值的話, 就會判斷為女性反之, 則判斷為男性, 由於現在的男女性別, 有時候連人都不太能辨識出來, 像是中性化的女性, 並且留著短髮, 以及長相比較女性化的男性, 頭髮長度及肩等由於連人都辨識不出來, 因此也會造成系統上的誤判但是把以上這些情況去除掉後, 我們的系統男女辨識率能達到 95.55%, 表 5-1 是我們利用靜態圖片做出的結果, 在這些圖片中, 有一些誤判的情況是由於背景與髮色的顏色相近造成另外誤判的情況是由於目標人物綁馬尾, 而造成脖子四周圍沒有髮量可偵測, 而在比例的辨識上也因為頭髮綁起來而造成誤判表 5-1 性別辨識的結果實際情況性別辨識系統辨識率男生女生男生女生 Total 25 20 28 18 95.55% 表 5-2 是我們利用髮色偵測做出來的實驗結果, 可以清楚看到, 利用我們提出的髮色偵測方法, 可以有效的找出頭髮的部分, 並且準確率相當不錯, 而且不只限定於只找黑色髮色的像素, 在表中, 除了黑色髮色被找到以外, 像是外國人的髮色, 以及染髮過後不同於黑色的髮色, 如編號 9 11 和 13, 我們也可以找得出來, 並且找出來的部分也相當完整 34

表 5-2 適應性髮色偵測編號原始圖適應性髮色偵測圖 1 7 2 8 3 9 4 10 5 11 6 12 35

13 14 15 表 5-3 是我們利用人臉大小偵測做出來的結果, 利用 YCbCr 空間, 並且計算出平均值與標準差, 在此範圍內找到類似的膚色, 在表中, 可以很清楚的看到, 利用這種方法找出的人臉大小, 效果比起一般的傳統膚色偵測更好, 而且也不會怕受到光影的影響, 在圖中有好幾張都是在光源充足的情況下, 但是找出來的人臉大小依舊十分完整表 5-3 適應式膚色偵測編號原始圖適應性臉部偵測圖 1 7 2 8 36

3 9 4 10 5 11 6 12 13 14 15 16 經由上面兩樣的實驗結果顯示, 我們利用人臉大小偵測和髮色偵測, 找出我們需要的髮量以及人臉大小面積, 再利用髮量與人臉大小計算出比例但是因為在男性與女性的頭髮比較上, 大部分女性的頭髮長度都會在肩膀, 所以本系統也從脖子周圍找出頭髮, 並且計算出髮量最後, 將最先計算出的髮量與人臉大小比例, 與 37

脖子周圍髮量的多寡做一個加權比中的分配, 並且統計出一個 0~1 的數值, 如果統計出的數值大於設定的閥值, 就會判定為女性反之, 則判定為男性, 但這樣的檢查機制, 在女性綁馬尾, 或者是受到背景與頭髮顏色有相似顏色時, 就會造成誤判的結果, 如圖 5-3(a) 與 (b) 所示,5-3(a) 是一位綁馬尾的女性, 所以系統在偵測頭髮時, 由於綁馬尾的關係, 找出的髮量並不完全, 因此造成誤判的結果, 而 5-3(b) 是因為在脖子邊的背景, 有一處是黑色, 並且於頭髮顏色相近, 所以才誤判為女性, 5-3(c) 與 (d) 是長相較女性化的男性, 並且頭髮長度也及肩, 所以造成誤判的結果, 而圖 5-3(d) 則是一位留著短髮的女性, 因此才會造成系統誤判, 當我們將這些例外狀況去除後, 性別辨識的準確率依然能達到 95.55% (a) (b) (c) (d) 圖 5-3 (a) 綁馬尾性別辨識誤判結果圖 (b) 背景影響性別辨識誤判結果圖 (c) 長頭髮男性的性別辨識誤判結果圖 (d) 短頭髮女性的性別辨識誤判結果圖 38

圖 5-4 是去除掉上述的誤判情況, 經過系統偵測的性別辨識結果圖, 從圖 5-4 可以看到, 把複雜背景, 綁馬尾女性, 以及中性化留著短髮的女性, 或者是女性化留著長髮的男性髮型的人, 系統把這些情況都去除掉後, 在性別辨識的成果上, 準確率相當高圖 5-4 性別辨識結果圖 39

第六章結論與未來展望 6.1 研究成果本篇論文提出一個新的人數計次方法, 更進一步利用適應性髮色與膚色偵測找出頭髮部分與臉部膚色部分, 利用髮量與人臉大小比例做男女辨識, 並且應用於數位廣告看板上, 適應性髮色偵測並不會只限制在找尋黑髮的範圍, 更可以找出其他顏色的髮色而適應性膚色偵測也可以利用來找出其他膚色的人臉系統開始首先偵測人臉, 再利用前處理過濾掉一些不可靠的人臉資訊, 當找到人臉資訊後, 將人臉軀幹和質量中心等特徵儲存到資料庫, 最後做樣板比對, 並且以標準化互相關比對, 再將軀幹特徵統計畫出直方圖, 比對直方圖的相似度, 將每個特徵比對出的相似度, 利用加權比重分配, 統計出最後的相似度值, 判斷此人是否與資料庫中的資料符合, 避免重複計算人次的情況發生, 再將目前出現在畫面中瀏覽看板的人數加總到總人數, 並且和男女個數做一個統計, 最後輸出總人數和男女個數的資訊 6.2 心得在電腦視覺的領域裡, 像是影像處理圖樣辨識或是手勢辨識等, 雖然這些領域有許多的研究學者研究如何加強功能性以及效率性, 而且也發展許久, 但是在這方面的研究卻還不是說十分傑出, 畢竟利用攝影機擷取影像, 再進行影像處理, 做出我們想要的成果, 其實是一件困難的事例如以一個人當例子, 個人可以正常的走在路上, 看到障礙物會自動避開, 開車時看到紅燈會停, 看到綠燈會行等, 假設我們應用在一台無人自走車, 在車上架置一台攝影機, 要如何有效率地並且讓車子不出錯的做到像人類一樣的動作, 並且正確率接近百分之百, 就是一個很大的難題所以在電腦視覺這一部分, 可以研究的部份其實很多, 並且牽涉的領域也相當廣, 雖然現在許多的研究仍在進行著, 但相信再過不久, 電腦視覺的技術一定會有 40

所突破 6.3 未來研究建議本論文未來建議是邁向提升男女辨識的準確率, 目前只有利用計算髮量以及人臉大小面積, 再將髮量與人臉大小做一個比例運算, 比例高的就是女性, 低的就是男性, 以及查看脖子四周有沒有頭髮來判斷男女, 未來希望多加一些特徵, 像是眉毛, 鬍渣等讓男女辨識也可以適用在中性化女生以及女性化男生, 讓辨識率更加上升 41

參考文獻 [1] S.-Y. Cho, T. W. S. Chow, and C.-T. Leung, "A Neural-Based Crowd Estmaton by Hybrd Global Learnng Algorthm," IEEE Transactons on Systems, Man, and Cybernetcs - Part B, Vol. 29, No. 4, August 1999. [2] A. N. Marana, L. F. Costa, R. A. Lotufo, and S. A. Velastn, Estmatng Crowd Densty wth Mkowsk Fractal Dmenson, Internatonal Conference on Acoustcs, Speech, and Sgnal Processng, 1999. [3] S.-Y. Cho, T. W. S. Chow, and C.-T. Leung, "A Neural-Based Crowd Estmaton by Hybrd Global Learnng Algorthm," IEEE Transactons on Systems, Man, and Cybernetcs - Part B, Vol. 29, No. 4, August 1999. [4] R. Ma, L. L, W. Huang, and Q. Tan, "On Pxel Count Based Crowd Densty Estmaton for Vsual Survellance," Proc. Conference on Cybernetcs and Intellgent Systems, Sngapore, 1-3 December 2004. [5] N. Paragos, and V. Ramesh, "A MRF-based Approach for Real-Tme Subway montorng," Computer Vson and Pattern Recognton, 2001. [6] D. Roquero and V. A. Petrushn, Countng People usng Vdeo Cameras, MDM/KDD'06, August 20, 2006. [7] A. B. Chan, Z. S. Lang, and N. Vasconcelos, Prvacy Preservng Crowd Montorng: Countng People wthout People Models or Trackng, Proc. IEEE Conf. on Computer Vson and Pattern Recognton, June 2008. [8] D. Kong, D. Gray, and H. Tao, "Countng Pedestrans n Crowds Usng Vewpont Invarant Tranng," Brtsh Machne Vson Conference, 2005. [9] Jonathon Shlens, A Tutoral on Prncpal Component Analyss, Systems Neurobology Laboratory, Salk Instute for Bologcal Studes La Jolla, CA 92037 and Insttute for Nonlnear Scence, Unversty of Calforna, San Dego La Jolla, CA 92093-0402 42

[10] Danel J. Sebald, Member, IEEE, and James A. Bucklew, Support Vector Machne Technques for Nonlnear Equalzaton, IEEE TRANSACTIONS ON SIGNAL PROCESSING, VOL. 48, NO. 11, NOVEMBER 2000 [11] Wemng Hu, Tenu Tan, Fellow, IEEE, Lang Wang, and Steve Maybank, "A Survey on Vsual Survellance ofobject Moton and Behavors." IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS PART C: APPLICATIONS AND REVIEWS, VOL. 34, NO. 3, AUGUST 2004 [12] I. Hartaoglu, D. Harwood, and L. S. Davs, "W4: Real-Tme Survellance of People and Ther Actvtes," IEEE Transactons on Pattern Analyss and Machne Intellgence, Vol. 22, No.8, August 2000. [13] P.Vola, M.J. Jones, and D. Snow, "Detectng Pedestrans Usng Patterns of Moton and Appearance," Internatonal Conference on Computer Vson, 2003. [14] Duan-Yu Chen, Chh-Wen Su, Y-Chong Zeng, Shh-We Sun, We-RuLa, and Hong-Yuan Mark Lao, An Onlne Boosted People Countng System for Electronc AdvertsngMachnes September 4, 2008 Techncal Report No. TR-IIS-08-009 http://www.s.snca.edu.tw/page/lbrary/lib/techreport/tr2008/tr08.html [15] Davd Coeurjolly Laboratore LIRIS Unverst e Claude Bernard Lyon 143 Bd du 11 Novembre 1918 69622 Vlleurbanne CEDEX France davd.coeurjolly@lrs.cnrs.fr, Dstance Transform \ [16] Max Wellng, Fsher Lnear Dscrmnant Analyss, Department of Computer Scence Unversty of Toronto 10 Kng s College Road Toronto, M5S 3G5 Canada wellng@cs.toronto.edu [17] 彭振軒, 使用樣板比對做進出口行人數量統計 A Passng People Countng System usng Template Matchng Technque 國立中央大學資訊工程研究所 [18] 鄭凱方, 人臉可辨識度欲嫆監控系統中人臉正面最佳影像判定 Face Recognzablty-best face shot canddate for survellance system 國立中央大學資訊 43

工程研究所 [19] Vola, P.; Jones, M., "Rapd object detecton usng a boosted cascade of smple features," Computer Vson and Pattern Recognton, 2001. CVPR 2001. Proceedngs of the 2001 IEEE [20] Lenhart, R.; Maydt, J., "An extended set of Haar-lke features for rapd object detecton," Image Processng. 2002. Proceedngs. 2002 [21] Huchuan Lu, Hu Ln, Gender Recognton usng Adaboost Feature, School of Electronc and Informaton Engneerng, Dalan Unversty of Technology Dalan 116023, Chanlhchuan@dlut.edu.cn, Lnhu.vp@gmal.com 44