TANET 2010 研討會論文格式說明

Size: px

Start display at page:

Download "TANET 2010 研討會論文格式說明"

钟霸业
4 years ago
Views:

國立虎尾科技大學電機系專題精簡報告題目 : 我愛看巧唬 Childre visio protectio device 執行期限 :203 年月 30 日至 204 年月 30 日指導老師 : 宋啟嘉專題參與人員 : 許志磊賴恒志鄭義勳黃亦玄班級 : 四電四乙摘要本專題使用 Microsoft 公司開發的 Kiect, 此設備有追蹤動態人物, 且可利用骨架長度來判別孩童,

1 國立虎尾科技大學電機系專題精簡報告題目 : 我愛看巧唬 Childre visio protectio device 執行期限 :203 年月 30 日至 204 年月 30 日指導老師 : 宋啟嘉專題參與人員 : 許志磊賴恒志鄭義勳黃亦玄班級 : 四電四乙摘要本專題使用 Microsoft 公司開發的 Kiect, 此設備有追蹤動態人物, 且可利用骨架長度來判別孩童, 比其他的感測器還易於使用專題當中會介紹利用 X 軸座標, 控制步進馬達讓鏡頭水平追蹤孩童架設暫存器增加追蹤骨架數量利用人臉偵測與骨架座標, 建構插值多項式求出能判別孩童的二項式曲線最後只要孩童靠近電視, 就會拍攝本人的大頭照, 讓家長能在其他時間下得知孩子是否保持距離觀看節目關鍵字 :Kiect of Widows SDK Skeletoframe OpeCV to facedetectio Polyomial iterpolatio Abstract I. 前言現代的孩童大多會在家裡看電視來達到娛樂的目的, 但學生從親戚的小孩觀察到他們在觀看距離的概念很薄弱, 導致長期在不正確距離下觀看電視, 小朋友的近視機率普遍上升, 為了保護孩童的視力, 設計一個能監控孩童在觀看螢幕時的監視設備, 當小朋友靠電視時, 電視將會關閉, 同時也能讓不在當下家長從事後的照片紀錄中得知孩子觀看電視時的情況, 對孩子做正確的教導 This topic uses Kiect device,this equipmet ca track dyamic people ad differetiate the height of childre from adult base o skeleto. This project also uses X-ais coordiate to cotrol step motor to tur o the horizotal plae whe Kiect track childre, icreases the umber of skeleto tracked ad uses face detectio ad skeleto coordiates for discrimiat fuctio. Fially,as log as the childre is close to the TV, the device will take a photograph,so that parets ca kow whether their childre keep a proper distace watchig TV at other time. Keywords : Kiect of Widows SDK Skeletoframe OpeCV to facedetectio Polyomial iterpolatio 孩童觀看電視的情況 ( 圖一 ) II. 系統功能從 Kiect 所接收到的 RGB 影像與深度影像, 藉由 Kiect for Widows 的 SDK 套件中所提供的三維骨架資訊與彩色影像, 將其資訊做兩種用途 : 參考骨架資訊中的頭部座標, 截取出頭部影像, 將臉部影像演算, 取得臉部像素長度, 從臉部像素長度與臉對鏡頭距離之間的變化量得到關係函式, 求出人物誤差百分比並搭配人物骨架的長度做大人或孩童的判斷

當人物判別為孩童時, 將孩童的頭部三維骨架座標轉換為二維影像座標, 若孩童移動時, 其 X 軸大於某個範圍時就會傳固定的角度給 Microcotroller, 控制底座馬達旋轉, 使 Kiect 做水平的追蹤, 在製作原理中會詳細介紹

微控制器的開發板, 其面積只有 5.*.9 平方公分, 因體積小, 可放置任何地方 III.

硬體架構因需要電腦與 Microcotroller 溝通, 在此選擇使用 FT232 USB to UART 模組做通訊連接為了要縮小微控制器跟驅動電路整體體積, 於是設計一塊 PCB 電路將 TCHIP0 與步進馬達驅動電路結合 ( 圖三 ),

2 當人物判別為孩童時, 將孩童的頭部三維骨架座標轉換為二維影像座標, 若孩童移動時, 其 X 軸大於某個範圍時就會傳固定的角度給 Microcotroller, 控制底座馬達旋轉, 使 Kiect 做水平的追蹤, 在製作原理中會詳細介紹最後讓太過接近電視的孩童螢幕不但逐漸暗下來並且被拍大頭照, 照片存在指定文件中, 可調出來查看, 整體流程如圖二 PIC32(TCHIP0) TCHIP0 是 Microsoft 公司設計一塊搭載 PIC32MX250F28D-50I/ML 微控制器的開發板, 其面積只有 5.*.9 平方公分, 因體積小, 可放置任何地方 III. 系統架構動作流程圖 ( 圖二 ) 機械結構為了不要使步進馬達在轉動 Kiect 時, 產生過大的電流, 因此設計了一組減速齒輪結構, 其力矩比等於齒輪比, 馬達端的齒比要小於負載端的齒比, 才可以減少負載電流, 其結構與齒比如圖五. 硬體架構因需要電腦與 Microcotroller 溝通, 在此選擇使用 FT232 USB to UART 模組做通訊連接為了要縮小微控制器跟驅動電路整體體積, 於是設計一塊 PCB 電路將 TCHIP0 與步進馬達驅動電路結合 ( 圖三 ), 並在電路上加 Debug 端, 方便直接燒入程式, 如圖減速齒輪結構 ( 圖五 ) S , 馬達旋轉的力矩會比原本多 S 倍, 因此當 Kicet 在旋轉時, 所需的負載電流將比原本的小硬體架構圖 ( 圖三 ) 角度校正之元件因需要馬達旋轉的角度量數據, 於是在結構中嵌入可變電阻的碳膜體零件, 利用電源電壓做 Microcotroller 的內阻與可變電阻的分壓比, 做為角度量測與校正的參考數據電路圖 ( 圖四 ) 碳膜體 ( 圖六 )

元件嵌入結構示意圖 ( 圖七 ) 2. 軟體架構 i. SDK 結合 OpeCV 使用 Kiect for Widows SDK.

擴充骨架數量在 SDK 的設定上, 追蹤狀態 (Tracked) 只能放兩副完整的骨架資訊, 質心追蹤 (PositioOly) 能放四副骨架的質心位置, 但只要將預設骨架選擇方式的關閉, 就能採用自己希望的方式做骨架篩選邏輯關鍵函式 : objkiect.skeletostream.

3 元件嵌入結構示意圖 ( 圖七 ) 2. 軟體架構 i. SDK 結合 OpeCV 使用 Kiect for Widows SDK.7 中的函式取得 Kiect 影像資料流與骨架資訊, 截取臉部的影像資料流, 將其資料流傳 OpeCV 函式庫中的 CvHaarClassifierCascade 函式做演算, 取得人臉像素長度並求出與人臉距離之間的關係函式, 最後將函式與骨架的特徵來判別孩童, 詳細方法會在製作原理中介紹 ii. Microcotroller 使用 MPLAB IDEv8.92 編譯程式, 關於 PIC32 系列的晶片暫存器接腳或中斷之記憶體位置已定義在 PIC32 相關的標頭檔內, 因此只要運用函式與自訂定義即可控制晶片在這裡是使用 PIC32 控制步進馬達的旋轉角度, 自訂控制馬達狀態, 藉由 UART 的傳輸方式與電腦溝通. 骨架人數擴充與人臉配置 i. 擴充骨架數量在 SDK 的設定上, 追蹤狀態 (Tracked) 只能放兩副完整的骨架資訊, 質心追蹤 (PositioOly) 能放四副骨架的質心位置, 但只要將預設骨架選擇方式的關閉, 就能採用自己希望的方式做骨架篩選邏輯關鍵函式 : objkiect.skeletostream.appchoosesskeleto s = true; // 關閉預設骨架 objkiect.skeletostream.chooseskeletos( 骨架編號, 骨架編號 2); // 手動選擇骨架編號擴充步驟為宣告一個長度為 6 且 Skeleto 類別的陣列暫存器, 將追蹤狀態的骨架資訊存入暫存器中, 指定目前狀況為質心追蹤的骨架為下一個追蹤狀態, 程式存器中就有六副骨架可提供即時資訊, 如圖九骨架人數擴充流程圖 ( 圖九 ) 軟體架構圖 ( 圖八 ) OpeCV 是使用 C++ 編寫, 與專案所用的語法不同, 因此在 DEV-C++ 建立人臉辨識的程式碼後, 將其編譯成 dll 檔 ( 動態連接程式庫 ), 以方便呼叫函式到專案當中如十圖, 骨架數量已經擴充, 圖中骨架會不正常顯示的原因是有障礙物擋住紅外線, 導致紅外線 CMOS 攝影機無法準確接收人身上的雷射光散斑, 影響演算法而傳出不正確的骨架座標 IV. 設計原理

a 0 a a a0 0...... 0 y0 y y y 左側矩陣叫范德蒙矩陣顯示骨架數量 ( 圖十 ) ii.

則曲線函式的表示式為 2 y( ) a a a 2 此式為長度與距離的關係函式 ii. 求平均曲線多次收集成人的曲線關係式, 如下表, 將所有的係數做在曲線平均, 在 Matlab 中顯示平均曲線 ( 圖十二 ) 0 輸出 rect 形態存入 faceifo[] Sklbuffer[] 人臉與骨架配置示意圖 ( 圖十一 ) 粉紅色的曲線為平均曲線 ( 圖十二 ) 2. 孩童辨別原理 i.

4 a 0 a a a y0 y y y 左側矩陣叫范德蒙矩陣顯示骨架數量 ( 圖十 ) ii. 人臉配置設定好骨架暫存器後, 參考每一副的頭部座標, 且取出適當有含蓋到臉部影像的矩陣, 將影像資料帶入 CvHaarClassifierCascade 函式內運算, 輸出為 rect 型態, 此時建置一個存放 rect 型態的 FaceIfo[], 要與骨架暫存器的索引值相同, 就可將每個人的臉與骨架做對應, 如圖十一擷取臉部影像資料流求得陣列, 但是只需求得二次關係式, 因此係數只取, 則曲線函式的表示式為 2 y( ) a a a 2 此式為長度與距離的關係函式 ii. 求平均曲線多次收集成人的曲線關係式, 如下表, 將所有的係數做在曲線平均, 在 Matlab 中顯示平均曲線 ( 圖十二 ) 0 輸出 rect 形態存入 faceifo[] Sklbuffer[] 人臉與骨架配置示意圖 ( 圖十一 ) 粉紅色的曲線為平均曲線 ( 圖十二 ) 2. 孩童辨別原理 i. 設計臉部像素長度和螢幕距離的關係式先取得每一點的距離與長度, 將每一點顯示在 WPF 的 Cavas 畫布上, 經過多次測試後, 可以發現到這些點連起來是未知的二次曲線函數, 因此使用多項式插值求曲線方程式插值多項式的形式為 y 2 ( ) a a... a 2 a a0 y(): 臉部像素長度 : 臉部距離 y 對數據點進行插值含義為 y( i ) y i for all i { 0,,..., } 代入形式, 就可得到係數為 a k 的線性方程式系統, 用矩陣向量形式表示為平均曲線關係式整理後為 y ( ) 22.96(2.645 ) 接著將關係式代入程式中, 與測量到成人數值做比較, 即可得知此式跟原數值約重疊, 如圖十三粉紅色曲線為將距離帶入函式所求得的曲線, 藍曲線為測量數據, 綠色點為人臉偵測的最遠距離 ( 公尺 ) 從 FaceIfo 中取出的臉部像素長度與將距離帶入關係式所求得的值做誤差百分比為臉部像素長度 - y( 測量距離 ) 00% y( 測量距離 ) 當誤差百分比為負值, 且值越大, 為孩童的機率越高

3. 孩童追蹤孩童在 Kiect 鏡頭前水平移動超過自訂的範圍時, 其傳輸的固定角度數值 5 度一般成人 ( 圖十三 )

鏡頭最左邊的孩童, 頭部的影像座標 X 軸其中的 45 與 55 是指鏡頭水平範圍寬度的比例, 如圖解釋自製假人兒童 ( 圖十四

孩童辨別從身高為 0 公分以下的孩童的骨架資訊中取 Shoulder_ceter Spie 與 Hip_ ceter 的三維座標,

則為孩童 ; 反之, 為大人鏡頭前的一位孩童 ( 圖十六 ) 只有一位孩童時, 其最大值與最小值相同 ;

5 3. 孩童追蹤孩童在 Kiect 鏡頭前水平移動超過自訂的範圍時, 其傳輸的固定角度數值 5 度一般成人 ( 圖十三 ) 由圖中即可知道一般成人的誤差值百分較小 Ma: 離 Kiect 鏡頭最右邊的孩童, 頭部的影像座標 X 軸 Mi: 離 Kiect 鏡頭最左邊的孩童, 頭部的影像座標 X 軸其中的 45 與 55 是指鏡頭水平範圍寬度的比例, 如圖解釋自製假人兒童 ( 圖十四 ) 若是為小朋友, 則誤差值百分比值較大, 且最遠的距離也比成人較短 ( 公尺 ), 由此可分出大人與孩童的差 ii. 孩童辨別從身高為 0 公分以下的孩童的骨架資訊中取 Shoulder_ceter Spie 與 Hip_ ceter 的三維座標, 將三點連接求脊髓長度, 接著將偵測到的人物從與之做比較, 如果長度在此之下, 且關係曲線函式的誤差百分比為負值, 數值差異大, 則為孩童 ; 反之, 為大人鏡頭前的一位孩童 ( 圖十六 ) 只有一位孩童時, 其最大值與最小值相同 ; 若是複數以上的孩童則將取最右與最左邊的孩童頭部座標 X 軸做平均, 若小於 45 或大於 55 時, 鏡頭將會水平左轉或右轉如下圖兩位以上的情況 ( 圖十七 ) 脊髓長度 ( 圖十五 )

V. 成果展示上, 讓孩童在生活上有更加完善的保護與減少意外發生的機率 VII.

Widows Kiect SDK 技術手因使用電腦螢幕代替電視, 所以當孩童靠近時, 螢幕會逐漸變暗冊 JavaHad 譯博碩出版社 [3] Kiect 開發學習筆記之 ( 一 )

pdf [4] MICROCHIP APP632 使用說明書 TW-UG-APP632-E [5] OpeCV API Referece 取自人物為大人時 ( 圖十九 )

6 V. 成果展示上, 讓孩童在生活上有更加完善的保護與減少意外發生的機率 VII. 參考資料實體圖 ( 圖十八 ) [] 王森 (203) Kiect 體感程式設計入門與應用 ( 第二版 ) 碁峰出版社 [2] David Catuhe(203) 寫給專業開發者用的 Widows Kiect SDK 技術手因使用電腦螢幕代替電視, 所以當孩童靠近時, 螢幕會逐漸變暗冊 JavaHad 譯博碩出版社 [3] Kiect 開發學習筆記之 ( 一 ) Kiect 介紹和應用取自 2/Kiect_Note_for_Widows_SDK.pdf [4] MICROCHIP APP632 使用說明書 TW-UG-APP632-E [5] OpeCV API Referece 取自人物為大人時 ( 圖十九 ) l 孩童太靠近螢幕, 螢幕會變暗 ( 圖三十四 ) VI. 結論與未來展望本專題的目的是為了能在家長無法陪同孩子觀看節目時, 給予一個能代替家長看管孩童的雛形, 這樣的設計概念可平移到在危險場所時, 監控孩童的動向以防發生危險 ; 或者從賣場中找尋遺失兒童等相關監控設備

穨_2_.PDF

穨_2_.PDF 6 7.... 9.. 11.. 12... 14.. 15.... 3 .. 17 18.. 20... 25... 27... 29 30.. 4 31 32 34-35 36-38 39 40 5 6 : 1. 2. 1. 55 (2) 2. : 2.1 2.2 2.3 3. 4. ( ) 5. 6. ( ) 7. ( ) 8. ( ) 9. ( ) 10. 7 ( ) 1. 2. 3. 4.