國 立 交 通 大 學

Transcription

1 國立交通大學 資訊學院資訊科技 (IT) 產業研發碩士專班 碩士論文 室內畫展導覽系統及參觀路徑追蹤 Pantng Exbton Gde System and Tor Trackng 研究生 : 貝佳瑄 指導教授 : 陳稔教授 中華民國九十九年六月

2 室內畫展導覽系統及參觀路徑追蹤 Pantng Exbton Gde System and Tor Trackng 研究生 : 貝佳瑄 指導教授 : 陳稔 Stdent:a-Hsan Pe dsor:zen en 國立交通大學 資訊學院資訊科技 (IT) 產業研發碩士專班 碩士論文 Tess Sbmtted to ollege of ompter Scence Natonal ao Tng Unersty n partal Flfllment of te eqrements for te Degree of Master n Indstral Tecnology & D Master Program on ompter Scence and Engneerng Jne Hsnc, Tawan, epblc of na 中華民國九十九年六月

3 室內畫展導覽系統及參觀路徑追蹤 學生 : 貝佳瑄 指導教授 : 陳稔 資訊學院資訊科技 (IT) 產業研發碩士專班摘要在本論文中, 利用智慧型手機的照相功能, 提出了一套基於影像檢索以及相機定位功能的室內畫作導覽系統及參觀路徑追蹤 本系統主要可分為兩部份, 第一部份為針對單張獨立影像, 當使用者對著感興趣的畫作拍照, 系統會將所輸入的影像進行畫作特徵點擷取和特徵點比對, 得到初步查詢結果後, 再加以驗證查詢結果之正確性, 並利用單張影像進行相機校正, 估算出相機位置, 依據使用者拍攝視角變化, 回傳不同的畫作相關資訊解說, 以增進參觀民眾對於展出作品的了解 ; 第二部份主要是建立出展場中畫作配置情形, 追蹤使用者相機位置與多幅畫作之相對關係, 透過歐式座標空間轉換, 將原本各自獨立的畫作串聯, 呈現一完整的展場畫作空間配置關係, 此功能不僅能當作室內導航系統, 提示使用者目前在展場中的位置, 提供個人化的參觀路徑記錄回顧及建議, 對於館內工作人員統計熱門作品或是動線規劃等問題也將有很大的助益, 如此的概念提供了有別於傳統導覽方式的全新體驗

4 Pantng Exbton Gde System and Tor Trackng stdent:a-hsan Pe dsors: Zen en Indstral Tecnology & D Master Program of ompter Scence ollege Natonal ao Tng Unersty STT In ts tess, te proposed system based on mage retreal and camera calbraton s sed to prode te ndoor pantng exbton gde and tor trackng. Te system conssts of two parts. Te frst part ams at ser s searcng for mages of pantngs. Users can get te nformaton abot pantngs of nterest by smply npttng a pctre of tem. Te system prodes te nqry serce abot te npt qery mage. Once te qery mage dentty s erfed and te camera pose s estmated, te system retrns te pertnent nformaton of te qery pantng mage. Te second part s abot constrctng te locaton of te exbted pantng trog te pose estmaton and te recodng of te tor pat. Ts serce not only can be an ndoor postonng system bt also prodes sefl sggestons for ewng te mssng pantng exbton. Te proposed system prodes a brand new experence n stng galleres and msems.

5 誌謝 能夠完成本篇論文, 首先要感謝陳稔老師這段時間來的諄諄教誨, 從一開始對於電腦視覺這領域完全陌生的我, 可以在課堂中吸收到許多攝影機相關的論文研究與實作方法, 在日常生活中也能給予我最大的包容 還要感謝賈叢林老師以及周宏隆學長在口試時提供了許多寶貴的意見, 讓論文結構更為完整 其次, 要感謝實驗室裡成員們, 學長文昭 彥旭, 啟銘以及學弟嘉峻的陪伴, 特別是彥旭學長, 亦師亦友的特質, 不論是在學業 生活 或是玩樂上, 總是不能缺少他, 讓我可以更有毅力與決心可以走到今天 最後, 要感謝我的主管 Ken, 讓我有機會可以到這優秀的環境深造, 感謝我的父母在這段期間給予我的肯定, 以及我的男友 Lopn, 總是往返台北新竹兩地接送我, 讓我免於舟車勞頓之苦, 體諒我這段時間沒能好好陪他, 用盡最大的包容心陪我走過許多風風雨雨, 也要感謝這兩年內關心我 幫助我的人, 能夠完成論文, 這份喜悅的成果是屬於你們的 貝佳瑄謹誌於 中華民國 9 9 年 6 月

6 目錄 中文摘要... 英文摘要... 誌謝... 目錄... 表目錄... 圖目錄... 第一章緒論.... 研究動機與目標.... 相關研究文獻.... 研究內容概述....4 論文架構... 第二章室內畫展導覽之辨識基礎...4. 畫展特徵點擷取...4. 畫展特徵點描述子 ZMs 之強度以及相位介紹 ZMs 之相似度計算...6. 畫展畫作特徵點描述子 k- 度空間樹狀 (k-d tree) 索引之建立與投票機制 7 第三章系統架構及畫展資料庫內容索引建立...9. 系統架構介紹...9. 資料庫製作..... 畫作實際尺寸丈量與畫作 D 點制定..... 畫展畫作 ZMs 描述子與特徵點位置之資料庫建立... 第四章拍攝畫作之影像查詢 拍攝畫作之 kd-tree 查詢結果投票名次 畫作查詢結果之驗證 資料庫影像與查詢影像之 Homograpy 估測 拍攝畫作之特徵點篩選與驗證正確率之計算 利用 Homograpy matrx H mage 之查詢結果驗證...8 第五章畫作與相機之相對位置估測 畫作與相機之空間座標相對位置的計算...

7 5.. 內部參數之計算 外部參數之計算 畫展畫作空間配置圖之建立 使用者參觀路徑記錄...7 第六章實驗結果 畫展影像辨識實驗結果 畫展影像相機定位實驗結果 單張資料庫影像之 Homograpy 驗證及相機軌跡定位 展場畫作空間配置圖及使用者參觀路徑估測...5 第七章結論與未來發展...8 參考文獻...9

8 表目錄 表 將 Homogarpy 驗證結果轉為灰階圖之誤差... 表 在圖 (a) (b) (c) 中之 proected ponts 誤差 (pxels) 之最小前 名...

9 圖目錄 圖 由左至右為 ToolKt 與 Tag... 圖 MSE 示意圖...4 圖 畫作辨識流程圖...9 圖 4 相機定位流程圖... 圖 5 畫作配置及參觀路徑追蹤流程圖... 圖 6 實體畫作座標示意圖... 圖 7 資料庫影像之 MSE 特徵點區域示意圖... 圖 8 Homograpy 檢驗流程示意...9 圖 9 Homograpy 驗證結果示意圖...9 圖 相機定位流程示意圖... 圖 串連畫作空間配置關係示意圖...4 圖 畫作空間配置建立方法示意圖...5 圖 三個座標系觀察共同一點 P 示意圖...6 圖 4 使用者介面之畫面...8 圖 5 輸入影像開始查詢...9 圖 6 查詢辨識結果...9 圖 7 Homograpy 驗證查詢結果之ㄧ... 圖 8 Homograpy 驗證查詢結果之二... 圖 9 資料庫影像之高更的 帶光環的自畫像... 圖 (a) (b) (c) 為估測查詢影像之 Homograpy... 圖 相機軌跡估測結果...5 圖 畫作空間配置圖...6 圖 (a) (b) (c) 為估測畫作空間配置圖...6 圖 4 (a) (b) 分別為使用者所輸入之查詢影像...7 圖 5 使用者參觀路徑估測...7

10 . 研究動機與目標 第一章緒論 在日常生活中, 人們去參觀美術 文物 人文歷史展, 常因為作品旁邊沒有適當的詳細說明或隨行駐館解說人員, 使得觀賞的民眾失去許多可以深入瞭解作品的機會, 大幅降低了參觀的趣味性及教育意義 即使在展場中常可看到大量印刷文宣品, 許多參觀民眾隨手拿了文宣, 卻往往沒有發揮紙本解說的最大效益, 也忘了這些紙本可以回收再利用, 這些舉動往往在無形中造成了資源的浪費 一般傳統虛擬導覽對於使用者來說, 屬於較為被動的方式, 都是由使用者依照指示按下滑鼠後才會有下一步的動作 然而隨著科技進步以及取像設備普及化, 標榜著虛實合一的擴增實境 (gmented ealty, 簡稱 ) 已成為近年來許多展場的主要應用技術 是將真實環境與虛擬實境結合, 提供額外輔助資訊, 增加使用者對於觀察對象的瞭解, 該領域的核心技術挑戰點為 : 系統如何得知使用者的觀察對象 ( 辨識 ) 和使用者的觀察角度 ( 定位 ), 來給予相對應的額外資訊 目前 技術又可分為有無使用特定 marker 作為區分, 分別為制式標記式 (fdcal marker) 技術以及無標記式 (markerless) 技術 一般常見的 fdcal marker 式 技術 (ToolKt[] 或 Tag[]), 為使用一正方形黑框, 內含各式各樣之預先制定好的 marker 圖案 ( 如圖 ), 其中正方形黑框用來搜尋在影像中 marker 的位置, 而 marker 中的圖案用來估測使用者的視角以利後續做攝影機定位 圖 由左至右為 ToolKt 與 Tag 然而 fdcal marker 式技術, 必須在真實世界中設置額外的 marker 在欲觀察對象的旁邊, 並在使用時, 攝影機除了須拍攝到觀察對象之外, 也須同時將 marker 入鏡, 系統才能給針對目標物給予額外的資訊說明 因此,fdcal marker 的存在除了給予使用者不自然的感受, 在操作上也較為不便 而 markerless[-8] 技術, 則是強調直接利用現有環境的物件 ( 牆壁 桌面 ) 或欲觀察的對象 ( 畫作 照片 ) 來

11 做辨識與定位, 不需置放額外的 marker, 讓 技術能有更廣的應用 Markerless 主要是利用特徵點擷取與對應技術, 來比對攝影機拍攝的畫面是否有資料庫已知的物件, 以提供額外的資訊給使用者了解 本論文提出一套有別於傳統導覽的方式, 以無標記式室內導覽技術概念, 使用者只需透過取像設備的鏡頭對著展場裡的景物拍照, 在畫面上除了呈現實際影像之外, 系統還可以自動標示出展出作品說明及介紹, 使得展場資訊更能夠無遺漏地傳達給參觀民眾 此外, 除了提供展出作品查詢功能外, 也利用相機定位原理, 記錄使用者已看過的展覽品, 呈現出參觀民眾曾走過的路線, 也可以更進一步引導使用者前往還未參觀的區域, 能夠更加提升民眾參觀作品的完整性 如此的無接縫服務功能, 將帶給使用者更豐富 更多元的寓教於樂成效 藉由此論文的構思以及技術, 便能同時兼顧教育性 娛樂性, 也能達到環保的訴求. 相關研究文獻就目前的趨勢而言, 一般常見的導覽系統須具備辨識以及空間定位功能 定位方式主要分為兩種, 分別為絕對定位與相對定位, 其中絕對定位又可細分為點定位和方向定位, 常見點定位裝置如 :GPS Zgbee Infrared ray 等, 這些裝置因訊號遭建築物阻擋 易受無線電干擾 或被室內展示燈光擾亂等缺點而不適用於室內導覽技術, 而方向性定位的儀器如 :gyroscope 電子羅盤等, 則是因為造價太過昂貴或易受磁性物品干擾, 也無法將如此的室內導覽設備推廣到一般使用者身上 [9-] 所使用的定位設備為 FID 以及 W-F, 除上述缺點外, 也無法提供使用者與畫作間的相對位置, 因此不考慮採用這些設備 現今無標記式導覽系統 [-] 在特徵點擷取與比對的技術上, 多半是使用 Scale Inarant Featre Transform (SIFT)[4-5],SIFT 主要是結合了 scale narant regon detector 和 gradent-dstrbton based descrptor 的觀念 然而 SIFT 只能針對 smlarty transformaton 做處理, 且無法對抗在 wde-baselne 下因視角變化而造成的幾何變形 法國 INI(Insttt natonal de recerce en nformatqe et

12 atomatqe) 研究機構過去曾經評估常見的 affne-narant regon detectors ( 如 Harrs-ffne Hessan-ffne[6] edge-based regon detector (E)[7] mage-based regon detector (I) MSE[8]) 之效能與精確度, 最終結論是以 MSE 及 Hessan-ffne 為最好的 個 detectors 至於 Zernke moments(zms) 目前已經被廣泛地應用在物體辨識 [9-] 的主題上, 其不怕位移 放大縮小及旋轉等影像變化等多項優點, 都非常適合用來做為特徵描述元的方法. 研究內容概述本論文以辨識及相機定位為兩大主軸, 在畫作辨識方面使用有別於常見的 SIFT 或 daboost 等方法, 而是基於 Maxmally stable extremal regons(mse) 和 Inarant Zernke Moment 的架構上針對物體特徵點進行處理, 定位方面則是克服一般點定位缺乏與標的物相對位置, 利用影像透過相機校正的方法估測出使用者拍攝當時相機與畫作的關係, 進而建立出使用者的參觀路線.4 論文架構本論文架構一共分為七個章節, 第一章為緒論, 第二章為本論文使用之辨識方法概念介紹, 含括特徵點擷取 特徵點描述以及索引建立, 第三章為描述資料庫製作, 第四章為查詢影像辨識結果之驗證, 第五章為相機定位, 說明相機內外部參數的估測方法, 第六章是實驗結果呈現, 第七章為結論

13 . 畫展特徵點擷取 第二章室內畫展導覽之辨識基礎 本論文利用 MSE 作為畫作特徵點擷取方式, 其優點誠如. 節所提及, 可對抗例如位移 放大縮小 旋轉 視角改變等影像變化 它藉由影像的灰階值, 並使用以下兩種方法萃取出特徵點 :. 在影像中某一灰階值以下找出最大相連 (maxmally connected) 區域,. 將灰階值增減一個範圍後, 其區域的面積變化率 相對最小 MSE 將影像視灰階值視為一地形剖面圖, 如圖 所示,,, 及所謂的 extremal regons, 橫軸為影像座標, 縱軸為灰階值, 縱軸上的 I regon 裡所包含的最大灰階值 ( ) 表示 圖 MSE 示意圖 說明 : 橫軸為影像座標 縱軸為灰階值 圖 MSE 示意圖, 橫軸為影像座標, 縱軸為灰階值 Extremal regons 的成長是將灰階值以遞增方式並找尋 4-connected component 為原則, 灰階值較大的區域會包含灰階值較小的, 呈現階層式的關係 對於每個 extremal regon 都可計算出一相對應的面積變異值 (araton), 仍舊以圖 為說明 範例, 假設 >, 將 定義為一 extremal regon, 此 regon 不僅包含, 且其 灰階值超過 I 至少 之最小面積 假設定義 Q 為一個 extremal regon, 則定義 如下 : ( ) { Q : Q, I( Q ) I( ) } Λ (.) argmn Λ 4

14 至於 一樣被定義為一 extremal regon, 此 regon 不僅被 所包含, 且其灰階 值低於 I 不大於 之最大面積 假設定義 Q 為一個 extremal regon, 則定義如 下 : ( ) { Q : Q, I( Q ) I( ) } Λ (.) argmn Λ 藉由 (. ) (. ) 來計算前面所提到的面積變異值 ρ, 計算方式如下 : ( ) ρ, ) / ( 當一個 extramal regon 的 ρ 同時小於 regon,, 就定義 為最穩定的 extremal. 畫展特徵點描述子在第一階段擷取出畫作特徵點後, 還需要將特徵點區域描述成特徵向量, 以利後續的畫作辨識以及相似程度比對 本論文利用 Zernke Moments(ZMs)[-8] 的方法進行特徵向量描述 由於 ZMs 擁有對抗位移 尺寸縮放 以及方向的不變性, 因此常被應用在圖形辨識以及影像分析上.. ZMs 之強度以及相位介紹本論文用到 ZMs 之基礎概念可分為兩個主軸, 分別為強度 (magntde) 以及相位 (pase), 而強度與相位的預估值來自與 bass fncton 的比較結果 將 bass fncton 視為一事先定義好的 4 維特徵向量 ( 每一維表示一種特徵 ), 這 4 維向量互相正交且獨立, 對於每一目標 pattern, 利用若干個橢圓區域去包覆其擷取出來的特徵點, 並且評估該特徵是否與 bass fncton 相似 在與這 4 維的 bass fncton 比較後, 則可求出這目標 pattern 的 4 維強度以及相位向量, 若與 bass fncton 越相近, 則值越大 Zernke Moments 是利用 Image fncton f ( ρ, θ) 與 bass fncton V nm ( ρ, θ ) 做積分得到, 且將 bass fncton 定義在一 nt crcle 中,order 為 5

15 n repetton 為 m, 且須符合 n m 為偶數以及 m < n 的條件 在此 V nm mθ ( ρ, θ ) ( ρ, θ ) e, ρ nm nm ( ρ) ( n s)! ( n m ) / s ns ( ) ρ n m n m s s s s)! Zernke bass fncton {V nm (ρ, θ)} 間為互相正交, 式子如下 : π!( )!( π V ( ρ, θ) V ( ρ, θ) ρdρdθ δ δ n * nm pq np mq δ ab { a b oterwse 計算二維數位影像 Zernke Moments 的數學式如下 : n Z f V Z e φ 定義影像的輸入影像的特徵向量為 P ρ * nm nm ( ρθ, ) nm( ρθ, ) nm π ( ρ, θ) nt dsk r P [ Z e, Z e, LL, Z e φ ] φ φ nmaxmmax T nmaxmmax Z nm 為強度, ϕ nm 為相位 本論文將用兩個特徵向量來表示一個 MSE regon, 分 別為 mag Z Z LL Z n max m max [,,, ] T pase [ φ, φ,..., φ ] nmaxmmax T.. ZMs 之相似度計算 假設存在兩組 ZMs 特徵向量 P : mag pase 與 P ρ : mag pase, 其中 mag [ Z, Z, LL, Z ] T n m, max max T pase [ φ, φ,..., φ ] ; nmaxmmax mag [ Z, Z,, Z ] T LL n m, pase [ φ, φ,..., φ ] max max nmaxmmax T 6

16 相似度計算數學式子如下 : () 強度的相似度定義為兩向量的夾角餘弦值, 變動範圍為 [,], 夾角餘弦值越 大, 代表相似程度越高 S mag mag mag (, ) mag mag mag mag () 相位的每個維度為一個角度, 由於相位有循環性 (crclarty), 這意味 θ 與 θ γ * π 是一樣的表示, 其中 γ 為任意整數, 而本論文定義相位的相似度為 ˆ ˆ mn{ Φnm ( mα ) mod( π), π Φnm ( mα) mod( π)} S pase( pase, pase ) wnm π 在此, m n w nm Z nm, Z nm nm Z Z nm nm Φ nm ( Φ Φ ) mod π nm ˆ ' nm ˆ 地計算 ( α ) π 範圍為 是實際相位差値, 旋轉角度 αˆ 是藉由遞迴性 (terately) αm Φnm ' m' mod 所求得, 而初始 ˆ α, [,], 值越大代表越相似 ρ ρ S Pase Pase pase ( ) w (, S pase pase pase ) 的 mn{ ϕ,π ϕ } nm nm nm m n π. 畫展畫作特徵點描述子 k- 度空間樹狀 (k-d tree) 索引之建立與投票 機制 藉由. 節 descrptor 相似度比較的計算方法, 已可達成 張影像間的點對 應求取, 但對導覽系統來說, 需要去搜尋出查詢影像的點對應到影像資料庫中哪 一張影像, 倘若用暴力式搜尋與資料庫內的每一張影像做點對應比對, 顯然非常 耗時, 本論文利用建立索引 (ndexng) 機制, 事先為資料庫中的影像建立索引, 以相對簡易的方式先搜尋較可能的對應影像後, 再作細部的特徵點對應, 由於畫 作特徵點的資料量龐大, 必須使用適合快速搜尋最近點的資料結構來儲存這些資 訊, 以加快特徵點比對時的速度, 而 kd-tree 演算法正好提供了一個 k 維空間快 7

17 速搜尋最相近點的資料結構 Kd-tree 為一均衡二元數, 假設已制定,,... 等 n 種特徵向量, 則訂定樹的第一層 root 為特徵向量 之強度向量的平均值, 第二層兩個 roots 為特徵向量 之強度向量的平均值, 依序類推下去, 當一查詢特徵向量進入 kd-treet 查詢時, 會先搜尋出最接近的強度向量, 接著再比對位向向量, 若兩種向量的相似度皆大於某一門檻值, 則將樹中該特徵向量投下一票, 再遞迴性地依序完成其他特徵向量比對及投票動作 由於畫作通常是由一群特徵點所構成, 所有資料庫影像的每個特徵向量都有可能獲得票數, 而得票數最高的影像代表與查詢影像有最多相似的特徵點, 則以該資料庫影像做為辨識結果 8

18 第三章系統架構及畫展資料庫內容索引建立 本章節承接第二章辨識基礎理論, 將介紹系統執行流程以及利用實例畫作建立資料庫的方法, 包含畫作尺寸丈量與在歐式空間的位置制定, 畫作特徵點描述子索引建立為畫作辨識的依據, 以及畫作特徵點描述子之 Homograpy 矩形調整之計算, 作為後續相機軌跡估算之基礎. 系統架構介紹為了使本論文目標說明以更清楚的方式呈現, 以下將使用者在展場中實際使用系統之情境區分為三大功能, 分別為畫作辨識 相機定位以及參觀路徑追蹤 當使用者使手持具有拍照功能的智慧型手機對著展場中感興趣的畫作拍照, 傳送至系統後即自動偵測查詢影像的特徵點, 並與資料庫中影像搜尋比對, 得到初步辨識結果後, 透過 Homograpy 機制來驗證查詢結果, 以確保所欲回傳資料之正確性 由於 Homograpy 需要正確的特徵點對應關係, 在此加入了特徵點篩選步驟, 可使該系統更為強健 流程如圖 為示 : 圖 畫作辨識流程圖 9

19 為了提供互動式的畫作相關資訊解說, 系統利用相機定位原理, 估算出使用者拍攝的視角, 當拍照的位置改變, 即回傳不同面貌的作品解說, 使參觀民眾對於畫作具有更深入的了解 此外本系統另外規劃展場畫作的空間配置關係, 不僅可以作為展場室內導航功能, 協助參觀民眾前往感興趣的展示區, 並且在使用者即將結束當日的參觀行程時, 系統還提供了參觀路徑追蹤功能, 回顧當日所欣賞過的作品, 並且提醒使用者還有哪些遺漏的推薦作品, 作為下次參觀路徑的建議, 提供更為客製化的服務 示意流程分別為圖 4 5 為示 : 圖 4 相機定位流程圖 圖 5 畫作配置及參觀路徑追蹤流程圖

20 . 資料庫製作 為了達成上述系統功能目標, 必須事先規劃好資料庫, 完善的資料庫製作才 能提供使用者更佳的服務功能, 其製作內容包括實際畫作資料設定 資料庫影像 取得 資料庫影像特徵點擷取, 執行方法將在以下章節分別介紹.. 畫作實際尺寸丈量與畫作 D 點制定 由於世界座標系統沒有統一的規格, 必須透過假設來制定物體在世界座標下 的 D 點座標, 首先需測量畫作的實際長寬, 若畫作尺寸為 x * y ( mm ), 令畫作上 的每一點都躺在 z 的平面上, 則訂定 D 點座標的方法如圖 6 所示 : 圖 6 實體畫作座標示意圖 由圖 6, 另左圖點 為世界座標原點 (,,), 與軸平行, x 與 y 軸平行, 利用 [4] 之假設, 令物體上的點都躺在 z 的平面上, 考慮到畫作實際長寬比 例, 可定,,, D 4 個 corners 的 D 點座標分別為 (,,), (,,), (, y,), ( x, y, x ) 對著畫作拍攝一張影像, 畫作面積需盡量填滿 整個畫面, 影像需清晰避免手震造成模糊, 每張影像中只含有一張畫作, 在影像 中可得知畫作 4 個 corners 的 D 點座標, 基於 4 個 D 點 對應的 D 點之關係

21 以及所有 D 點都躺在平面上的假設, 可列出數學式子如下 : z [ ] [ ] [ ] ( ). ~ 4, * * * 4* *4 * * Λ Λ Y X t r r K Y X t r r r K Z Y X t r r r K s 其中為成像平面的 4 個 corners 的 D 點座標, 為深度資訊, 是相機內部參數,[ 為旋轉以及位移矩陣, 為物體的 4 個 corners D 點座標, 由公式, 令 s K ] ) t r r r Y X (. [ ] t r r K H 故 ( ). Λ Λ Y X H s 因為實際畫作與拍攝影像皆為平面, 利用該特性可以將此對應關係視為平面與平面的對應, 得到資料庫影像與實際畫作 (D grond trt) 間的 omograpy matrx 後, 在.. 節裡將利用找出畫作上所有 D 特徵點所對應到的 D grond trt 座標 H H.. 畫展畫作 ZMs 描述子與特徵點位置之資料庫建立對於資料庫中拍攝的每一張影像, 利用. 節 MSE 特徵點擷取與. 節 Zernke Moment 特徵點描述子, 可求得資料庫裡每一張影像的特徵向量集合, 如圖 7 所示, 紅色橢圓表示特徵區域 每個橢圓所包含的特徵點區域, 可計算出一個相對應的 Zernke Moment 的特徵, 如. 節所提到的 magntde 向量與 pase 向量兩部份以及該特徵點的 D 點座標

22 圖 7 資料庫影像之 MSE 特徵點區域示意圖 說明 : 紅色橢圓表示所偵測出的特徵區域 此為高更的 帶光環的自畫像 當搜尋完畢資料庫畫作的特徵點後, 必須先為這些特徵點建立其相對應的 D grond trt 資訊, 以便後續查詢影像在找完特徵點時, 可以很快的計算出查詢 影像與實際畫作的 Homograpy 關係 要建立資料庫畫作每一個特徵點的 D grond trt 資訊, 可以先用手點方式點選畫作的四個邊框之 corners 的 D 特徵 點位置 (pxels), 而這四個 corners 分別又對應到.. 節描述的位置 (,,), ( x,,), (, y,), ( x, y,), 由公式 (.) Homograpy H 得知資料庫畫作與實際畫作之間的 矩陣關係式, 當已知資料庫畫作特徵點的 D 座標時, 可以用公 式 (. ) 反算出該 D grond trt 座標, 求出 D grond trt 座標後便可利用此資 訊作為後續相機定位之用 H X Y Λ Λ (.)

23 第四章拍攝畫作之影像查詢 上一章節所介紹的是系統流程架構以及畫作資料庫前置作業等相關設定, 而第四章所要討論的是關於查詢影像, 包含當使用者拍攝一張影像傳送到系統後, 系統該如何回傳查詢結果以給予使用者回應, 並且驗證系統回傳結果的正確性 4. 拍攝畫作之 kd-tree 查詢結果投票名次由. 至. 節所提方法, 當使用者輸入影像後, 系統對於查詢影像會先偵測 MSE 橢圓特徵點區域並計算 ZMs 的特徵描述向量, 利用強度與相位兩種向量, 搭配 kd-tree 之索引結構, 將資料庫中與查詢影像最相似的特徵向量搜尋出來, 並統計各張資料庫影像擁有與查詢影像相似的特徵點數, 將這些點數視為投票票數, 最後取出最高票的資料庫畫作影像, 當作初步辨識結果 4. 畫作查詢結果之驗證 4.. 資料庫影像與查詢影像之 Homograpy 估測由 4. 節的初步結果, 可得知查詢影像所對應到的資料庫影像, 利用這兩張 影像間相互對應的 D 特徵點, 即可計算出彼此之間 Homograpy matrx 關係式 : H mage 的 s * H mage * qery qery * Λ Λ ( 4.) 其中 s 表示一 scalar, 查詢影像上像素座標為 是資料庫影像中的某一特徵點像素座標, 該點對應到 qery qery 將公式 ( 4.) 展開可整理成式子如下 : 4

24 Let H mage * 將公式 ( 4. ) 重新整理為 qery qery s s s qery qery qery qery qery qery s s sλ Λ Λ Λ Λ Λ () () ( ) 將式 ( ) 代入式 () ( ) 可再整理成 : qery qery qery qery qery qery qery qery Λ Λ ( 4.) ) 由公式 ( 4., 假設, 剩餘 8 個未知數, 要求解一個 * H 至少需要 4 組對應點, 而這 4 組對應點, 必須要沒有包含對應錯誤的情形 (otlers), 且座標 越精確, 算出來的 H mage 才會越正確 考慮到 MSE 所找到的特徵點座標, 座標 難免會有偏差, 且 ZMs 有時也會發生對應點對錯的情形 ( 如圖案有重覆或很相似 的時候 ), 為了讓本論文計算 H mage mage 能更為可靠,4.. 節將介紹使用 NS 和 5

25 data condton 二方法來讓計算結果更為強健 (robst) 4.. 拍攝畫作之特徵點篩選與驗證正確率之計算 使用者所拍攝的查詢影像, 除了過度模糊或主體佔鏡頭畫面面積太小之外, 該畫作所擷取出的特徵點總數通常會大於 4 點, 而這些特徵點當中又可能包含了 對應錯誤的情形, 因此需要加入篩選特徵點的機制以求出最佳 Homograpy matrx, 以下將介紹三個步驟, 分別為 NS 搜尋反投影點之最小 medan error 以及 data condton, 以求出最佳的 Homograpy matrx H 4... 利用 NS 與 Mnmm Medan Error 檢驗找出最佳 H 假設資料庫影像與查詢影像之間一共有 m 組對應點, 在計算 時如前面 所述, 只有當至少 4 組點都不包含錯誤的對應點時, 結果才會好 因此利用 NS 的精神, 從 m 組對應點隨機選 4 組來算, 重覆此動作 n 次, 然後選取 這 n 次中最好的結果來做為 H mage H mage 的解 為了評估每一次所估測結果的好壞, 先 從 m 組對應點隨機選 4 個點來計算 Homograpy matrx H, 接著利用該 H, 將查 詢影像其餘 m 4 點反投到資料庫影像上而得到 : 影點與資料庫影像的 D 對應點 :D D,, 5 m, 這些反投 estmated ~ _ trt,, 5 m 必定存在些許誤差, 為了 grond ~ 避免極端狀況, 取出這些誤差的中間值 (medan error), 記錄為 mederr, ~ n, 做為評估這組解好壞的依據 若希望從 n 個 Homograpy matrces H, ~ n 中挑選出最佳估測結果, 可將 me derr 排序並且取出 mn ( mederr ), 再將該 ) mn(mederr 所對應到的 H 定為最佳的 Homograpy matrx H, 以下為演算法 流程 : best 6

26 Inpt : m correspondng featre ponts, Otpt : n teraton ronds H best f m > 4 for ~ n for set end end ndex mn( mederr) H set H gethomograpy D Err H D ( m) ( set ( : 4) ) get_canddate_featrept ( 5: m) ( ) H * set ( ) ( ) D ( ) grond _ trt mederr medan best estmated ndex ( Err) estmated get_canddate_featrept( featreptnmber reslt randompermtate( ~ x) retrn reslt x) 4... 使用 Data ondton 減少數值誤差 假設有一張 M * N pxels 的影像, 影像中任一點 p 的座標為 for ~ M, ~ N, 由於一般習慣將影像原點設定在影像的左上角, 則 影像 4 個 corners 到原點的距離不一, 距離越遠的數值變化越大, 以上情形將會造成計算時的誤差 為了避免這種數值誤差 (nmerc error), 利用 Hartley 所提出之方法 [5], 在利用對應的 D 特徵點座標計算 Homograpy matrx 時, 可先將影像原點移至影像中心點, 使 4 個 corners 到影像原點的距離皆相等, 再將 D 特徵點 座標的長 寬 (, ) 可變動的範圍都壓縮至 [ ] 7 之間以避免數值計算誤差, 使

27 估算出的 Homograpy matr 能夠更精準 4. 利用 Homograpy matrx H mage 之查詢結果驗證 由 4. 節的投票結果, 可找出得票數最高的候選影像, 但仍無法確定該候選 影像是否就是使用者所輸入之查詢影像, 因此在得到辨識階段初步結果後, 利用 rectfcaton[6] 的觀念, 將查詢影像搭配 4. 之, 使查詢影像轉正後與資料 庫回傳影像疊合, 若兩張影像間的差值越小則越相似, 回傳影像之可信度也越 高 方法描述如下 : H mage 令資料庫回傳影像為 I, 查詢影像為 I, 先產生一張空白影像 I ', 其尺寸 qery ' 大小與 I 相同 I ' 中的每一影像座標, 可利用公式 (4.) 找出在中 ' I qery qery ' qery 所對應到的影像座標 qery, 則可將每一點 的 G 資訊用來取 ' qery 代, 若遇到轉換後的座標資訊不是整數, 可用 維內插法求出該對應點之資訊 如此便可製造出一張與 I 拍攝視角相同且內容是取自於 I 的影像 I ' 將 I 與 I ' 相減, 若 G 值相減的平均誤差越小, 也就代表 I ' 與 I 越相近 圖 8 為檢驗流程示意圖, 左子圖為查詢影像對對應到的前三名, 右子圖為查詢影 像轉正後的結果 ; 圖 9 為 Homograpy 驗證結果示意圖 qery 8

28 9 圖 8 Homograpy 檢驗流程示意圖 9 Homograpy 驗證結果示意圖其演算法如下 : ( ) ( ( ) '; end end ));, ( ( _ ), '( ; ' * _ : for _ : for ; ' ; _ );, ( qery mage qery mage I I dfference I G get I I H x sze y sze x sze y sze createemptypc I I sze get x sze y sze I I gethomo H )

29 第五章畫作與相機之相對位置估測 第二至四章節部分所討論的是有關畫作辨識 驗證辨識結果正確性以及 Homograpy matrx 的估測方法, 而本章節所要陳述的主題為相機定位, 為了使 系統與使用者之間更具有互動性, 必須估測出畫作與使用者相機位置間的相對關 係 以下分為三個子章節, 分別為相機定位估測 畫作空間配置圖製作以及使用 者參觀路徑重建 5. 畫作與相機之空間座標相對位置的計算 5.. 內部參數之計算 ( ) 由公式 (.). 可得知,Homograpy matrx 是由內部參數乘以 proecton ] matrx[ t 的第一 二 四 colmns 所得來, 為了與 4. 節所討論的 H ( 指兩 張影像間的 Homograpy matrx) 作區別, 本章節定義 Homograpy matrx 為, 所代表意義為實際畫作與單張 D 影像間的 Homograpy matrx [4] 所提到分解相機內部參數的方法, 主要是利用 至 張影像, 也就是使 用 到 個 Homograpy matrces 來分解出 K, 然而在現實中無法規定使用者所 拍攝的影像張數, 因此將分解 K 的方法做適當彈性調整, 只需使用一張影像即可 推算出 K 令相機內部參數 K α γ, α 為 兩軸的 aspect rato, γ 為兩軸的歪斜程度, 若影像座標的兩個座標軸呈 9, 則 γ, 為影 像中心點, 由公式 (.) K mage ( ) 4 可得知一張影像可提供兩個等式, 因此假設 γ 以及 ( ) 為影像之正中央位置, 利用上述資訊來求解剩下兩個未知數, H α 令

30 ( ) ( ) ( ) ( ) ( ) α γ α γ γ α γ α γ γ α γ α γ α γ α γ α K K T 將 γ 代入可整理成 α α α α 其中只有 α 為未知, 為已知, 因此只需解出 即可求出 藉由 [4] 所使用的旋轉矩陣中任兩軸向量互為正交, 且兩軸向量長度相等的特性, 可推導出以下式子 : K 令旋轉矩陣 [ ] * r r r, 位移矩陣, 因此, 其中定義 利用上述旋轉矩陣之特性得知 * t ( ) * * * * t r r K H [ H ] ( ) ( ) Λ Λ Λ Λ K K K K K K T T T T T T 並定義第個為 H colmn [ ] T T, 第個為 T T,, 由公式 colmn [ ] ( )( ) 可列出以下式子 :

31 ) [ ] ( ) ( ( ) * * * T 將,, γ α 代入再將上式整理成 : ( ) ( ) ( ) ( ) [ ] ( ) 5. Λ Λ α α α α α α ) 觀察 ( 式可發現該式為的型式, 其中. 5 x 為已知,x 為未知, 若要求解, 可對 x 做 snglar ale decomposton 來得到之解, 也就是求得 x α, 還原出 K 5.. 外部參數之計算當求出內部參數後, 藉由之前定旋轉矩陣 K [ ] * r r r, 且已知

32 omograpy matrx 式子為 H ( ) K r r t, 當 H 已知, 並且承 5.. 節 * * * * 計算出內部參數 K, 利用以上資訊便可以計算出將旋轉矩陣以及位移矩陣, 利用內部參數反矩陣分別乘上 omograpy matrx 的第一 二 三個 colmn, 可求出旋轉矩陣的第一 二 colmns, 以及位移矩陣, 而剩下未知的旋轉矩陣第三軸, 可藉由前面所提兩軸正交之特性, 利用旋轉矩陣已知的兩軸進行向量外積計算, 即可得到第三軸資訊, 其公式如下 : r λk t λk r λk r r r 在此 λ 為一 scalar 且定義為 λ K K, 藉由以上步驟即可順利求 出相機外部參數, 當計算出外部參數後, 也就代表系統得知使用者相機對於實體畫作的相對位置, 利用這樣的資訊才能藉由相機視角的變化做為擴增實境的基礎, 以提供互動式的畫作解說 圖 為相機定位流程示意圖, 左子圖為模擬使用者站在不同角度拍照以及所輸入的查詢影像, 右子圖為系統所估測出的相機位置 圖 相機定位流程示意圖

33 5. 畫展畫作空間配置圖之建立在 5. 節中, 系統是將畫展中的所有畫作視為獨立個體, 每張畫作都擁有各自的座標系統, 然而為了提供使用者室內參觀方向導覽以及參觀路徑追蹤的服務, 必須事先知道在展場中所有畫作的空間配置圖, 也就是需要串聯起原本各自獨立的畫作, 定義出一個共同的世界座標原點後, 再找出彼此之間的空間相對關係, 圖 為串連畫作空間配置關係示意圖 圖 串連畫作空間配置關係示意圖 為了使原本各自獨立的畫作與其他畫作產生關聯, 需要以拍照方式並至少以兩張 畫作同時入鏡為原則, 才能找出畫作間的相對關係, 如圖 所示,(a) 至 (c) 分別 為單張畫作影像, 同時拍攝兩張畫作, 串聯起展場畫作空間配置關係 4

34 圖 畫作空間配置建立方法示意圖 (a) 獨立影像 (b) 串聯畫作 (c) 所有畫作空間配置 假設在展場中存在兩張畫作, 各自有擁有獨立的座標系, 且原點分別為 O, O 當同時對著 兩張畫作拍照, 取得兩張畫作同時入鏡之影像後, 藉由 [4] 利用兩張影像的方式求出一組共同的 K, 並分解出 [ t ] [ t ], 分別為畫作 與相機 的相對位置以及畫作 與相機 的相對位 置, 並將相機 之原點定義為, 其中 O t ( OO ), t ( OO ), 由於要在畫 面中同時呈現 兩張畫作配置圖, 若以 畫作為基準, 則需要將 畫作之 [ t ] 轉換到以 為參考原點的座標系 假設在空間裡存在一點 P, 由 畫 作之座標系看 P 定義為 P, 畫作之座標系看 P 定義為 P, 相機 之座標系看 P 定義為 P, 圖 為上述關係示意圖 5

35 6 圖 三個座標系觀察共同一點 P 示意圖藉由 [ ] t 及 [ ] t 可列出關係式如下 : [ ] ( ) [ ] ( ) 5.5, 5.4, Λ Λ Λ Λ t P P P t P t P P P t P 由公式 ) 可整理成利用公式 ) 的代入公式 ( 4 5. ( ) ( ) 5.6 T PΛ Λ t P P t P ( 5. 5 P ( ).6 5 ( ) ( ) ( ) ( 7 5. T T T T T T Λ Λ P t t P P t t P P t t P )

36 因為皆為已知, 當已知與的轉換關係式, 也已知與的相對關係, 由公式便可推導出轉換到以,,, t t P P P P ( 7. 5 ) P 為參考原點之座標, 亦可得知轉換到以 P 為參考原點之座標 承上述方法, 在找出畫作 的相對關係後, 即可建置出展場畫作的空間配置圖 5. 使用者參觀路徑記錄本節承接 5. 和 5. 的結果, 求出相機內外部參數以及展場畫作的配置圖後, 便可將使用者在參觀畫展時的拍照軌跡建立出來, 藉由相機軌跡與展場畫作配置之間的相對位置, 不僅能夠提供參觀行進路線導覽, 也能針對使用者進行個人化參觀行程建議, 提醒使用者是否還有未欣賞之畫作 當使用者對著某一張畫作拍照, 系統所計算出的旋轉及位移矩陣 [ ] t, 這裡的 [ ] t 表示畫作轉換到相機的相對關係, 但為了呈現相機軌跡時是以畫作為基準點, 因此要將 [ 的關係式修改為相機轉換到畫作 假設畫作上存在一點, 畫作到相機的轉換關係為 [ ], t] Z Y X t 點在相機座標裡表示為, 則關係式如下 : Z Y X ( ) 5.8 Λ Λ Z Y X t Z Y X t Z Y X Z Y X 從公式 ( 便可得知相機轉換到畫作座標的關係式, 當知道相機位置如何對應到展場畫作後, 即可建立出使用者之參觀路徑相機軌跡 5.8) 7

37 第六章實驗結果 本實驗系統所使用之軟硬體配備為華碩桌上型主機, 其規格為 Pentm() Dal-ore PU E65.9 GHz,G M,6G WD 硬碟, 作業系統為 Wndows XP, 搭配相機 anon SX IS, 系統程式是使用 Matlab 8a 所撰寫 6. 畫展影像辨識實驗結果本實驗藉由一操作簡易的使用者介面, 如圖 4 所示, 事先建立好資料庫影像的資訊, 當使用者輸入查詢影像如圖 5, 並按下 searc 按鍵, 系統便可自動搜尋出與查詢影像最相似的資料庫圖片, 並按照得票數的高低以遞減方式排列下來如圖 6 在得到最相似的資料庫影像後, 還需檢驗其正確性, 利用 4. 節所提方法, 將轉正後的查詢影像與資料庫影像相減, 並觀察相減後的結果 ( 圖 7 8), 表格 6. 為將相減後的結果圖檔轉為灰階, 並計算該灰階圖之平均值及變異數 圖 4 使用者介面之畫面 8

38 圖 5 輸入影像開始查詢 圖 6 查詢辨識結果 說明 : 右上角為得票數最高之資料庫影像 9

39 圖 7 Homograpy 驗證查詢結果之ㄧ說明 : (a) 辨識結果,(b) 查詢影像 (c) 將查詢影像轉正結果 (d) (a)-(c) 後的影像 (e) 針對 (a) (c) 中僅畫作部分相減結果

40 圖 8 Homograpy 驗證查詢結果之二說明 : (a) 辨識結果,(b) 查詢影像 (c) 將查詢影像轉正結果,(d) (a)-(c) 後的影像 (e) 針對 (a) (c) 中僅畫作部分相減結果 表 將 Homogarpy 驗證結果轉為灰階圖之誤差 轉為灰階圖之平均值 轉為灰階圖之變異數 圖 7 (e) 圖 8 (e) 畫展影像相機定位實驗結果 6.. 單張資料庫影像之 Homograpy 驗證及相機軌跡定位

41 相機定位結果的好壞取決於 Homograpy 是否估算精確, 本實驗利用 Homograpy 將畫作的 4 個 corners 端點 D grond trt 座標反投影至查詢影像上, 並以綠色圓圈標示, 若是 Homograpy 正確無誤, 則 proected corners 也應該落在正確的影像座標處, 圖 9 是資料庫影像, 圖 為模擬使用者在畫展拍攝 畫作的情況, 站在三種不同的角度對畫作取像, 利用 5.. 節之 估測出以綠色 圓圈畫出 4 個 corners 之反投影座標並用紅色線段連線, 表格 6. 為列出估測之反投影座標誤差之最小前 名, 圖 (a) (b) (c) 分別為估測查詢影像之相機軌跡之 front-ew bottom-ew top-ew H 圖 9 資料庫影像之高更的 帶光環的自畫像 圖 (a) (b) (c) 為估測查詢影像之 Homograpy 說明 : 綠色圓圈為估測的 proected corners

42 表 在圖 (a) (b) (c) 中之 proected ponts 誤差 (pxels) 之最小前 名 圖 (a) 圖 (b) 圖 (c)

43 圖 (a) 相機軌跡估測 front-ew 圖 (b) 相機軌跡估測 bottom-ew 4

44 圖 (c) 相機軌跡估測 top-ew 圖 (a) (b) (c) 相機軌跡估測結果說明 : 紅色細線邊框為畫作, 定義畫作左上角頂點為世界座原點, 並以綠色三軸表示, 相機座標以粉紅色三軸表示, z 軸朝內, 分別對應至圖 (a) (b) (c) 之相機位置 6.. 展場畫作空間配置圖及使用者參觀路徑估測圖 為畫作空間配置圖, 定義左邊畫作 雷諾瓦的 拿扇的少女 之左上角頂點為參考基準, 圖 (a) (b) (c) 分別為 front ew bottom ew 以及 top ew 之估測畫作配置圖 5

45 圖 畫作空間配置圖 圖 (a) (b) (c) 為估測畫作空間配置圖 說明 : 畫作上緣邊框以藍色線段表示參考點以綠色三軸座標表示 (a) 為 front ew (b) 為 bottom ew (c) 為 top ew 假設使用者所輸入圖 4 畫作空間中之兩張之查詢影像分別為圖 4(a) (b), 則圖 5 為使用者在圖 5 畫作空間中之參觀路徑估測 6

46 圖 6 (a) (b) 分別為使用者所輸入之查詢影像 圖 7 使用者參觀路徑估測說明 : 制定左一畫作之左上角頂點為世界座標之參考點, 如綠色三軸座標表示, 左邊三角錐為圖 4(a) 之估測相機位置, 粉紅色三軸為相機系統座標, 並且 z 軸朝內, 右邊三角錐為圖 4(b) 之估測相機位置 7

47 第七章結論與未來發展 本論文提出一套室內畫作導覽系統的概念, 分別以辨識以及定位為兩大目標, 利用辨識效能較為優秀的 MSE 以及 ZM 作為第一階段的辨識結果, 並搭配相機校正之原理, 利用單張影像來完成相機定位與軌跡估測之成果 但本論文實驗目前只針對理論之可行性, 未來還需將這概念拓展到手持裝置上, 並充實畫展說明內容, 包括動畫甚至加入多國語音導覽 未來希望能夠融入 trackng 之技術, 將單張影像查詢定位功能延伸至影片, 使系統功能更具完整性, 也能更符合使用者實際應用需求 8

48 參考文獻 [] H. Kato and M. llngrst, Marker tracker and HMD calbraton for a deo-based agmented realty conferencng system, n Proceedngs of te nd Internatonal Worksop on gmented ealty, San Francsco, US, 999. [] M. Fala, Tag, a fdcal marker system sng dgtal tecnqes, n Proceedngs of te IEEE Internatonal onference on ompter Vson and Pattern ecognton, ol., -5 Jne 5, pp [] G. Smon,.W. Ftzgbbon, and. Zsserman, Markerless trackng sng planar strctres n te Scene, n Proc. IEEE/M Int l Symp. gmented ealty (IS ), pp. -8,. [4] V. Ferrar, T. Tytelaars, and L.J.V. Gool, Markerless gmented ealty wt a eal-tme ffne egon Tracker, n Proc. IEEE/M Int l Symp. gmented ealty (IS ), pp ,. [5] I. Skrypnyk and D.G. Lowe, Scene Modellng, ecognton and Trackng wt Inarant Image Featres, Proc. IEEE/M Int l Symp. Mxed and gmented ealty (ISM 4), pp. -9, 4. [6] T. Lee and T. Höllerer, Mlttreaded ybrd featre trackng for markerless agmented realty, IEEE Trans. Vs. ompt. Grap., ol. 5, no., pp , May Jn. 9. [7]. O. astle and D. W. Mrray, Obect ecognton and Localzaton Wle Trackng and Mappng, In Proceedngs of te 8t IEEE/M Internatonal Symposm on Mxed and gmented ealty [8] D. Wagner, G. etmayr,. Mllon, T. Drmmond, and D. Scmalsteg. Pose trackng from natral featres on moble pones. In Proc 7t IEEE and M Internatonal Symposm [9] Kotso,.D.; Seco, F., Jmenez,.., oa, J.O., Ealo, J.L., Preto,., Geara, 9

49 J.. Prelmnary Localzaton eslts Wt n FID ased Indoor Gdng System, Intellgent Sgnal Processng, 7. WISP 7. IEEE Internatonal Symposm, pp.-6 [] Lassabe, F., analda, P., atonnay, P., Spes, F., arlet, D. efnng WF Indoor Postonng enders Pertnent Deployng Locaton-ased Mltmeda Gde, danced Informaton Networkng and pplcatons, 6. IN 6. t Internatonal onference on Volme, pp.6- [] K.-. en and W.-H. Tsa, Vson-ased tonomos Vecle Gdance for Indoor Secrty Patrollng by a SIFT -ased Vecle Localzaton Tecnqe, Veclar Tecnology, IEEE Transactons on Volme: PP, Isse: 99, pp. - [] N. Zang, M. L and. Hong, Smltaneos Localzaton and Mappng Usng Inarant Natral Featres, obotcs and ommetcs, 6. OIO '6. IEEE Internatonal onference, pp [] Y. Ogawa, N. Smada and Y. Sra, Enronmental mappng for moble robot by trackng SIFT featre Ponts sng trnoclar son, SIE, 7 nnal onference, pp [4] D. G. Lowe, Dstncte mage featres from scale-narant keyponts, Int l J. ompter Vson, ol. 6, no., pp. 9, 4 [5] K. Mkolaczyk and. Scmd, Performance Ealaton of Local Descrptors, IEEE Trans.Pattern nalyss and Macne Intellgence, 5, 7(), p65-6 [6] K. Mkolaczyk and. Scmd, Scale & affne narant nterest pont detectors, Int l J. ompter Vson, ol. 6, no., pp. 6 86, 4. [7] T. Tytelaars and L. Van Gool, Matcng wdely separated ews based on affne narant regons, Int l J. ompter Vson, ol. 59, no., pp. 6-85, 4. [8] J. Matas, O. m, M. Urban, and T. Padla, obst wde-baselne stereo from maxmally stable extremal regons, Image and Vson omptng, ol., 4

50 pp , 4. [9]. Kotanzad and Y. H. Hong, Inarant mage recognton by Zernke moments, IEEE Trans. Pattern nal. Mac. Intell., ol., no. 5, pp , 99. []. S. Won, D. K. Park, and S.-J. Park, Effcent se of MPEG-7 edge stogram descrptor, ETI Jornal, ol.4, no., pp. -,. [] S. L, M.-. Lee, and.-m. Pn, omplex Zernke moments featres for sape-based mage retreal, IEEE Tran. Systems, Man, and ybernetcs Part : Systems and Hmans, ol. 9, no., pp.7-7, 9. [] S.K. Sn, Image epresentaton, Matcng, and ecognton Usng Inarant Zernke Moment Descrptors, 博士論文, 國立交通大學, 資訊科學與工程研究所, 新竹市, 臺灣, 9. [4] Z. Zang, Flexble New Tecnqe for amera albraton, IEEE Transactons on Pattern nalyss and Macne Intellgence, ol., no., pp. -4,. [5] card I. Hartley. "In Defense of te Egt-Pont lgortm". IEEE Transacton on Pattern ecognton and Macne Intellgence [6]. Fsello, E. Trcco, and. Verr, compact algortm for rectfcaton of stereo pars, Macne Vson and pplcatons, pp.6-,. 4