東海大學資訊工程與科學系 畢業專題成果 擴增實境的應用 專題實驗報告書 指導老師 : 黃育仁老師 組 員 :963863 黃向志 963868 曾梧博 963870 余衍道 中華民國九十九年十二月十八日 -1-
目錄 一 前言與文獻回顧. 3 1.1 研究背景...3 1.2 研究目的...4 1.3 研究架構..4 二 作業流程說明..... 4 2.1 前置作業...4 2.2 設定 AR 的製作環境...5 2.3 製作 pattern 5 2.4 系所資料搜尋.6 2.4.1 行政人員..6 2.4.2 ST338 數位創新應用互動空間..6 2.4.3 PC 機房, 資訊電機實驗室.7 2.5 語音製作..7 三 方法...7 四 實驗成果. 7 五 結論. 9 六 AR 未來可能發展..10 七 參考文獻...10-2-
一 前言與文獻回顧 1.1 研究背景 AR(augmented reality 擴增實境 ) 是將電腦的資訊疊合到現實世界, 讓我們在正確的時間正確的地點取得 ( 感官的 ) 正確資訊 VR(Virtual reality 虛擬實境 ) 企圖取代真實世界, 以往通常就是在電腦裡面製作產生一個虛擬的環境, 將資訊放置在裡面, 而操作者可以藉由控制器或鍵盤在這個虛擬的環境下穿梭或互動, 相對之下 AR 則是在現實中擴增資訊 擴增實境 (Augmented Reality, 簡稱 AR) 一種實時地計算攝影機影像的位置及角度並加上相應圖像的技術 這種技術的目標是在螢幕上把虛擬世界套在現實世界並進行互動 提供現實中無法直接獲知的訊息 但是, 更深層次來講, 這種訊息實際上又讓每個人眼中的世界更加多樣性 這種技術估計由 1990 年提出 擴增實境有兩種通用的定義 : 一 (1) 將虛擬物與現實結合 (2) 實時 (3) 三維二 現實 - 虛擬連續統 他們將真實環境和虛擬環境分別作為連續統的兩端, 位於它們中間的被稱為 混合實境 其中靠近真實環境的是擴增實境, 靠近虛擬環境的則是擴增虛境 -3-
Artoolkit 的介紹由華盛頓大學所提供且維護, 其最早由 Hirokazu Kato 博士所設計出來, 之後華盛頓大學的人機互動介面科技實驗室 ( Human Interface Technology Laboratory) 繼續發展與維護 ( Human Interface Technology Laboratory,HIT Lab) 在 HIT Lab 中有介紹更詳細的 ARToolKit 歷史與發展, 另外也提供更多的應用範例以及他所釋出的最新檔案, 目前均為 OpenSource, 目前最新為 ARToolKit2.72.1 (20101106) 目前支援 Win, Mac, Linux 1.2 研究目的 本研究是針對資工系的系所導覽, 簡介基本的行政人員與辦公室助理, 希望對一開始新進的學生作簡介, 由於不了解資工系的運作方式和功能, 希望他們可以在剛進來或者想了解資工系的學生或家長, 可以馬上提供相關的資訊跟介紹, 有助於不熟悉系上網頁的訪客, 進一步了解助理的工作內容, 以及辦公室和專用教室的功能 透過以擴增實境的互動, 與擴增實境的技術 語音工具來進行研究 1.3 研究架構本報告分六個章節, 第一章為前言與文獻回顧, 闡述 AR 的原理與使用型態, 和其研究目的與動機 簡單介紹何謂 AR, 如何來實作, 如此有趣的運用方式, 用來契合這次報告的目的與動機 第二章為作業流程說明, 主要說明每一個部份的架構過程, 還有系所的簡介的內容, 第三章為方法, 主要介紹這次報告所使用的程式原理, 第四章是實驗成果, 呈現 AR 可以做到的最大限度跟功能, 還有介面, 第五章是討論, 對於此次的實驗作出的檢討, 第六章為參考文獻, 說明這次的研究所參考跟閱讀的資料出處 二 作業流程說明 2.1 前置作業 -4-
需要先在一個使用平台上先建構他的使用環境, 在 Windows 環境中, DSViedoLib, 是一套 OpenGL 工具函式庫, 分為 Runtime 及 SDK 來做, 呈現方式分 (1)OpenGL 繪圖 (2) 載入 VRML 呈現, 我們選擇後面的方法做製作, 所以需要加安裝 OpenVRML,bin 資料夾中的,DsRenderer.ax,glut32,regsvr32, 丟入 system32,dos 環境下執行,C:\regsvr32 DsRenderer.ax, 並且確定視訊裝置 Driver 有安裝完畢, 可正常運作 2.2 設定 AR 的製作環境我們是載入 VRML 呈現, 所以找到內建的檔案夾 object_data_vrml( 圖 1 ) 來做改寫, 可以設定載入多少個 patterns 跟相對應的影像,the number of patterns to be recognized 6 是設定要系統辨認多少個 pattern, 要把指定的 3D 模組寫入並且指定在第幾個 pattern 作顯示 ( 圖 1 ) 在對應的資料夾中找到 3D 模組的對應的.dat 檔 ( 圖 2 ) 並且使用記事本開啟來做改寫, 裡面可以做位移 ( Translation ) 旋轉( Rotation ) 縮放( Scale ) 的調整, 來顯示 3D 模組 ( 圖 2 ) 2.3 製作 Pattern -5-
製作正方形圖案, 線條加粗, 中間空白部分為 5*5 pixel, 並且利用任意旋轉都不會使圖像與其他圖示重複的製圖方式作成, 以左上角永遠有一白格, 右下角有一格的方式來製程一張 pattern 利用 mk_patt.exe 實作一個 pattern, 執行後會詢問相機的參數檔, 預設可以直接繼續, 此時會開啟 Webcam, 請將鏡頭對準自己的 pattern, 直到框住了 pattern 為止 ( 圖 3 ), 框住之後可以用滑鼠選擇正確的 pattern 並且命名 2.4 系所資料搜尋每個系都有自己的一套系統, 而行政人員往往是讓我們最容易加入這個大家庭的一個重要的角色, 所以我們收集他們的個人行政內的工作, 加入這個系統, 來讓大家方便取得他們的相關功能, 以利更容易加入這個系 然後我們還針對, 剛進入的學生可能較會用到的教室作簡介, 例如 ST338 數位創新應用互動空間,PC 機房作介紹 2.4.1 行政人員行政人員 : 蒐集他們的個人照片, 並且詢問他們的個人工作方面負責的部分, 製作一個照片的簡介 然後設置個人的姓名相對應的 pattern( 圖 4 ), 然後 ( 圖 4 ) 2.4.2 ST338 數位創新應用互動空間 ST338 數位創新應用互動空間 : 資工系近年來新建的教室劃為跨領域合作的互動空間, 結合本系多位教師與本校創意設計暨藝術學院的老師合作, 並以下一屆招生分組為出發點打造 我們針對他可以提供的功能作簡介, 提供演講的適合地點, 研究專題的討論地方, 在目前的大手牽小手的概念上作簡介, 讓大家可以了解這間教室可以提供的功能, 並且引起學生們的興趣 -6-
2.4.3 PC 機房, 資訊電機實驗室 PC 機房, 資訊電機實驗室 : 提供給一般的資工系學生作上課跟研究的地點, 裡面有五十台左右的電腦來供使用, 並且提供教室的使用規則來供參考 2.5 語音製作先錄製相對於每個介紹地點的聲音檔, 作一可供選擇對於相對應的地點的一個選單來作錄製 ( 圖 5 ) ( 圖 5 ) 三 方法 在 PATTERN 經過 MAKE_PATTERN 的程序過後, 會產生一個大型矩陣來代表該張圖的代碼 其代碼會記錄每個 PIXEL 色彩的亮度 (0-255), 並且會確定該正方形的黑框與白色部分比例一定, 才會讀取作 PATTERN 之後再確定該 PATTERN 具有方向性, 才能使最終結果的模組不出錯 PATTERN 讀到以後, 便會導入與其 PATTERN 相關的模組或, 以及對應模組的 方向性, 大小, 位置, 貼圖 都導入後, 並確定電腦的影像讀取裝置位址, 之 後才產生可以調整影像 FRAME 大小跟 RATE 的介面來讓使用者操作 當使用者的影像讀取裝置照到與成是對應的 PATTERN 時便會依據設定來產生其相關的應用 四 實驗成果 利用製作好的 pattern, 開啟程式, 可以利用選單來作微調 ( 圖 6 ), 改變輸出大小, 畫面播放速率通常以最高 30 的方式顯示, 以得到最好的效果, -7-
( 圖 6 ) 用視訊裝置對它作成像, 會在顯示的視窗上跑出那個 pattern 的附加資料, 並且以 3D 模組的方式呈現, 一個程式可以同時掛載多個模組 ( 圖 7 ), 並且同時做輸出, 只要在夠的空間下, ( 圖 7 ) 現在整合語音導覽, 我們可以提供介面上視覺的感官跟聲音的介紹, 簡而易懂的 方式來介紹自己的系所 ( 圖 8 ), -8-
( 圖 8 ) 五 結論 運用此 TOOL 能做出的 VRML 檔案與模組, 其貼圖的形式並沒有很多元, 無法作出立體式的或環繞式的貼圖 這些很難在既有的程式碼上做直接的改變, 可能要讀熟 VRML 最新的模組格式並套入程式才能實現 另外就是模組時間軸的部分, 換 PATTERN 模組時間軸就立即重置, 如果要應用 到導覽或互動遊戲, 則使用者必須穩定的讓程式持續讀取到該 PATTERN, 這是 很可惜的地方, 也是不容易修改的部分 此外, 程式會在一開始導入所有的 PATTERN 跟模組, 過於精緻的模組, 其記憶 體消耗也就越高, 當一個程式導入過多的 PATTERN 跟模組時, 記憶體就會不夠 用, 並且無法針對讀到 PATTERN 再導入該模組至程式, 無法立即更換 -9-
六 AR 未來可能發展 1. 與實際環境互動式的發展 1.PATTERN 用常見的商標取代甚至融入實際環境 1. 虛擬硬體或多媒體裝置 七 參考文獻 1.Human Interface Technology Laboratory_ARToolKit [1] A. Wexelblat, "The Reality of Cooperation: Virtual -10-
Reality and CSCW", Virtual Reality: Applications and Explorations. Edited by A. Wexelblat. Boston, Academic Publishers, 1993. [2] C. Carlson, and O. Hagsand, "DIVE - A Platform for Multi-User Virtual Environments", Computers and Graphics, Nov/Dec 1993, Vol. 17(6), pp. 663-669. [3] J. Mandeville, J. Davidson, D. Campbell, A. Dahl, P. Schwartz, and T. Furness, "A Shared Virtual Environment for Architectural Design Review", CVE '96 Workshop Proceedings, 19-20th September 1996, Nottingham, Great Britain. [4] J. Grudin, "Why CSCW applications fail: Problems in the design and evaluation of organizational interfaces", Proceedings of CSCW '88, Portland, Oregon, 1988, New York: ACM Press, pp. 85-93. [5] H. Ishii, M. Kobayashi, K. Arita, "Iterative Design of Seamless Collaboration Media", Communications of the ACM, Vol 37, No. 8, August 1994, pp. 83-97. [6] D. Schmalsteig, A. Fuhrmann, Z. Szalavari, M. Gervautz, "Studierstube - An Environment for Collaboration in Augmented Reality", CVE '96 Workshop Proceedings, 19-20th September 1996, Nottingham, Great Britain. [7] J. Rekimoto, "Transvision: A Hand-held Augmented Reality System for Collaborative Design", Proceeding of Virtual Systems and Multimedia '96 (VSMM '96), Gifu, Japan, 18-20 Sept., 1996. [8] T. Ohshima, K. Sato, H. Yamamoto, H. Tamura, "AR2Hockey:A case study of collaborative augmented reality", Proceedings of VRAIS'98, pp.268-295 1998. [9] M. Billinghurst, S. Weghorst, T. Furness, "Shared Space: An Augmented Reality Approach for Computer Supported Cooperative Work", Virtual Reality Vol. 3(1), 1998, pp. 25-36. [10] A. Sellen, "Speech Patterns in Video-Mediated Conversations", Proceedings CHI '92, May 3-7, 1992, ACM: New York, pp. 49-59. [11] R. Azuma, "SIGGRAPH95 Course Notes: A Survey of Augmented Reality", Los Angeles, Association for -11-
Computing Machinery, 1995. [12] A. State, G. Hirota, D. T. Chen, W. F. Garrett, M. A. Livingston, "Superior Augmented Reality Registration by Integrating Landmark Tracking and magnetic Tracking", Proceedings of SIGGRAPH96, pp.429-446,1996. [13] U. Neumann, S. You, Y. Cho, J. Lee, J. Park, "Augmented Reality Tracking in Natural Environments", Mixed Reality - Merging Real and Virtual Worlds (Ed. by Y. Ohta and H. Tamura), Ohmsha and Springer-Verlag, pp.101-130, 1999. [14] J. Rekimoto, "Matrix: A Realtime Object Identification and Registration Method for Augmented Reality", Proceedings of Asia Pacific Computer Human Interaction 1998 (APCHI'98), Japan, Jul. 15-17, 1998. [15] G. Klinker, D. Stricker, D. Reiners, "Augmented Reality: A Balancing Act Between High Quality and Real-Time Constraints", Proceedings of ISMR '99, 1999, pp.325-346. 2.DKBLOG_ARToolKit 實戰 / 教學 ( 一 ) 建構篇 ( 二 )VRML 篇 3. 柯翰庭 (2010) 輔助古蹟寺廟行動學習之多標記擴增實境遊戲的的互動模式研 究 大同大學工業設計研究所碩士論文 4. WikiLeaks 5.Java_How To Program_Eighth Edition_Paul Deitel&Harvey Deitel Appendix H, Number Systems Appendix I, GroupLayout Appendix J, Java Desk Integration Components(JDIC) Appendix K, Mashups Appendix L, Unicode Appendix M, Creating Documentation with javadoc Appendix N, Bit Manipulation Appendix O, Labeled break and continue Statements Appendix P, UML 2 : Additional Diagram Types Appendix Q, Design Patterns 6. 東海大學資訊工程學系系網站 -12-