108 臺 中 教 育 大 學 學 報 : 人 文 藝 術 類 Abstract To satisfy the audiences' pursuing of image realism and content imagination, the combination of live footage

107 臺中教育大學學報 人文藝術類 00 年 ( ) 0 - 使用攝影機追蹤的實景合成電腦動畫創作研究 Applying Camera Tracking as a Tool to Composite Computer Animation onto Video Editing 呂洽毅 鐘世凱 Cha-Yi Lu Shih-Kai Chung 收件日期 年 月 日 接受日期 年 月 日 摘 要 為了滿足閱聽者對影像真實感與想像力的需求 實拍影片結合虛擬 D 電腦動畫元 素 儼然已成為數位影像發展的新趨勢 時至今日 好萊塢的電影特效在結合實拍影片 與 D 動畫已是司空見慣 然而高成本的製作 卻令小型的工作室或獨立的創作者望之卻 步 無疑的也阻礙了影像創作者創意空間的發揮 隨著電腦科技的進步 D 動畫製作成本亦大幅降低 投入實景 D 電腦動畫製作的 人也日益增加 然而多數製作者仍受限於 攝影機追蹤 技術的運用 而使作品的視覺效 果大打折扣 因此本創作研究即以 攝影機追蹤 為核心 分析實拍影片中攝影機的追蹤 及應用 並以實務創作進行佐證說明 以提供創作者實景 D 電腦動畫一個完整的製作參 考依據 使其作品能達到更好的合成視覺效果 關鍵詞 D 電腦動畫 攝影機追蹤 合成 實景電腦合成 嶺東科技大學數位媒體設計學系兼任講師 臺灣藝術大學多媒體動畫藝術學系副教授

108 臺 中 教 育 大 學 學 報 : 人 文 藝 術 類 Abstract To satisfy the audiences' pursuing of image realism and content imagination, the combination of live footage and computer animation has become one of the mainstreams in digital content creation. This new visual effects tool has widely adopted in Hollywood, however, due to the high production cost, we rather seen small studio or independent artists devote their works in this field. This certainly hinders the expanse of some creative ideas. As computer technologies advance, the production cost of D computer animation dwindles, and more artists devote combining live footage and computer animation respectively. Unfortunately most of the artists are not familiar with "camera tracking". As a result, the visual effects impact of their works are not well displayed. Thus, this study focuses "camera tracking" technology, and analyses the camera tracking and its application of virtual camera in live footage video editing. Coupling with this study, a video editing animation work was created as an example to demonstrate research results. Through this study, we hope it provides a good reference for artists to better display the visual effects of their video editing works. Key words: D Computer animation, Camera tracking, Compositing, Video CG editing

使用攝影機追蹤的實景合成電腦動畫創作研究 109 壹 緒論 隨著電腦科技的進步 電腦動畫技術日新月異 製作成本大幅降低 投入 D 電腦動 畫製作的人也日益增加 電腦動畫在影像創作的優點最主要來自於成本的節省與想像力的 延伸 成本的節省包括不需花費龐大的預算來建立真實的場景模型 不需演員冒著危險進 行表演 不需昂貴的燈光 攝影器材 後製效果 等等 想像力的延伸指的是傳統電影製 作所難以達到的創意效果 譬如說幾乎無時空限制的攝影機運鏡 虛擬想像的場景 人 物及其互動等 在電影中結合電腦動畫的優點已是好萊塢善用的製作手法與行銷的賣點 近年知名的 影片 如 鐵達尼 的沉船 不可能的任務 的爆破 酷斯拉 的模型 魔戒 的場 景等 都是實拍影片結合虛擬 D 電腦動畫 不僅節省了不少製作成本與危險性 更達到 了膾炙人口的視覺效果 相較於 D 電腦動畫 實景合成的製作主要優勢有二. 實景合成不需製作場景 在 D 軟體中雖然角色的 D 模型比場景模型較難製作 但場景必須注意很多細節 如牆腳 桌腳 材質 燈光等 要模擬真實的場景並不簡單 尤其若是製作戶外的自然場 景 樹 草等自然景觀更是困難 但若是實景合成的創作 不需製作場景 可以把心力都 花在角色動畫上 不需考量場景 燈光 材質等 相對來說就輕鬆許多. 寫實的擬真度 雖然以現在的 D 技術要模擬真實世界的燈光材質已不是問題 但若要模擬真實的燈 光 電腦算圖則相當耗時 往往一張畫格就需時數分鐘以上 算成動畫就更加費時了 但 即使是動畫 還是與真實世界有些差別 但若以實景合成的創作來說 場景的真實度則是無庸置疑的 因為它就是來自真實的 世界 只是再加上一些虛擬物件 如此一來真真假假 觀眾就自然融入場景情境中 因此 在擬真程度上 實景合成的創作更勝一籌 相對的 實景合成在呈現上 亦有其相關的限制. 題材受制 由於場景取自於現在場景 雖然擬真度較高 但其題材變受到限制 時空便只能受 制於現代 當然也可作出其他時空的背景 但場景就必須尋找適合的地點 或額外耗資製 作 不似 D 動畫可自由創作場景與風格. 風格受制 雖然說實景合成的故事性並不會受到限制 但在風格上卻受限於擬真度的實景而多所 限制 若要作出小孩子的風格 如童話寓言 或是可愛的風格 虛擬角色與現實擬真的場 景通常格格不入 實景合成就不大恰當了

110 臺 中 教 育 大 學 學 報 : 人 文 藝 術 類 一 創 作 研 究 背 景 及 動 機 國 內 電 影 工 業 沒 落 多 年, 票 房 不 振 也 讓 投 資 者 卻 步, 惡 性 循 環 的 結 果, 以 致 於 國 片 只 能 侷 限 在 愛 情 或 社 會 寫 實 之 類 的 低 成 本 電 影 最 近 的 一 項 調 查 顯 示 國 內 一 年 的 電 影 產 業, 外 國 影 片 為 五 億 票 房 而 國 內 影 片 卻 只 有 四 千 萬 的 票 房 主 因 電 影 消 費 者 多 是 年 輕 族 群, 而 這 些 觀 眾 人 偏 好 科 技 刺 激 爆 破 等 精 彩 場 面, 好 萊 塢 的 製 作 正 好 投 其 所 好, 在 此 影 響 下, 一 般 缺 乏 資 金 的 小 成 本 製 作 很 難 再 吸 引 這 些 年 輕 消 費 族 群 國 內 雖 然 缺 乏 大 型 電 影 的 製 作 經 驗, 在 成 本 資 金 的 籌 備 上 亦 多 所 困 難, 但 D 電 腦 動 畫 提 供 了 一 難 得 的 契 機, 如 何 結 合 D 電 腦 動 畫 與 實 拍 影 片 便 是 一 項 重 要 的 議 題, 這 其 中 實 拍 攝 影 機 的 透 視 角 度 與 動 作 追 蹤 更 是 扮 演 了 舉 足 輕 重 的 角 色 在 此 動 機 下, 本 創 作 研 究 嘗 試 結 合 實 拍 影 片 與 D 電 腦 動 畫, 並 特 別 針 對 攝 影 機 動 作 追 蹤 進 行 分 析 探 討, 希 望 藉 由 此 創 作 研 究 及 攝 影 機 追 蹤 技 術 的 應 用 心 得, 讓 數 位 影 像 同 好 彼 此 切 磋 交 流, 喚 起 數 位 個 人 創 作 風 潮 二 創 作 研 究 目 的 本 創 作 研 究 嘗 試 以 攝 影 機 追 蹤 進 行 實 景 D 電 腦 動 畫 創 作, 其 研 究 目 的 及 重 要 性 有 以 下 幾 點 : ( 一 ) 開 啟 個 人 創 作 之 風 現 今 的 數 位 設 備 已 相 當 普 及, 如 數 位 攝 影 機 (DV) 電 腦 等 一 般 大 眾 已 可 以 自 己 創 作 短 片 甚 至 電 影, 國 內 相 關 科 系 的 學 生 也 都 自 行 拍 攝 電 影, 並 在 網 路 發 表, 掀 起 一 股 風 潮 許 多 電 影 人 也 看 中 這 點, 舉 辦 很 多 活 動 來 帶 動 國 內 的 電 影 風 潮, 如 金 馬 影 展 的 全 民 DV 運 動 還 有 果 實 文 教 基 金 會 辦 的 拍 你 的 小 電 影, 都 是 看 中 數 位 器 材 的 普 及 與 便 利, 來 推 動 個 人 創 作, 當 然 也 間 接 促 進 國 內 的 電 影 產 業 了, 但 最 重 要 的 是 為 未 來 注 入 新 血, 吸 引 更 多 人 才 來 投 入 電 影 工 業, 並 藉 由 比 賽 挖 掘 人 才, 培 養 更 多 電 影 新 秀 而 本 創 作 研 究 結 合 攝 影 機 追 蹤 進 行 個 人 創 作, 只 要 利 用 個 人 電 腦, 就 可 以 製 作 實 景 D 電 腦 動 畫 影 片 的 效 果, 相 信 可 以 帶 動 個 人 的 創 作 風 潮, 並 讓 不 同 領 域 的 人 相 互 學 習 互 相 支 援, 達 到 同 儕 間 互 相 砥 礪 學 習 的 風 氣, 建 立 專 業 分 工 的 觀 念 ( 二 ) 探 討 分 享 拍 攝 與 合 成 技 巧 創 作 研 究 中 除 了 攝 影 機 追 蹤 技 術 的 應 用 之 外, 亦 將 進 行 拍 攝 技 巧 及 影 片 後 製 的 細 節 探 討, 藉 由 創 作 過 程 軟 體 操 作, 並 比 較 軟 體 優 劣 之 經 驗 分 享, 探 討 完 整 的 製 作 流 程, 提 供 數 位 影 像 創 作 者 另 一 個 創 作 管 道, 進 而 提 升 國 內 電 影 工 業 的 水 準 三 創 作 研 究 流 程 本 創 作 研 究 在 設 定 實 景 D 電 腦 動 畫 題 材 後, 隨 之 進 行 文 獻 蒐 集 探 討, 並 進 行 電 腦 動 畫 製 作 流 程 各 階 段 之 相 關 技 術 分 析, 尤 其 是 攝 影 機 追 蹤 技 術 研 究 在 確 定 執 行 技

使用攝影機追蹤的實景合成電腦動畫創作研究 111 術無虞下 進行 DV 實景拍攝與 D 電腦動畫製作 透過實景拍攝的攝影機追蹤 完 成實景 D 電腦動畫的定位與後製合成 圖 創作研究流程 貳 文獻探討 一 攝影機追蹤概述 在真實場景中加入一虛擬物件 首先必須先行拍攝現實生活中的真實場景 簡稱 實 拍 再到 D 軟體中建立電腦虛擬物件 然而合成時 若攝影機不動 我們只需將實拍 的影片置入 D 軟體中 再調整 D 軟體中的攝影機的 FOV 接著實拍影片合成即可 但 若是真實世界裡的攝影機有移動 (Zoom Pan Tilt) 等等動作 合成便相對複雜困難 因 為 D 軟體裡的攝影機也必須跟著移動 如此才不至於場景已經偏移 但虛擬的 D 物件 仍留在原地的錯置情形 也就是說必須要把實際攝影機的移動路徑與 Pan/Tilt/Zoom 送 到 D 軟體中的攝影機 如此才能兩者同步 輸出完美的合成效果 這樣的技術就是 攝 影機追蹤 (Haralick, ; Fitzgibbon & Zisserman, ) 攝影機追蹤的相關技術在虛擬攝影棚中也常使用 但往往需要昂貴的機器與特定的 軟體 在處理上若不要求做到 即時 的效果 (Shirai et al., 00 ) 通常只需在藍幕上標示 若干點 之後再到攝影機追蹤軟體進行處理 若是拍攝室外的場景 也必須標記數個標示 點 並量測各標示點彼此的距離即可 攝影機追蹤的技術主要是追蹤 D 的圖像特徵來抓出攝影機路徑 再配合 D 軟體裡 的單位與參考物件 來回追溯出攝影機的路徑與景深 進而算出攝影機的位置 旋轉與視 角的相關資料 ("The Art of Tracking", 00 ) 在 D 追蹤的工作流程中 必須先鎖定追蹤點 在常用的追蹤軟體 (Combustion Tutorials, 00 ; Boujou, 00 ) 中只需在想要追蹤的點上一點 即會出現兩個同心方框 圖

112 臺中教育大學學報 人文藝術類 圖 D追蹤的兩個方框 圖 中間內緣方框為鎖定點 一般的鎖定範圍有兩種 一為點 如臉上的特徵點 如 痣 在同樣膚色的臉上出現的一點黑點 在電腦中是容易判斷的 二為顏色反差較大的 邊界 如衣服兩種布料間的接縫 如白色的衣服有紅色的口袋 因此可以鎖定兩種布料間 的接縫 只要顏色差異極大 電腦便容易鎖定 外面的第二方框參考範圍在輔助內緣方框的設定 如上所述 鎖定點可為臉上的痣 但若是同樣膚色的臉上有兩個痣便可能造成誤判 此時藉由第二層參考範圍便可發揮功 用 如此當鏡頭位移過大時 程式便能依據第二方框參考範圍 判定所欲鎖定的追蹤點 二 硬體的攝影機追蹤 攝影機追蹤可概分成硬體與軟體技術 硬體的攝影機追蹤最具代表性的就是虛擬攝 影棚 (Virtual Studio) (Gibbs et al., ; Hall & Sakatani, 00 ) 了 早期虛擬攝影棚指的是 一個藍幕或藍棚 再加上電腦動畫的場景來做一些組合 現在的虛擬攝影棚則加入了 互 動 包括演員 場景互動 也就是說在虛擬攝影棚把演員的一些動作資料傳輸到電腦 裡 使它可以精準的跟我們所製做的 D 背景作結合及互動 讓觀眾覺得演員是在動態的 一個場景中 李芳甄 00 虛擬攝影棚的部分由於需要做出 即時 的效果 因此多使用硬體的攝影機追蹤設 備 其中又可分機械式 光學式以及超音波三種 ( 一 ) 機械式追蹤系統 顧名思義就是以機械的攝影機 將攝影機的位移量 旋轉 焦距 景深等資料傳送給 電腦做運算 由於是機械式的 所以速度快 但這種機械手臂式的攝影機往往價格非常昂 貴

使 用 攝 影 機 追 蹤 的 實 景 合 成 電 腦 動 畫 創 作 研 究 113 ( 二 ) 光 學 式 追 蹤 系 統 這 種 系 統 與 動 作 捕 捉 器 (Motion capture) 的 原 理 一 樣, 在 一 個 佈 滿 ~ 個 紅 外 線 攝 影 機 的 攝 影 棚 裡, 在 攝 影 機 上 裝 設 感 應 器, 接 著 攝 影 機 的 任 何 動 作, 都 可 以 透 過 的 紅 外 線 攝 影 機 來 捕 捉 分 析 (Bodenheimer et al., ), 最 後 輸 出 給 電 腦 處 理 但 受 制 於 紅 外 線 的 訊 號 會 因 距 離 而 衰 減, 以 至 於 攝 影 棚 往 往 不 能 太 大, 這 是 其 缺 點 ( 三 ) 超 音 波 追 蹤 系 統 在 攝 影 棚 的 天 花 板 架 設 超 音 波 發 射 器, 在 攝 影 機 上 裝 設 接 收 器, 由 音 波 的 發 射 與 接 收 來 判 斷 出 攝 影 機 的 移 動 與 旋 轉 造 價 昂 貴 的 虛 擬 攝 影 棚 及 相 關 硬 體 乃 是 小 型 工 作 室 或 個 人 進 入 的 最 大 門 檻 其 實 除 了 新 聞 或 即 時 Call in 的 節 目 外, 大 多 數 節 目 都 不 需 要 做 到 即 時 的 處 理, 而 本 創 作 研 究 也 不 需 作 到 即 時 處 理, 因 此 對 於 即 時 運 算 的 虛 擬 攝 影 棚 系 統 就 不 作 詳 述, 以 下 介 紹 攝 影 機 追 蹤 的 軟 體 三 軟 體 的 攝 影 機 追 蹤 攝 影 機 追 蹤 的 軟 體 一 般 可 分 兩 種, 第 一 種 是 D 軟 體 內 建 的 攝 影 機 追 蹤, 此 類 軟 體 大 多 需 要 在 D 動 畫 軟 體 內 再 建 立 一 個 D 模 型, 再 以 其 D 的 長 寬 高, 配 合 單 位, 建 構 出 D 的 空 間 與 攝 影 機 Pan Zoom 的 效 果, 如 DS MAX 的 Camera Match (CG Tutorials, 00) Maya 的 Maya Live (Maya Live, 00) 另 一 種 則 是 以 D 追 蹤 技 術 的 獨 立 軟 體, 將 影 片 (D) 的 位 置 追 蹤 出 來 後, 再 配 合 使 用 者 定 義 出 X Y Z, 即 可 在 D 軟 體 內 計 算 出 景 深, 而 得 到 攝 影 機 的 焦 距 與 Pan/Tilt/Zoom 等 移 動 資 訊, 最 後 再 輸 出 各 家 D 軟 體 的 script, 如 DS MAX 的 ms, 或 MAYA 的 mel, 這 些 script 就 像 是 小 程 式 功 能 一 樣, 能 自 動 建 立 出 攝 影 機 相 關 資 訊, 並 將 在 D 軟 體 內 的 資 料 全 都 輸 出 成 攝 影 機 的 動 畫 主 要 畫 格 (keyframe), 包 括 移 動 旋 轉 FOV 等 等 以 下 簡 介 兩 種 類 型 軟 體 作 法 ( 一 ) 3DS MAX (Autodesk 3DS MAX, 2008) MAX 內 建 的 攝 影 機 追 蹤, 需 要 個 參 考 點, 最 少 點 需 在 不 同 平 面 上 要 求 限 制 較 高, 但 準 確 度 不 高 而 且 追 蹤 速 度 慢, 不 過 其 手 動 調 整 的 部 分 相 當 自 由, 可 以 自 由 地 中 途 加 入 追 蹤, 以 彌 補 其 自 動 追 蹤 之 不 足 以 下 簡 述 其 工 作 流 程 :. 首 先 載 入 實 拍 的 影 片. 接 著 在 D 軟 體 裡 面 建 立 參 考 點 在 DS MAX 匯 入 影 片 後 需 建 立 參 考 點 並 輸 入 真 實 世 界 之 尺 寸 位 置. 依 實 際 場 景 中 參 考 物 件 的 尺 寸, 設 定 D 軟 體 的 單 位, 並 移 動 參 考 點 至 實 際 位 置 因 此 在 拍 攝 實 景 時 就 必 須 做 測 量 的 動 作. 進 行 追 蹤 : 讓 軟 體 自 動 追 蹤 以 減 輕 負 擔, 遇 到 追 蹤 的 路 徑 有 問 題 時, 再 手 動 調 整 路 徑. 追 蹤 完 若 沒 有 太 大 問 題, 即 可 輸 出 建 立 一 個 虛 擬 的 攝 影 機, 而 這 個 攝 影 機 所 有 的 動

114 臺中教育大學學報 人文藝術類 作就都已經包含現實世界的攝影機移動資料 接著即可輸出影片與 D 物件 ( 二 ) ICARUS (ICARUS, 2008) 一套免費下載的軟體 專為攝影機追蹤使用 屬於獨立的軟體. 載入實拍的影片. 開始追蹤 軟體會自動選擇明顯的目標物當作追蹤點. 追蹤完成雖然可以得到蠻吻合的效果 然而這只是 D 平面的追蹤 缺乏景深 Z 軸 的資料 因此必須在場景中定義 X Y Z 軸以提供軟體足夠的資訊. 接著再計算一次 即可得到 D 場景 景深的資料 即可算出攝影機的偏移與 Pan/Tilt/Zoom 資料. 最 後 輸 出 資 料 到 D 軟 體 中 一 般 都 以 script 的 形 式 做 輸 出 如 MAX 的 ms MAYA 的 mel 表 將上述軟體在攝影機追蹤使用上的優 缺點整理如下 表 攝影機追蹤軟體類型之優缺點比較 軟體名 缺點 優點 DS MAX 前置作業複雜必須先量尺寸 追蹤速度慢 追蹤效果差 與 D 整合容易 手動追蹤自由度大 ICARUS 追蹤速度很慢 免費軟體 自動追蹤不需前置作業 追蹤效果尚可 參 創作研究方法 本創作研究旨在於應用電影新技術 使用攝影機追蹤來完成一部低成本的個人創作 創作流程包括從拍攝的前置作業 攝影機追蹤的步驟 D 動畫製作的流程 以及最後影 像的合成等等 探討整理如下 一 創作發想 創作發想緣自於某次自然科學博物館參訪 科學博物館當時新進一批機械恐龍 舉辦 了恐龍特展 在宣傳廣告的布旗上標示寫著 恐龍來了 恐龍特展 電腦動畫特色之 一在虛擬想像的角色可經由寫實的模擬 創造出擬真的視覺效果 看到這有趣的恐龍特展 布旗 自然聯想到了這樣的創作題材 只是無奈拍攝當天館方已經原布旗取下 換上新展 期的布旗 圖 左 不過這也成為測試 D tracking 的好題目

使用攝影機追蹤的實景合成電腦動畫創作研究 115 圖 科博館的展覽布旗 圖左 新展期的紅火蟻布旗 圖右 欲改成之恐龍特展布旗 主要場景敘述在科博館的展覽布旗下引示出 恐龍來了 恐龍特展 的標題 而在 人們早已習以為常的過度宣傳標語下 主角 恐龍在科博館廣垠的草坪出現了 圖 科博館的場景 圖左 恐龍特展布旗圖左 圖右 實景結合 D電腦動畫 恐龍出現 二 創作研究過程 由於科博館為國內知名旅遊 教學景點 即使平日也常有附近小學或是幼稚園團體參 觀 所以在拍攝前規劃選定星期一休館時間來做拍攝 避免實景拍攝後需做遮罩 (mask) 將閒雜人等去除 或是造成 D 虛擬角色與實景現場人員互動不吻合的情況發生 如恐龍 出現 只見演員奔跑而路人若無其事的情況 拍攝進行前先行勘查現場取景後 再與演 員講解拍攝內容 經過數次的排演 完成拍攝 實景 D 電腦動畫的製作首重拍攝前的事先計畫 其中應注意的事項包括 ( 一 ) 充分與演員溝通 既是實景 D 電腦動畫 來自實景與 D 動畫元素的 互動 扮演舉足輕重的角色 由於拍攝現場並無任何參考物件可供演員對位模擬 因此時間與空間的掌握十分重要 恐 龍何時入鏡 演員何時抬頭反應 看哪裡 雖然這事後都可以依照實拍的內容來擬定虛擬 角色的動畫 但若時間與空間沒有掌握好 虛擬角色的表演便受影響 而徒增後製作業上 的困擾

116 臺中教育大學學報 人文藝術類 ( 二 ) 攝影機的廠牌 光圈與焦距 拍攝前應該熟記該攝影機的廠牌與型號 這是因為攝影機的 CCD 會影響計算的結 果 在攝影機追蹤的軟體裡 不同廠牌與型號的 CCD 會有不同的焦距 因此必須輸入適 當的廠牌型號 以求得正確的攝影機資訊 在本創作的拍攝中有鏡頭的搖動 從鏡頭由樹蔭底下換到太陽底下 這樣鏡頭的移 動 若攝影機是使用自動光圈 那麼攝影機的光圈便會隨著鏡頭而有不同變化 如此一來 合成物也必須隨著鏡頭與時間改變虛擬物件的亮度 這會造成事後合成的麻煩 因此若一 開始固定光圈 便不會有此種問題 另外焦距也須固定 在創作中由於是在室外拍攝 景深較深 比較不會有焦距問題 但若是在室內拍攝 光源微弱 且為自動光圈的話 光圈隨時變化造成景深不一 拍攝物 也隨著時間而模糊或清晰 如此會造成在追蹤軟體中有可能因為追蹤點模糊而無法追蹤的 情況 造成追蹤的困擾 不過即使光圈固定 因為鏡頭的晃動 有可能攝影機會隨時去對 焦 一樣會造成景物隨時間產生模糊或清晰 因此除了光圈固定外 焦距也必須固定 也 就是說拍攝模式必須使用全機械模式 ( 三 ) 拍攝場景的選擇 拍攝的場景必須盡量有明顯之 X Y Z 軸 例如方形的建築物 排列整齊的地上瓷 磚 筆直的路燈 等等 以充當場景的追蹤參考特徵 線 方便攝影機追蹤軟體的計 算資訊 若場景中無這樣的特色 便需人工添加參考特徵 線 譬如在草地上舖上兩條 紅色平行線 事後再予以後製消除 如此即可定位出遠方的軸向與消失點 達到正確追蹤 的目的 三 軟體的選擇 為了解決攝影機追蹤問題曾嘗試不同的軟體 因此在此提供幾個軟體的比較與選擇建 議 ( 一 ) 合成軟體 在合成軟體中 比較常見的 D 合成軟體為 Discreet 公司的 combustion 與 Adobe 公司 的 After Effects 在此比較這兩個軟體對於攝影機追蹤創作上的輔助效果優劣. D 追蹤方面 建議選擇 Discreet 公司的 combustion 軟體 原因在於展覽布棋追蹤階段裡 布棋所處位 置背景複雜度高 相對的追蹤準確度與效率要求亦高 而 combustion 的追蹤效果比數 位創作者所熟悉的 After Effects 還要好 且事後在修改追蹤路徑的方式也較直覺. 合成的特效 在此創作中少用到特效 頂多也只有色彩校正與亮度對比 這兩項效果其實現有軟 體支援都差不多 以此創作而言看不出優劣 不過在模糊方面 此創作中有很多

使用攝影機追蹤的實景合成電腦動畫創作研究 117 手持攝影機的鏡頭與大範圍的偏移 此時便需要模糊特效的輔助 Discreet 公司的 combustion 在模糊特效方面 提供 Dolly Blur Pan Blur Roll Blur 等三個功能均是針 對攝影機的模糊特效 對於合成特效的支援輔助甚大 ( 二 ) 攝影機追蹤軟體 攝 影 機 追 蹤 軟 體 較 著 名 的 有 d 公 司 的 Boujou RealVIZ 公 司 的 MatchMover (MatchMover, 00 ) 這兩個軟體都是國外電影與電視廣告常用的軟體 除了比較這兩款 軟體外 再比較本創作採用的免費軟體 Icarus 由於影響攝影機追蹤的變數太多 如事前的拍攝 參考物的擺設軸向等 這些手動的 項目很難固定變數來作比較 因此本例比較 D 追蹤的能力 在攝影機追蹤中 D 的追蹤 相當重要 將直接影響到攝影機追蹤的結果 因為追蹤點若中途遺失 則最後剩下的參考 點就少了 當然就影響到攝影機追蹤的正確性 因此比較 D 追蹤的能力 並以可追蹤正 確格數的長短來進行比較 在創作的影片中第 0 格開始 追蹤點鎖定影片下方之地磚間隙 因為其顏色相近對 比並不明顯 且週遭也有類似的點 若攝影機動作太大 很容易追到其他相同的點去 所 以以此段影片最能看出 D 追蹤的能力 表 軟體之追蹤能力比較 軟體名 追蹤格數 手動追蹤能力 Icarus 0 優 MatchMover 可 Boujou 0 差 由以上的結果 表 得知 Icarus 雖然是免費的軟體 但其 D 追蹤的能力並不輸 專業的攝影機追蹤軟體 是實景動畫創作不錯的選擇 四 創作動態腳本 藉由自然科學博物館宣傳廣告的布旗顯示 特寫 恐龍來了 恐龍特展 的預告 路人的閒聊帶出恐龍出現的博物館場景 再經由扮演路人演員的互動配合演出 達到情境 合理的戲劇視覺效果

118 臺中教育大學學報 人文藝術類 肆 動畫製作流程 本創作動畫製作流程可概分成二個主要階段 首先是攝影機追蹤流程 接著是 D 動 畫流程 一 攝影機追蹤 拍攝完後稍作剪輯即將影片匯入攝影機追蹤軟體中 在本創作研究中使用的軟體為 Icarus ( 一 ) 自動追蹤 (2D Tracking) 將影片匯入 Icarus 後 首先設定要追蹤的範圍 由於攝影機追蹤的計算相當費時 因 此只設定需要追蹤的範圍可以避免不必要的時間浪費 接著就可以執行自動追蹤 追蹤圖 像特徵來判斷出各點的深度 ( 二 ) 定位軸向 原點 並算出 FOV. 軸向 雖然計算出各點的深度 (Z-Depth) 但只是定位出深度的話 並沒有上下左右之分 因此必須在定位軸向 來確定其 XYZ 的軸向. 原點 定位原點並非攝影機追蹤過程中一定要作的 但是定位原點可以讓使用者看出水平面

使用攝影機追蹤的實景合成電腦動畫創作研究 119 位置 藉以了解攝影機追蹤是否成功. FOV 有些軟體會依照使用者定位的軸向進而算出 FOV 但一般而言 手動設定效果會比 自動計算正確許多 計算方式與定位軸向一樣 但必須定位兩軸 且每一軸必須至少兩條 線 圖 如此一來就可以依照其消失點推算出 FOV 視角的角度 圖 計算 FOV 需最少兩軸 每一軸至少兩條線 ( 三 ) Camera Tracking(3D Tracking) 當一切手動項目都調整好時 即可啟動 Camera Tracking 需要注意的是 Camera Tracking 有分 Free Motion 與 Pan/Tilt/Zoom 兩種 Free Motion 即為手持攝影機的拍攝 Pan/Tilt/Zoom 即是使用腳架定點拍攝 沒有攝影機的位移 因此要選擇適當的模式 如 果是手持拍攝卻選用 Pan/Tilt/Zoom 模式 那麼是計算不出正確結果的 反之 則沒有問 題 只是計算時間較慢 ( 四 ) 輸出 當所有步驟都執行完畢 也得到正確的結果時 這時即可輸出攝影機追蹤的資料到 D 軟體中 一般而言 這種獨立的攝影機追蹤軟體都支援多數的 D 軟體 如 DS MAX 的 Script Maya 的 Mel 在本創作研究中使用的 D 軟體為 DS MAX 所以選擇輸出 D Stidio MAX Script (*.ms) 二 3D 動畫流程 ( 一 ) 輸入 Script 在 MAX 裡執行上述攝影機追蹤資料的 Script 即會產生攝影機與參考點 若攝影機也 已產生動畫 這動畫即是攝影機的位移資料 包括 Pan/Tilt/Zoom 因此當使用 D 軟體裡 的 Camera View 輸出時 即可以與 DV 拍攝的攝影機相符 執行 Script 後 首先要注意軸向的問題 這是由於攝影機追蹤軟體與 D 動畫軟體在 定義座標軸時不盡然相同 譬如說 Icarus 的軸向是 Y 軸向上 但 MAX 則是 Z 軸向上

120 臺中教育大學學報 人文藝術類 因此必須先把攝影機與參考點依 X 軸旋轉 0 度 以符合 D 動畫軟體座標空間 ( 二 ) 模型 最簡易的作法便是從模型資料庫上載入恐龍模型 不過原始模型由於面數太多 不容 易架骨架 因此必須簡化 圖 後再架骨架 爾後再進行 Mesh Smooth 達到模型細緻 化的效果 圖 簡化面數之後的模型 ( 三 ) 材質 使用繪圖軟體如 Photoshop 進行繪製貼圖 逐一將虛擬角色 恐龍之色彩 表皮皺 紋 鱗片 皮膚質感 背紋等材質圖層畫出 如圖 圖 材質繪製過程 圖左 由上至下 由左至右分別為恐龍之色彩 表皮皺紋 鱗片 皮膚質感 背紋 等材質圖層 圖右 材質細部 再將繪製之貼圖貼至恐龍模型 完成恐龍角色製作 如圖

使用攝影機追蹤的實景合成電腦動畫創作研究 121 圖 完成貼圖的模型 ( 四 ) 燈光 在拍攝當天由於已經勘查過環境 也有紀錄下時間 因此再看畫面的影子 便可以清 楚知道當時的太陽光為由右至左的角度 當影子的角度解決了 接著就是環境光與色調 本創作使用白色 BOX 方塊置於 D 軟體中 再由打燈來確定其影子的方向與色塊的顏色 圖 來模擬場景當時的當光強度與色調 圖 在場景中置入方塊來看打光效果 ( 五 ) 動畫 在 D 動畫軟體 MAX 中架設 Bone 與套用 Skin 動作則使用外掛軟體 CAT 模擬出動 物之走路型態 並可輕易的調整步伐 骨架等動作 ( 六 ) 輸出. 反鋸齒 (Anti-aliasing) 與背景 反鋸齒是以跟週遭取樣 (Sampling) 的方式來達到柔邊的效果 不同的取樣方式即有不 同的取樣效果 由於取樣必須跟週遭顏色產生關係 此創作主題中在 D 做好的虛擬物件 算圖輸出時便會有反鋸齒的問題 若背景為黑色 則虛擬物件算出的圖即會有黑色邊緣 因此常可看到電視節目之 Flying Logo 臺徽 常有邊緣黑色的情形 這就是因為 D 物件

122 臺中教育大學學報 人文藝術類 與預設的黑色背景反鋸齒所產生的黑色邊緣 要解決這種方法就是將背景換為與 D 物件 相同顏色 如此一來 D 物件即會合成的相當自然 而不會有黑色邊緣的突兀現象 色彩繽紛的背景衍生合成的困難 如本創作中之背景為公園 有各種顏色 通常的作 法是將 alpha 的遮罩 (Mask) 作模糊 如此一來邊緣即會模糊 較不會有明顯的黑色邊緣 現象 但此方法只是模糊掉黑色邊緣 不見得是最正確的結果 在本創作中 為了得到更 正確的結果 把合成的影片置入 D 軟體的背景 (Background) 如此一來所產生的反鋸齒 邊緣最為正確 因為此做法幾乎跟現場拍攝的原理是一樣的. 動態模糊 雖然在合成軟體也有動態模糊 但合成軟體裡的動態模糊是用來作單一物件的動態模 糊 如一顆球在畫面上快速跳動 如此可用動態模糊 另一種情況是攝影機的動態模糊 如靜止的球 而攝影機快速移動 但此兩者都無法滿足恐龍尾巴擺動的動態模糊 也就是 說只有尾巴動而頭不動的尾巴動態模糊 是合成軟體作不到的 所以必須在 D 軟體內啟 動物件的動態模糊 如此即可算出即使頭不動 尾巴晃動的動態模糊 伍 合成階段 ( 一 ) 2D Tracking 腳本原本的布旗為 恐龍來了 但由於拍攝當天布旗已經換下 因此需要再作一層 圖層 (Layer) 並使用軟體的 D Tracking 的功能來將 Layer 疊上原本的 Layer 以完成 恐 龍來了 布旗的目的 常見的後製軟體 Adobe 公司的 After Effect 所進行的 tracking 動作效果並不理想 且事後要修正這些 tracking 的位置並不容易 因此改用 Discreet 公司的 combustion 來作 tracking 圖 0 可看出追蹤合成前後的差異 圖 0 影像的追蹤合成 左圖為合成前 右圖為追蹤合成後 ( 二 ) 合成物的影像顏色校正 由於合成物件為在 D 軟體打光 算圖之後的結果 即使再怎麼擬真 多少都會跟真 實場景有些落差 例如對比就是一個例子 由於 D 環境屬於完美的曝光環境 所以其影 像對比值相當偏高 但真實場景有大氣效應的影響 甚至曝光不足或曝光過度都會影響影

使用攝影機追蹤的實景合成電腦動畫創作研究 123 像對比 因此把對比值調低是基本的做法 另外影像的顏色也有可能產生色偏 例如在晚 上拍攝 影像會比較偏綠 此創作是在室外的陽光下 影像便比較偏藍 因此必須適當調 整影像的顏色 以符合環境的基調 ( 三 ) 模糊 (Blur) 在攝影機拍攝中 焦點只有一個 所以若不在攝影機的焦點 物件會產生模糊的現象 失焦 在 D 軟體內要注意這個現象才能融入真實場景中 模糊有很多種情況 如景 深的模糊 失焦的模糊 動態模糊等 以下分述之. 景深的模糊 由於不同的光圈會有不同之景深 若拍攝時為陰天或在室內 遠方的物件即有可能產 生景深模糊的現象 在靜態的人像攝影中常用到此方法 在現今的合成軟體中可以將 D 軟體 Z 軸的景深資訊 (Z-depth) 紀錄 輸出到合成軟體 以便合成軟體調整景深之模糊程 度 然此創作在陽光下拍攝 光線充足 沒有景深模糊之問題 在此不作深究. 失焦的模糊 失焦的模糊現象 也是由景深造成 只是這裡要探討的是動態的失焦模糊 上述所提 的景深模糊是指一般電影拍攝場景時或合成場景時的現象 這裡指的失焦是指電影中為了 表達主題所用的失焦模糊 如常見手法中 兩人一遠一近的越肩鏡頭對談 有時為了強調 發言或動作者 就會使用失焦 當 A 發言時 B 即失焦模糊 B 發言時 焦點便移到 B 造成 A 模糊 這樣的效果可由執行高斯模糊來模擬. 攝影機的動態模糊 在影片的拍攝中 會因為攝影機的移動產生景物的動態模糊 這裡的動態模糊並不是 電腦動畫物件移動所產生的動態模糊 而是經由攝影機移動所產生的 這樣的效果可透過 D 特效軟體的模糊功能來作手動調整 在 combustion 針對攝影機的移動或旋轉來作模糊 Roll Pan Blur 效果也符合 DV 攝影機移動所產生的模糊 在創作中由於 DV 為手持 因此有許多不自然的大幅度晃動 必須使用動態模糊逐格手動調整 依照攝影機的上下 左右 速度等來作手動的調整 雖然耗時 但結果卻最為自然 最符合攝影機之運動 ( 四 ) 合成物的亮度與對比 由於攝影機的運鏡移動 而現場有陽光 陰影 攝影機的測光又屬於平均測光 因此 當攝影機裡的景物改變的時候 如對焦到樹蔭裡的布旗與對焦到陽光裡的草地 所得到的 光圈會不一樣 也因此光圈改變 景物裡的亮度也跟著改變 因此雖然合成物在設定的畫 格也許是正確的曝光或亮度 但是下一個畫格也許因光圈的改變而可能較亮或較暗 所以 也必須手動調整 由於合成物即取自原拍攝影片之某一格 因改變的只是亮度 所以只需 調整亮度 不需改變對比即可得到很自然的結果 圖

124 臺中教育大學學報 人文藝術類 圖 合成物的亮度調整 圖左 原圖 圖右 亮度調整 ( 五 ) 攝影機的交錯線 由於拍攝的機器為 DV DV 為傳統攝影機演化而來 目的是為了輸出影像到電視 而電視有所謂的交錯線 但在電腦中這樣的交錯線並沒有作用 因此一般的合成軟體都有 反交錯線的功能可以使用 但執行反交錯線後 影像的邊緣便會產生有如尚未反鋸齒般的 鋸齒邊緣 但這鋸齒邊緣用模糊效果是模仿不來的 由圖 中可以看出 Blur 是將所有像 素作取樣模糊 但交錯線所影響的只是邊緣 為了讓合成物有一樣的鋸齒狀效果 可以把 合成影像先加交錯線 再執行反交錯 即可達到一樣的效果 圖 圖 一般的模糊與交錯線的鋸齒狀十分不同 圖左 D原圖 圖右 實拍 圖 執行交錯與反交錯後的鋸齒狀 圖左 D交錯處理 圖右 實拍 ( 六 ) 雜點 (Noise) 真實攝影機在光線不足 或是本身解析度不足時 就容易產生雜點的現象 然而 D 軟體的攝影機是沒有這個問題的 因此電腦動畫影像往往太過銳利 過於完美 所以必須

使用攝影機追蹤的實景合成電腦動畫創作研究 125 到後製軟體加入雜點 圖 以期融入真實場景中 圖 雜訊的處理 圖左 原圖 圖右 加入雜訊調整 陸 結論 在實做本創作研究的流程後 對於實景 D 電腦動畫製作從事前的準備到拍攝 Tracking D 動畫處理 到輸出後製部分 都有相當的探討與心得 在此提出幾點結 論 一 拍攝方面 攝影機追蹤是項相當複雜的工作 從企劃開始就應有電腦動畫及後製概念的導入 如 此才能避免一些事後無法處理的鏡頭與場景 拍攝時更須具備攝影機追蹤技術的了解 才 能知道參考點該如何擺設 鏡頭應如何移動 如此才能事半功倍 二 電腦合成方面 在 D 動畫的合成方面 燈光 色調 反鋸齒 交錯線 雜點的處理等 都是為了讓 合成的角色更加融入真實的場景 其中更重要的是虛擬角色與真實場景的合理互動 也就 是說讓虛擬角色的演出改變真實場景的既有的現狀 譬如說 創作中的恐龍把真實的人群 嚇跑 更理想的做法則可藉由恐龍的龐大軀體與力量造成現場場景的破壞 來達到恐龍存 在的合理性與戲劇張力 三 創作檢討與心得 在實拍場景與 D 動畫的合成創作過程中 在製作技術方面因為涉及真實的場景 整 體效果首重 擬真 在本創作作品中影響 擬真 程度的難題主要有三 D 動畫的製 作 攝影機的正確追蹤 及影像的電腦合成 其中第一道難題可由紮實的 D 動畫技巧予 以克服 第二 三道難題則必須藉由適當的硬體 軟體選擇 方能發揮事半功倍之效 透 過此次創作研究的過程與探討比較 本文提供了創作者從事相關創作一重要參考依據 就如同 D 動畫的製作一般 前製作業的周詳規劃 對最終作品的品質與製作時效影

126 臺中教育大學學報 人文藝術類 響甚大 從創作題題材與內容的選擇而言 本次創作結合自然科學博物館特殊的時 空 議題 恐龍來了 恐龍特展 在內容的戲劇效果呈現上 有其相當優勢 而前製作 業規劃的細節上若能針對實拍場景做好選景 攝影機的運動路徑 真人演員的走位 演員 的互動演出規劃 除了戲劇效果的表現外 對於攝影機的正確追蹤及影像的電腦合成均可 有明顯的助益 這些考量更是創作者所不應忽視的 參考文獻 一 中文部分 李芳甄 ( ) 虛擬攝影棚在臺灣電視節目製作之發展與應用 臺北市 國立臺灣師範大 學圖文傳播學系碩士論文 未出版 二 英文部分 Bodenheimer, B., Rose, C., Rosenthal, S., & Pella, J. ( ). The Process of Motion Capture: Dealing with the Data. Computer Animation and Simulation 97, -, Eurographics Animation Workshop. Fitzgibbon A, & Zisserman A. ( ). Automatic camera recovery for closed or open image sequences. In proceedings of the Fifth European Conference on Computer Vision, -. Gibbs S., Arapis C., Breiteneder C., Lalioti V., Mostafawy S., & Speier J. ( ). Virtual Studios: An Overview. IEEE MultiMedia, v.5 n.1, -. Hall & Sakatani. ( 00 ). Virtual studio: virtual reality in art. ACM SIGGRAPH 2002 conference abstracts and applications. Haralick R. M., Joo H., Lee C., Zhuang X., Vaidya V. & Kim M. ( ). Pose estimation from corresponding point data. IEEE Transactions on Systems, Man and Cybernetics,19 (6),. Shirai A., Takahashi M., Kobayashi K., Mitsumine H. & Richir S. ( 00 ). A new real-time video synthesis method for virtual studio environments using GPU and projected screens. ACM SIGGRAPH Poster. The Art of Tracking. ( 00 ). Retrieved June, 00, from http://www.fxguide.com/article 0. html Autodesk 3DS MAX. ( 00 ), Retrieved June, 00, from http://usa.autodesk.com/adsk/servlet/ index?siteid= &id= 0 Boujou 4 Tutorials. ( 00 ). Retrieved March, 00, from http://www. d.com/html/products/ boujou Tutorials.html Matchmoving with Boujou and composite in ds max, CG Tutorials. ( 00 ). Retrieved April

使 用 攝 影 機 追 蹤 的 實 景 合 成 電 腦 動 畫 創 作 研 究 127, 00, from http://www.cgtutorials.com/t/autodesk_ds_max/matchmoving_with_ Boujou and_composite_in_ds_max_. Combustion 4 Tutorials. (00). Retrieved March, 00, from http://usa.autodesk.com/adsk/ servlet/item?siteid=&id= MatchMover. (00). Retrieved May, 00, from http://matchmover.realviz.com/ Maya Live. (00). Retrieved April, 00, from http://usa.autodesk.com/adsk/servlet/ item?siteid=&id= ICARUS. (00). Retrieved March, 00, from http://www.peerlessproductions.com/tuts/ pages/icarus.htmll

128 臺 中 教 育 大 學 學 報 : 人 文 藝 術 類