Automatic Cinemagraph on Smartphones ( 一 ) 摘 要 有 人 愛 收 藏 照 片, 有 人 愛 拍 攝 影 片, 但 在 一 般 大 眾 的 認 知 中, 動 態 跟 靜 態 不 太 可 能 同 時 呈 現 照 片 是 靜 態 的 產 物, 而 影 片 是 動 態 的 此 專 題 結 合 動 態 與 靜 態, 讓 主 體 為 靜 態 照 片 的 局 部 可 以 有 規 則 自 然 的 動 態 畫 面, 此 種 畫 面 的 呈 現 稱 為 Cinemagraph 一 般 產 生 Cinemagraph 的 方 式 需 要 藉 由 許 多 影 像 處 理 軟 體 且 使 用 複 雜 的 程 序 來 達 成, 需 要 花 很 多 時 間 去 處 理 及 編 輯 我 們 期 望 研 發 一 個 自 動 的 方 法, 讓 使 用 者 藉 由 它 快 速 且 簡 單 地 產 生 Cinemagraph 不 需 要 複 雜 的 程 序, 只 需 要 由 手 機 錄 製 一 段 影 片, 我 們 即 可 自 動 分 析 影 片 內 容 並 提 供 幾 種 有 趣 的 效 果, 再 依 使 用 者 的 需 求 產 生 Cinemagraph, 並 廣 泛 利 用 在 生 活 中 ( 二 ) 研 究 動 機 與 研 究 問 題 Cinemagraph 是 新 興 的 藝 術 與 電 腦 科 技 結 合 的 創 作 型 式, 它 既 不 像 圖 片 也 不 像 影 片, 而 是 介 於 這 兩 者 之 間 它 大 部 分 的 影 像 是 靜 止 不 動 的, 只 有 創 作 者 欲 凸 顯 的 部 分 才 會 有 動 作 在 主 體 為 靜 止 的 影 像 中 出 現 了 呈 現 動 態 的 物 件, 這 種 靜 態 與 動 態 的 反 差 將 會 吸 引 人 的 目 光 往 動 態 的 物 件 看 以 凸 顯 主 角 ( 有 動 作 的 物 件 ) 效 果 來 看, 它 的 凸 顯 效 果 會 比 純 粹 的 靜 態 照 片 或 者 全 然 的 影 片 更 能 吸 睛 也 更 耐 人 尋 味, 而 這 也 是 Cinemagraph 有 趣 的 地 方 熟 悉 哈 利 波 特 電 影 的 人 們 肯 定 對 Cinemagraph 不 會 感 到 陌 生, 電 影 裡 面 的 報 紙 上 會 動 的 新 聞 照 片, 其 實 用 Photoshop After Effects 等 影 像 處 理 軟 體 加 工 處 理 後 轉 成 GIF (Graphic Interchange Format) 圖 檔 就 可 以 做 到 Cinemagraph 可 運 用 GIF 格 式 儲 存, 但 比 一 般 以 連 續 動 作 播 放 的 說 明 示 意 圖 的 GIF 圖 檔 更 加 細 膩 即 便 如 此,Cinemagraph 這 詞 彙 一 直 到 2009 年 由 攝 影 師 Jamie Beck 與 平 面 設 計 師 Kevin Burg 聯 手 合 作 下 才 誕 生 [1]
Cinemagraph 透 過 網 路 社 群 在 近 幾 年 迅 速 引 起 網 路 使 用 者 們 的 注 意 與 回 響, 儼 然 成 為 網 路 視 覺 設 計 的 新 潮 流 雖 然 Cinemagraph 目 前 在 廣 告 界 還 不 盛 行, 大 部 分 網 路 行 銷 的 動 態 圖 還 是 用 Flash 居 多, 但 是 Cinemagraph 除 了 特 別 容 易 引 人 注 目 的 優 點 之 外, 它 還 有 一 項 優 點,Cinemagraph 的 檔 案 格 式 GIF 圖 檔 相 較 於 Flash 更 容 易 載 入 並 能 在 不 同 平 台 上 流 通, 相 信 Cinemagraph 在 不 久 的 將 來, 會 在 網 路 行 銷 的 領 域 中 引 起 新 風 潮 除 了 網 路 行 銷, 對 於 時 下 喜 歡 拿 相 機 手 機 拍 攝 週 遭 事 物, 樂 於 在 網 路 上 分 享 生 活 經 驗 的 族 群 來 說,Cinemagraph 有 別 於 傳 統 的 靜 態 相 片 或 者 動 態 錄 影, 是 個 相 當 令 人 驚 奇 富 有 創 意 的 多 媒 體 展 現 方 式 只 是 現 今 製 作 Cinemagraph 的 做 法 大 多 是 藉 由 人 工 用 影 像 處 理 軟 體 去 處 理, 即 使 已 經 有 人 開 發 出 Cinemagraph 的 手 機 應 用 程 式 ( 例 如 :Kinotopic), 那 也 是 半 自 動, 還 是 有 不 少 人 為 的 操 作 部 分 所 以 透 過 這 個 研 究 計 劃, 我 們 希 望 能 夠 開 發 出 全 自 動 製 作 Cinemagraph 且 方 便 人 們 能 夠 隨 拍 隨 編 輯 製 作 Cinemagraph 的 智 慧 型 手 機 網 路 應 用 程 式 一 般 用 Photoshop After Effects 等 影 像 處 理 軟 體 製 作 Cinemagraph 的 步 驟 大 致 上 是 先 拍 攝 穩 定 而 不 會 晃 動 的 影 片, 擷 取 想 要 影 片 片 段, 再 從 影 片 裡 選 擇 影 格 和 想 要 的 動 態 區 塊 來 做 遮 罩 並 使 該 遮 罩 疊 於 影 片 片 段 之 上, 最 後 才 轉 成 GIF 圖 檔 ( 詳 見 章 節 ( 三 )-3.1) 在 上 述 步 驟 中 製 作 遮 罩 是 最 為 繁 瑣 的 部 分 也 是 不 熟 悉 Photoshop After Effects 等 影 像 處 理 軟 體 的 人 們 最 困 擾 的 部 分, 也 因 此 讓 這 個 過 程 自 動 化 讓 電 腦 去 判 斷 影 片 當 中 動 態 物 件 的 運 動 範 圍 並 產 生 遮 罩 可 讓 使 用 者 在 製 作 Cinemagraph 的 過 程 方 便 許 多 這 牽 扯 到 許 多 問 題 : 如 何 偵 測 動 態 區 塊? 在 決 定 想 要 動 的 部 分 之 後, 如 何 擷 取 製 作 Cinemagraph 的 影 片 片 段? 影 片 該 擷 取 到 哪 個 時 間 點? 再 者, 我 們 希 望 使 用 者 能 夠 用 智 慧 型 手 機 拍 攝 來 產 生 影 片 輸 入 檔, 所 以 我 們 必 須 處 理 拍 攝 過 程 中 可 能 會 產 生 影 片 不 必 要 的 晃 動 情 形, 如 何 將 影 片 穩 定 下 來 也 是 一 個 重 點 另 外, 我 們 為 了 使 智 慧 型 手 機 在 製 作 Cinemagraph 時, 其 運 算
量 不 帶 給 智 慧 型 手 機 太 大 負 荷 而 將 處 理 過 程 移 到 網 路 伺 服 器 進 行 上, 這 也 是 我 們 這 研 究 的 另 一 個 重 點 ( 三 ) 文 獻 回 顧 與 探 討 3.1 傳 統 製 作 Cinemagraph 的 方 法 在 著 手 自 動 化 Cinemagraph 前, 我 們 先 從 Photoshop After Effects 等 影 像 處 理 軟 體 來 研 究 如 何 製 作 Cinemagraph [2]: (1) 匯 入 影 片 : 必 須 採 用 穩 定 而 不 會 晃 動 的 影 片, 一 般 是 建 議 用 腳 架 拍 攝 這 樣 對 於 之 後 做 遮 罩 會 比 較 方 便 (2) 擷 取 影 片 片 段 : 匯 入 的 影 片 通 常 都 會 比 實 際 需 要 的 時 間 還 要 長, 通 常 只 擷 取 動 態 物 件 在 運 動 時 一 小 段 的 影 片,Cinemagraph 比 較 容 易 成 功, 影 片 越 長 受 到 其 他 會 運 動 的 物 件 的 干 擾 程 度 和 風 險 也 越 大 (3) 選 取 適 合 當 遮 罩 的 影 格 : 從 匯 入 的 影 片 裡 選 取 用 來 做 遮 罩 的 影 格 當 作 背 景 背 景 通 常 都 會 選 擇 靜 態 的, 例 如 : 牆 壁 建 築 物 (4) 製 作 遮 罩 : 在 影 片 片 段 圖 層 之 上 方 增 加 一 個 遮 罩 圖 層, 將 想 要 呈 現 動 態 的 物 件 的 運 動 區 域 在 遮 罩 圖 層 上 做 鏤 空 的 動 作 鏤 空 範 圍 可 以 用 筆 刷 筆 型 工 具 等 方 式 去 除, 該 遮 罩 未 被 去 除 的 部 分 會 使 剛 才 選 擇 的 影 格 成 為 背 景 該 遮 罩 疊 於 影 片 片 段 之 上 就 會 呈 現 大 部 分 不 會 動 只 有 鏤 空 區 域 會 動 的 影 片 (5) 轉 成 GIF 圖 檔 : 在 將 影 片 轉 成 GIF 檔 時, 需 要 將 動 畫 循 環 播 放 的 選 項 勾 起
( 圖 一 ) 步 驟 2: 擷 取 影 片 片 段 ( 圖 二 ) 步 驟 4: 製 作 遮 罩 ( 圖 三 ) 步 驟 5: 轉 成 GIF 圖 檔 ( 圖 四 ) Cinemagraph 完 成 後 紅 色 標 示 區 域 為 會 動 的 區 域 3.2 穩 定 影 像 (Video stabilization) 每 段 錄 製 的 影 片 都 可 能 因 為 一 些 外 在 的 因 素 而 產 生 不 必 要 的 晃 動 影 響 畫 面 品 質, 所 以 必 須 先 穩 定 影 像, 影 片 無 法 像 照 片 一 樣 固 定 不 動, 所 以 必 須 去 除 影 像 中 多 餘 的 自 我 動 態 動 作 (Ego-motion), 經 由 資 料 發 現 [3], 在 現 有 的 演 算 法 中, 一 般 的 方 法 如 Deshaker ( 2D stabilizer plugin for VirtualDub ) 或 是 Adobe After Effects 的 Warp Stabilizer 方 法 無 法 完 整 的 達 到 穩 定 影 像 的 效 果, 其 原 因 會 會 受 到 背 景 中 小 物 件 的 晃 動 而 失 敗, 必 須 使 用 KLT 特 徵 點 追 蹤 (KLT feature tracker) [4] 演 算 法 此 方 法 是 先 偵 測 前 景 色 塊, 將 前 景 色 塊 的 像 素 值 分 別 訓 練 區 域 性 與 整 體 性 高 斯 混 合 模 型, 依 此 模 型 辨 識 前 景 區 域, 並 將 前 景 區 域 視 為 遮 罩, 以 固 定 背 景, 達 到 穩 定 影 片 的 效 果
( 圖 五 ) 原 始 影 片 畫 面 ( 晃 動 ) ( 圖 六 ) 穩 定 後 的 影 片 畫 面 圖 五 圖 六 出 處 :[3] 3.3 動 態 偵 測 與 分 割 (Motion detection and segmentation) 動 態 偵 測 與 分 割 是 分 析 影 片 的 技 術 分 為 確 認 動 態 範 圍 和 分 割 與 追 蹤 移 動 物 體 兩 個 步 驟 [3] 確 認 動 態 範 圍 的 典 型 方 法 可 以 直 接 透 過 像 素 判 斷 或 間 接 由 特 徵 判 斷 這 方 面 有 許 多 方 法, 其 中 根 據 背 景 差 異 的 方 法 較 為 簡 單 另 外 也 可 利 用 光 流 閥 值 (Optical flow) 的 計 算 來 分 析 動 態 範 圍 分 割 (Segmentation) 是 影 像 處 理 的 一 種 方 式 透 過 影 像 的 分 割, 可 以 簡 化 或 改 變 原 本 的 圖 像, 方 便 我 們 對 於 圖 片 做 出 分 析 而 圖 像 分 割 通 常 用 於 分 析 圖 像 中 的 對 象 和 邊 界, 即 每 個 像 素 分 配 到 一 個 標 籤, 分 別 代 表 不 同 的 視 覺 特 徵 [5] 當 然, 動 態 偵 測 和 分 割 仍 有 許 多 複 雜 的 問 題 需 要 解 決 在 計 算 複 雜 動 態 畫 面 方 面, 由 於 成 本 過 於 昂 貴, 因 此 希 望 減 少 不 重 疊 的 運 動 區 域
( 四 ) 研 究 方 法 與 步 驟 輸 入 影 像 匯 入 影 片 立 即 拍 攝 穩 定 影 片 偵 測 動 態 區 塊 分 析 動 作 並 決 定 其 有 趣 程 度 使 用 者 選 擇 動 態 區 塊 擷 取 適 當 影 片 長 度 產 生 遮 罩 產 生 Cinemagraph ( 圖 七 ) 4.1 輸 入 影 像 在 輸 入 影 像 方 面 可 以 讓 使 用 者 選 擇 輸 入 方 式 : (1) 匯 入 影 片 (2) 立 即 拍 攝 4.2 穩 定 影 片 排 除 人 為 ( 例 如 : 手 震 ) 環 境 ( 例 如 : 風 ) 等 影 響 影 像 穩 定 性 的 外 在 因 素, 以 避 免 之 後 對 於 影 像 擷 取 判 斷 上 的 干 擾
4.3 偵 測 動 態 區 塊 根 據 背 景 差 異 的 方 法 或 利 用 光 流 閥 值 的 計 算 來 分 析 動 態 範 圍, 再 實 作 影 像 分 割 的 方 法 分 析 影 片 中 有 動 作 的 部 份 4.4 分 析 動 作 並 決 定 其 有 趣 程 度 分 析 影 片 中 的 動 態 區 塊 是 否 存 在 下 列 規 則, 若 有 規 則 表 示 其 為 有 趣 自 然 的 動 態 區 塊, 另 外, 我 們 可 以 依 每 個 動 態 區 塊 滿 足 規 則 的 比 例 決 定 其 有 趣 程 度 本 專 題 擬 研 究 下 列 兩 種 規 則 : (1) 有 規 律 的 動 態 循 環 (2) 同 方 向 的 移 動 在 此 步 驟 我 們 會 標 示 這 些 有 趣 的 動 態 區 塊, 以 提 供 使 用 者 依 個 人 喜 好 選 取 4.5 使 用 者 選 擇 動 態 區 塊 在 步 驟 4.4 中 可 能 會 產 生 許 多 可 動 的 區 塊, 每 個 可 產 生 不 同 的 Cinemagraph 的 效 果 使 用 者 可 以 依 其 喜 好 從 步 驟 4.4 所 標 示 的 區 塊 來 選 擇 一 個 或 多 個 想 要 動 的 部 分 4.6 產 生 遮 罩 我 們 根 據 使 用 者 的 選 擇 ( 步 驟 4.5), 來 製 作 Cinemagraph 的 遮 罩 範 圍 以 固 定 背 景 畫 面 遮 罩 背 景 的 產 生 方 式 是 由 去 除 所 有 動 態 行 為 平 均 出 來 的 背 景 圖, 而 此 遮 罩 鏤 空 的 部 分 表 示 Cinemagraph 的 動 態 區 域 範 圍 4.7 擷 取 適 當 影 片 長 度 我 們 根 據 使 用 者 的 選 擇 ( 步 驟 4.5), 根 據 每 一 動 態 區 塊 第 一 次 完 成 完 整 規 則 的 時 間 ( 第 一 次 循 環 週 期 移 動 物 體 開 始 到 消 失 或 靜 止 的 時 間 ), 擷 取 適 當 時 間 的 片 段 來 製 作 Cinemagraph
4.8 產 生 Cinemagraph 將 步 驟 4.6 產 生 的 遮 罩 覆 蓋 在 步 驟 4.7 產 生 的 影 片 片 段 之 上, 合 併 並 轉 成 GIF 檔, 即 為 Cinemagraph 此 外, 在 製 作 完 Cinemagraph 之 後, 可 依 使 用 者 需 求 與 喜 好, 在 所 完 成 的 Cinemagraph 之 上 增 添 文 字, 花 邊 及 所 喜 愛 的 美 工 圖 案 做 修 飾, 增 加 Cinemagraph 在 日 常 生 活 中 的 應 用, 例 如 廣 告 宣 傳 及 產 品 介 紹 的 功 能 ( 五 ) 預 期 結 果 在 現 今 社 會 中, 使 用 智 慧 型 手 機 拍 照 或 攝 影 的 人 數 日 益 增 加 原 因 不 僅 是 方 便, 更 因 為 現 在 智 慧 型 手 機 提 供 各 式 各 樣 的 手 機 應 用 程 式 讓 使 用 者 快 速 編 輯 相 片, 產 生 有 趣 或 實 用 的 效 果 因 此, 我 們 希 望 開 發 自 動 產 生 Cinemagraph 的 手 機 應 用 程 式, 讓 使 用 者 透 過 我 們 的 應 用 程 式 將 其 所 錄 製 的 影 片, 方 便 及 快 速 的 產 生 有 趣 的 會 動 的 圖 片 除 此 之 外,Cinemagraph 還 有 未 來 生 活 上 面 的 應 用 例 如 在 網 拍 方 面, 可 以 利 用 Cinemagraph 將 想 拍 賣 的 物 件 的 動 態 方 面 完 整 呈 現, 例 如 鐘 擺 或 是 會 走 動 的 玩 具 車 等 就 數 位 藝 術 的 層 面, 會 動 的 圖 片 的 趣 味 性 遠 大 於 傳 統 靜 態 的 攝 影 而 且 與 一 般 傳 統 靜 態 的 攝 影 由 觀 者 自 由 詮 釋 作 品 不 同, 會 動 的 圖 片 可 以 輕 易 地 引 導 觀 者 注 意 到 該 創 作 的 核 心, 更 可 借 由 創 作 者 的 巧 思 擴 大 觀 賞 族 群 ( 六 ) 參 考 文 獻 [1] Cinemagraphs by Jamie Beck and Kevin Burg, http://cinemagraphs.com/, 2009. [2] How to Make a Cinemagraph: Tutorial. http://www.digett.com/blog/07/12/2011/how-make-cinemagraph-tutorial [3] James Tompkin, Fabrizio Pece, Kartic Subr, Jan Kautz, Towards Moment Images: Automatic Cinemagraphs, Proceedings of International Conference on Visual Media Production (CVMP), 2011.
[4] 羅 珮 瑜, 帶 景 人 像 攝 影 中 的 突 出 物 偵 測 之 技 術, 暨 南 大 學 資 訊 工 程 學 系 學 位 論 文,2008 [5] Rafael C. Gonzalez, and Richard E. Woods, Digital Image Processing, 3 rd edition, Prentice Hall, 2007. ( 七 ) 需 要 指 導 教 授 指 導 內 容 在 這 次 的 專 題 研 究 中, 我 們 希 望 教 授 能 針 對 我 們 的 主 題 給 予 協 助 與 資 訊, 並 在 固 定 的 時 段 討 論 實 驗 的 進 度 與 狀 況, 在 發 現 問 題 時, 也 能 給 予 適 時 的 糾 正 與 指 導 另 外, 由 於 本 專 題 的 相 關 文 獻 有 限, 希 望 教 授 能 在 專 業 方 面 給 予 我 們 更 多 實 作 上 的 意 見 及 相 關 資 料