以 生 理 量 測 系 統 與 SAM 量 表 分 析 圖 片 誘 發 情 緒 的 關 聯 性 多 樂 碩 一 甲 MA1K0203 黃 正 杰 0911-177-140 goiopoeva@gmail.com 摘 要 本 研 究 將 以 BioCapture 來 測 量 受 測 者 對 於 觀 看 我 們 從 International Affective Picture System (IAPS) 所 挑 選 的 10 張 不 同 圖 片 的 反 應 並 同 時 填 寫 SAM 量 表, 將 實 驗 所 得 之 數 值 分 析 其 情 緒 變 化 與 皺 眉 肌 顴 大 肌 及 ECG 之 間 的 關 聯, 而 在 進 行 該 實 驗 之 前 也 將 進 行 平 復 狀 態 圖 片 的 挑 選 與 分 析, 確 保 其 客 觀 性 與 準 確 性 而 研 究 結 果 表 示 本 次 實 驗 在 EMG 數 值 ECG 數 值 與 SAM 量 表 的 幫 目 下 進 而 可 以 分 析 顴 大 肌 皺 眉 肌 與 心 跳 以 及 受 測 者 心 理 狀 態 的 關 聯 性 進 而 推 論 細 項 相 關 度 分 析 ( 即 每 個 數 值 的 最 大 最 小 值 的 影 響 量 ) 關 鍵 字 :EMG ECG IAPS SAM 一 研 究 背 景 以 往 的 研 究 表 明, 臉 部 肌 電 活 動, 可 以 有 效 地 透 過 皺 眉 肌 和 顴 大 肌 的 區 分 情 緒 價 值 ( 正 向 反 向 ) 為 增 加 準 確 性, 透 過 皺 眉 肌 的 面 部 肌 電 活 動 明 顯 誘 發 負 性 圖 片 和 抑 制 正 面 的 照 片, 而 透 過 顴 大 肌 的 面 部 肌 電 活 動 正 面 圖 片 比 負 性 圖 片 的 反 應 更 為 激 烈 (Lang, Greenwald et al. 1993) 而 本 研 究 的 重 點 也 將 著 重 在 EMG 的 訊 號 分 析 與 推 論 ECG, 建 立 在 反 應 人 真 實 情 感 的 生 理 訊 號 上 的 情 感 識 別 是 確 實 比 其 他 方 法 更 強 而 有 力 並 且 客 觀 的 (Cheng, Cai et al. 2009) 所 以 它 有 一 個 光 明 的 前 景 的 研 究 和 應 用 (Jing, Guangyuan et al. 2009) 所 以 我 們 將 ECG 的 測 量 加 入 本 次 的 實 驗 中 並 做 一 些 基 本 的 探 討 與 比 較 依 照 ( 周 仁 来 and 胡 森 歧 ) 誘 發 情 緒 產 生 的 面 部 肌 電 活 動 不 對 稱 性 效 應 的 結 論 得 知, 無 論 情 緒 是 正 面 或 是 負 面, 左 側 臉 頰 的 皺 眉 肌 與 顴 大 肌 所 測 出 來 的 數 值 較 右 邊 臉 頰 所 測 出 的 活 動 強 度 較 大, 所 以 本 研 究 實 驗 將 統 一 蒐 集 受 測 者 的 面 部 左 側 的 EMG, 使 其 數 據 較 為 顯 著 視 覺 刺 激 對 於 情 緒 誘 發 是 最 為 常 用 的 方 法 之 一, 即 給 受 測 者 呈 現 具 有 情 緒 色 彩 的 文 字 圖 片 等 刺 激 材 料, 以 此 來 誘 發 受 測 者 的 目 標 情 緒 目 前, 視 覺 刺 激 已 經 形 成 了 較 為 完 善 的 標 準 刺 激 材 料 庫, 而 在 圖 片 方 面,NIMH 建 立 了 國 際 情 緒 圖 片 系 統 (Lang, Bradley et al. 2008), 為 情 緒 誘 發 研 究 提 供 了 一 套 較 為 標 準 的 分 類 圖 庫 與 分 析 方 法 本 研 究 的 圖 片 挑 選 將 也 從 該 系 統 中 取 樣 使 用 以 及 使 用 P. J. Lang (Hodes, Cook et al. 1985)SAM 量 表 做 三 個 情 緒 面 向 的 資 料 收 集, 包 含 愉 悅
(pleasure) 情 緒 喚 起 (arousal) 情 緒 控 制 (dominance) 以 及 依 照 ( 王 士 逢 2004) 末 梢 血 流 與 臉 部 肌 電 圖 測 量 與 焦 慮 狀 態 評 估 系 統 設 計 的 結 論 得 知, 肌 電 訊 號 由 於 每 個 人 的 標 準 狀 態 不 同, 受 測 者 受 測 時 需 要 在 自 己 本 身 平 靜 的 時 候 調 校 一 次 基 準 值, 做 為 評 斷 的 依 據, 而 若 能 夠 建 立 一 套 快 速 放 鬆 的 方 法, 讓 使 用 者 能 夠 用 最 短 的 時 間 了 解 到 自 己 最 放 鬆 狀 態 的 生 理 訊 號 值, 對 於 以 後 所 量 測 的 訊 號 能 夠 做 最 有 效 的 判 斷, 所 以 本 研 究 將 前 置 實 驗 標 的 為 分 析 挑 選 出 作 為 最 能 夠 讓 心 情 平 復 的 標 準 圖 來 穿 插 在 每 張 主 要 實 驗 的 標 的 圖 之 間, 來 達 到 快 速 平 復 心 理 與 生 理 訊 號, 讓 主 要 實 驗 的 結 果 能 更 為 客 觀 準 確 簡 言 之 本 實 驗 研 究 將 包 含 分 析 由 IAPS 中 擷 取 出 來 的 10+1 張 圖 片 帶 給 受 測 者 的 EMG ECG 與 SAM 量 表 的 數 據 及 分 析 該 數 據 所 呈 現 之 趨 勢, 並 在 最 後 推 論 其 相 關 性, 其 細 節 我 們 將 從 第 二 章 開 始 講 述 二 實 驗 方 法 2.1. 受 測 者 在 前 置 實 驗 與 主 要 實 驗 中 我 們 找 了 同 一 位 為 22 歲 的 男 性 作 為 本 實 驗 的 受 測 者, 我 們 在 事 前 也 不 會 給 該 受 測 者 觀 看 圖 片 亦 無 告 知 受 測 者 將 要 進 行 實 驗 的 圖 片 類 型 2.2. 受 測 樣 本 2.2.1 前 置 實 驗 圖 片 樣 本 由 International Affective Picture System 2008 版 本 (IAPS) 中 挑 選 3 張 不 同 類 型 的 激 烈 情 緒 反 應 圖 片 與 另 外 3 張 較 平 穩 作 為 平 復 候 選 的 圖 片 依 序 分 別 為 分 別 為 害 怕 的 no1121 性 感 的 no4085 噁 心 的 no9321, 以 及 平 復 狀 態 候 選 圖 no7057 no7451 與 no1440 2.2.1 主 要 實 驗 圖 片 樣 本 由 International Affective Picture System 2008 版 本 (IAPS) 中 挑 選 10 張 不 同 類 型 的 圖 片 作 為 主 要 實 驗 的 標 的, 以 及 前 置 實 驗 分 析 出 來 的 1 張 平 復 情 緒 圖 片 (no7057) 由 本 次 實 驗 編 號 排 列,PIC1~10 依 序 為 no7451 no1121 no1440 no4085 no9321 no9590 no4490 no3069 no9075 與 no9183 2.3. 實 驗 規 劃 2.3.1 前 置 實 驗 步 驟 一 安 裝 EMG 與 ECG 儀 器 到 受 測 者 身 上 二 在 筆 記 型 電 腦 上 準 備 含 有 2 份 各 3 張 不 同 的 圖 片 的 PPT 給 受 測 者 觀 看, 每 張 照 片 約 觀 看 6 秒
三 在 受 測 者 觀 看 圖 片 的 同 時, 一 併 進 行 讓 受 測 者 填 寫 SAM9 點 量 表 四 並 將 側 面 與 正 面 的 臉 部 動 態 以 照 相 與 錄 影 的 方 式 存 檔 五 收 集 BioCapture 的 偵 測 資 料, 並 分 析 其 每 秒 平 均 值 與 最 大 最 小 值 的 變 化, 進 而 選 擇 可 以 做 為 平 復 心 情 的 最 適 圖 片 2.3.2 主 要 實 驗 步 驟 一 安 裝 EMG 與 ECG 儀 器 到 受 測 者 身 上 二 在 筆 記 型 電 腦 上 準 備 含 有 10 張 不 同 的 圖 片 的 PPT 給 受 測 者 觀 看, 每 張 照 片 約 觀 看 6 秒, 並 且 在 各 個 圖 片 中 穿 插 前 置 實 驗 分 析 出 的 平 復 心 情 與 臉 部 肌 肉 的 圖 片 6 秒 三 在 受 測 者 觀 看 圖 片 的 同 時, 一 併 進 行 讓 受 測 者 填 寫 SAM9 點 量 表 四 並 將 側 面 與 正 面 的 臉 部 動 態 以 照 相 與 錄 影 的 方 式 存 檔 五 收 集 BioCapture 的 偵 測 資 料, 並 分 析 其 每 秒 平 均 值 最 大 最 小 值 的 變 化, 以 及 與 一 般 狀 態 的 數 值 差 異, 進 而 推 導 出 圖 片 對 於 情 緒 上 及 生 理 上 的 相 關 性 2.4. 生 理 量 測 前 置 與 主 要 實 驗 的 2 次 器 材 的 測 量 安 裝 位 置 皆 為 相 同, 先 使 用 皮 膚 準 備 液 將 裝 置 所 需 的 位 置 擦 拭 去 除 臉 部 油 脂 ( 左 側 皺 眉 肌 位 置 左 側 顴 大 肌 位 置 鎖 骨 中 下 方 ECG 位 置 以 及 接 地 線 的 位 置 ) 再 將 含 有 導 電 液 的 鈕 扣 型 電 極 裝 置 線 材 在 線 材 上 後, 再 安 裝 到 受 測 者 身 上 並 且 在 BioCapture 中 選 擇 600hz 做 為 採 樣 頻 率 2.5. 實 驗 拍 攝 或 錄 影 在 受 測 者 進 行 實 驗 的 過 程 中, 我 們 有 一 位 成 員 在 受 測 者 的 左 後 方 進 行 實 驗 全 程 錄 影, 並 且 有 另 一 位 成 員 使 用 相 機 在 受 測 者 的 正 前 方, 拍 下 受 測 者 在 觀 看 每 一 張 圖 片 後 的 反 應 三 研 究 結 果 3.1. 前 置 實 驗 結 果 本 次 實 驗 將 三 張 平 復 情 緒 候 選 圖 對 其 他 三 張 激 發 情 緒 候 選 圖 來 做 比 較 我 們 專 注 在 平 復 情 緒 候 選 上 來 做 分 析 平 復 一 的 圖 (no7057) 在 SAM 量 表 中 表 現 出 中 立 的 情 緒 較 低 的 感 情 激 發 以 及 較 高 的 情 緒 掌 控 這 樣 的 數 值 在 三 張 平 復 狀 態 中 作 為 心 理 狀 態 放 鬆 是 最 合 適 的
9 8 7 6 5 4 3 情 緒 正 面 / 負 面 震 撼 程 度 情 緒 掌 控 度 2 1 0 平 復 1 平 復 2 平 復 3 圖 一 前 置 實 驗 中 受 測 者 對 3 種 平 復 候 選 圖 片 SAM 量 表 的 比 較 而 在 生 理 檢 測 的 數 值 中 我 們 看 到 圖 二 很 明 顯 的 不 論 是 皺 眉 肌 顴 大 肌 還 是 ECG 的 數 值 都 明 顯 的 呈 現 出 no7057 的 反 應 數 值 比 其 他 兩 張 圖 片 所 帶 來 的 數 值 更 加 穩 定 且 一 致 圖 二 三 張 平 復 圖 片 在 皺 眉 肌 顴 大 肌 以 及 ECG 數 值 的 差 異 比 較
而 在 圖 三 四 五 中 我 們 由 EMG 的 反 應 幅 度 與 ECG 所 測 出 的 心 跳 頻 率 來 看, 就 可 以 明 顯 的 發 現 到 圖 三 的 no7507 明 顯 的 平 穩 程 度, 在 綜 合 前 面 2 點 得 知, 藉 由 no7057 的 確 是 可 以 誘 發 平 復 狀 態 的 生 理 及 心 理 狀 態 故 此 我 們 將 挑 選 no7057 做 為 下 段 主 要 實 驗 的 平 復 狀 態 圖 圖 三 no7057 的 FEMG 與 ECG 擷 取 圖 圖 四 no7451 的 FEMG 與 ECG 擷 取 圖 圖 五 no1440 的 FEMG 與 ECG 擷 取 圖
pic1 pic2 pic3 pic4 pic5 pic6 pic7 pic8 pic9 pic10 normal 3.2. 主 要 實 驗 EMG 與 ECG 結 果 0.8 0.592 0.615 0.6 0.51 0.525 0.452 0.439 0.475 0.439 0.391 0.342 0.346 0.404 0.387 0.4 0.33 0.334 0.183 0.256 0.171 0.183 0.171 0.171 0.208 0.159 0.171 0.146 0.11 0.122 0.134 0.193 0.169921875 0.2 0.11 0.109863281 0.073242188 皺 眉 肌 最 大 值 0.012207031 0 皺 眉 肌 最 小 值 -0.012-0.037-0.012-0.036621094 顴 大 肌 最 大 值 -0.2-0.122-0.134-0.061-0.134-0.085-0.146-0.085-0.037-0.146 顴 大 肌 最 小 值 -0.049-0.256-0.4-0.305-0.33-0.317 心 跳 最 大 值 -0.427-0.452 心 跳 最 小 值 -0.6-0.8-1 -1.2-0.65-0.656-0.65-0.627-0.696-0.744-0.844-0.773-0.867-0.926 圖 六 EMG&ECG 最 大 最 小 值 長 條 圖 -0.64453125-0.75 0.8 0.7 0.6 0.5 0.4 0.3 0.2 皺 眉 肌 最 大 值 皺 眉 肌 最 小 值 顴 大 肌 最 大 值 顴 大 肌 最 小 值 心 跳 最 大 值 心 跳 最 小 值 0.1 0 pic1 pic2 pic3 pic4 pic5 pic6 pic7 pic8 pic9 pic10 圖 七 將 各 個 圖 樣 的 數 值 與 平 復 狀 態 的 數 值 的 差 距
9 8 7 6 5 4 3 2 1 0 情 緒 正 面 / 負 面 震 撼 程 度 情 緒 掌 控 度 圖 八 本 次 實 驗 SAM 量 表 的 長 條 圖 在 附 錄 一 中 包 含 了 Pic1~10 的 各 個 生 理 量 測 資 料, 並 且 由 整 體 資 料 發 現 ECG 的 部 分 中, 無 論 正 向 或 反 向 的 情 緒 只 要 情 緒 喚 起 ( 震 撼 程 度 ) 越 高, 其 心 跳 的 頻 率 也 越 不 穩 定 或 是 更 加 急 促, 整 體 而 言 皺 眉 肌 對 於 較 為 激 烈 的 負 面 情 緒 還 是 有 較 顯 著 的 正 向 關 係 四 結 論 由 結 果 判 明 在 單 一 資 料 ( 數 值 的 最 大 最 小 值 ) 中 較 為 明 顯 的 心 跳 最 大 值 有 正 相 關 反 應 的 是, 能 夠 帶 來 正 面 情 緒 的 圖 樣 而 心 跳 的 最 小 值 則 有 負 面 情 緒 越 大 則 天 跳 最 小 值 就 越 低 而 情 緒 波 動 較 大 的 負 面 情 緒 最 能 影 響 皺 眉 肌 的 起 伏 但 是 在 單 一 項 目 中, 皺 眉 肌 的 最 大 最 小 值 對 於 正 向 及 負 向 的 情 緒 分 佈 也 很 平 均, 較 無 法 作 為 判 定 的 數 值 但 是 在 這 次 的 實 驗 中, 雖 然 顴 大 肌 在 負 面 情 緒 的 起 伏 較 大, 但 顴 大 肌 的 單 一 項 目 反 應 較 為 分 散, 在 一 些 情 緒 波 動 較 大 的 圖 片 中 皆 有 明 顯 反 應 較 無 正 負 情 緒 的 分 別 而 就 情 緒 掌 控 度 的 項 目 來 說, 對 於 會 讓 請 緒 起 伏 較 大 的 情 緒 給 予 的 生 理 反 應, 與 圖 片 掌 控 度 的 大 小 關 聯, 可 以 發 現 到 因 圖 片 較 為 噁 心 與 不 堪 入 目, 帶 來 生 理 強 烈 反 應 的 圖 片 (Pic7&8), 其 情 緒 掌 控 度 較 小, 而 對 於 情 緒 掌 控 度 較 高 的 圖 片, 則 帶 來 的 反 應 數 據 就 較 為 穩 定 (Pic9&10)
附 錄 圖 表 附 錄 一 各 EMG&ECG 在 生 理 量 測 的 擷 取 圖 Pic1(no7451) Pic4(4085) Pic2(no1121) Pic5(9321) Pic3(no1440) Pic6(9590)
Pic7(4490) Pic9(9075) Pic8(3069) Pic10(9183)
參 考 文 獻 Cheng, D., et al. (2009). Toward Recognizing Two Emotion States from ECG Signals. Computational Intelligence and Natural Computing, 2009. CINC '09. International Conference on. Hodes, R. L., et al. (1985). "Individual Differences in Autonomic Response: Conditioned Association or Conditioned Fear?" Psychophysiology 22(5): 545-560. Jing, C., et al. (2009). The Research on Emotion Recognition from ECG Signal. Information Technology and Computer Science, 2009. ITCS 2009. International Conference on. Lang, P. J., et al. (2008). International Affective Picture System(IAPS):Affective ratings of pictures and instruction manual, NIMH Center for the Study of Emotion & Attention University of Florida: 61. Lang, P. J., et al. (1993). "Looking at pictures: Affective, facial, visceral, and behavioral reactions." Psychophysiology 30(3): 261-273. 王 士 逢 (2004). 末 梢 血 流 與 臉 部 肌 電 圖 量 測 與 焦 慮 狀 態 評 估 系 統 設 計, 國 立 成 功 大 學 : 92. 周 仁 来 and 胡 森 歧 " 诱 发 情 绪 产 生 的 面 部 肌 电 活 动 不 对 称 性 效 应." 7.