第 二 章 相 關 研 究 2.1 資 訊 科 學 中 的 情 意 運 算 Picard 在 1995 年 提 出 的 情 意 運 算 概 念, 開 啟 了 電 腦 科 學 領 域 在 人 類 情 緒 方 面 的 研 究, 也 因 此 衍 生 出 了 關 於 人 機 介 面 的 新 形 態 設 計 理 念 其 中 最 大 的 觀 念 改 變 是 將 原 先 電 腦 是 接 受 使 用 者 被 動 操 作 的 想 法, 改 變 成 為 主 動 但 不 被 察 覺 的 體 會 使 用 者 的 需 求, 便 有 了 體 貼 計 算 的 觀 念 出 現 而 其 中 使 用 者 的 心 理 狀 態 的 感 知, 便 成 為 研 究 的 重 點 之 一 在 情 意 感 知 部 分,Ark 等 人 提 出 了 Emotion Mouse 的 概 念 [4], 在 滑 鼠 上 貼 附 Sensor, 測 量 使 用 者 之 心 跳 率 皮 膚 溫 度 皮 膚 導 電 度 及 肌 電 反 應 ( 見 圖 2-1), 讓 電 腦 能 對 使 用 者 的 生 理 狀 態 能 夠 感 應, 並 期 望 有 適 當 回 應 Ryoo[5] 的 研 究 則 是 希 望 可 以 藉 由 情 緒 狀 態 的 資 訊, 提 供 個 人 化 的 服 務, 達 成 普 適 計 算 (ubiquitous computing) 的 目 標 而 在 感 知 方 式 的 特 徵 選 取 方 面,Picard[2] 等 人 之 研 究 發 表 了 數 種 演 算 法 供 基 於 特 徵 的 辨 識 方 法, 並 收 集 了 基 於 肌 電 圖 (Electromyography, EMG) 血 流 脈 膊 (blood-volume pulse, BVP) 皮 膚 導 電 率 (skin conductance responses, SCR) 呼 吸 (Respiration) 共 四 種 生 理 特 徵, 以 長 時 間 觀 測 每 日 (day-to-day) 的 變 化 情 形 Kim[3] 所 發 展 的 系 統, 實 驗 中 以 多 種 刺 激 素 材 如 聲 音 圖 片 認 知 ( 如 故 事 ) 的 刺 激 作 為 觸 發 情 緒 的 素 材, 採 用 Support Vector Machine(SVM) 為 生 理 訊 號 做 情 緒 分 類 情 緒 感 知 系 統 可 利 用 許 多 來 源 收 集 使 用 者 的 資 料, 一 般 可 略 分 為 視 訊, 音 訊, 生 理 訊 號 等 Sebe 等 人 的 文 獻 回 顧 中 [8], 指 出 將 多 個 來 源 的 資 訊 加 以 整 合, 綜 合 判 斷 分 析, 整 理 出 了 一 多 模 式 人 機 互 動 介 面 的 概 念 架 構 圖 ( 見 圖 2-2) 5
圖 2-1:Emotion Mouse 的 雛 形 與 各 感 應 器 貼 附 部 位 圖 2-2 多 模 式 人 機 互 動 介 面 6
2.2 心 理 學 領 域 的 情 緒 相 關 研 究 心 理 方 面 研 究 對 情 緒 的 研 究, 主 要 可 分 為 兩 個 學 派, 其 中 一 派 認 為 在 眾 多 的 情 緒 中 具 備 某 些 基 礎 情 緒, 發 展 出 基 於 類 別 為 基 礎 方 式 的 Discrete Emotions, 其 理 論 中 以 Paul Ekman 以 此 理 論 為 基 礎 發 展 出 了 FACS(Facial Action Coding System) 最 為 人 熟 知 [9] 另 一 派 認 為 情 緒 可 表 示 為 幾 個 基 本 情 緒 向 度 的 強 弱 變 化, 發 展 出 Dimensional Approach, 此 派 理 論 在 [6] 後 開 始 被 注 意 到 而 也 有 學 者 試 著 找 出 這 兩 種 理 論 基 礎 之 間 的 對 應 關 係 以 下 將 簡 述 心 理 方 面 研 究 文 獻 中, 曾 對 情 緒 與 生 理 訊 號 的 對 應 關 係 的 研 究 在 Ekman, Levenson, & Friesen (1983)[9] 的 研 究 中, 以 Discrete Emotions 為 理 論 研 究 各 種 典 型 情 緒 狀 態 下 的 生 理 反 應, 其 研 究 結 果 圖 表 ( 見 圖 2-3a, 圖 片 中 色 彩 長 條 為 平 均, 細 線 為 標 準 差 ) 中 可 看 出 心 跳 率 變 化 大 致 可 分 成 兩 個 區 間, 分 別 為 (anger, fear, sad) 及 (happy, surprise, disgust) 若 再 看 其 個 別 的 標 準 差, 其 中 anger, fear, surprise 之 標 準 差 皆 有 達 到 4 左 右, 顯 示 其 資 料 的 分 布 性 廣 變 異 性 頗 大, 易 與 其 他 類 別 混 淆, 若 只 憑 心 跳 率 變 化 單 一 項, 其 結 果 判 讀 將 不 太 準 確 皮 膚 溫 度 變 化 是 另 一 項 可 供 參 考 的 資 訊, 皮 膚 溫 度 的 變 化 情 形 較 為 細 微 ( 見 圖 2-3b), 其 最 大 的 平 均 變 化 也 只 達 0.15 左 右, 其 餘 的 皆 落 在 0.05-0.35 間, 因 此 貼 於 皮 膚 的 感 測 器 其 準 確 度 及 敏 感 度 就 變 的 很 重 要 其 研 究 中 顯 示 體 溫 對 極 端 情 緒 反 應 較 顯 著, 在 極 端 情 緒 例 如 憤 怒 中 上 升 了 約 0.14, 在 悲 傷 時 則 呈 現 下 降 的 趨 勢 7
anger anger fear fear sad sad happy happy surprise surprise disgust disgust anger anger fear fear sad sad happy happy surprise surprise disgust disgust (a) (b) 圖 2-3a:Heart Rate Change vs. Emotion [10] 圖 2-3b:Temperature Change vs. Emotion 在 Lang 等 學 者 [7] 的 研 究 中, 則 以 Dimensional Approach 為 理 論 基 礎, 測 量 人 在 舒 適 (Pleasant) 中 性 (Neutral) 及 不 舒 適 (Unpleasant) 情 況 下 的 生 理 反 應 結 果 顯 示 心 跳 率 的 改 變 將 隨 時 間 變 化 有 所 起 伏 ( 見 圖 2-4), 如 舒 適 的 條 件 下, 約 在 刺 激 發 生 後 2 秒 上 升,3.5 秒 後 下 降 ; 而 在 不 舒 適 條 件 下, 約 在 刺 激 發 生 後 2.5 秒 些 微 上 升,4 秒 後 下 降, 並 在 不 同 的 情 緒 下, 其 變 化 的 幅 度 將 有 差 異 這 個 特 性 或 許 將 有 助 於 判 讀 情 緒 狀 態 以 及 發 生 與 結 束 期 間 而 在 Lang(2001) 之 前 的 學 者 研 究 中 [11], 指 出 SCR 和 體 溫 對 於 情 緒 的 反 應 並 無 明 顯 關 係, 在 不 同 的 年 代 對 於 生 理 訊 號 與 情 緒 的 研 究 結 論 有 所 改 變, 顯 示 這 是 研 究 上 有 待 探 索 的 地 方 8
圖 2-4: 心 跳 率 在 不 同 情 緒 狀 態 下 的 變 化 [7] 2.3 IAPS 測 驗 IAPS 為 International Affective Picture System 的 簡 稱 ( 圖 2-5), 在 心 理 研 究 上 常 被 用 來 讓 研 究 者 比 較 受 試 者 情 緒 上 反 應 與 此 系 統 已 建 立 的 一 套 常 模 間 的 關 係, 其 理 論 基 礎 便 是 基 於 Dimensional Approach 在 使 用 IAPS 來 評 估 受 試 者 反 應 前, 受 試 者 會 接 受 一 SAM 圖 表 測 驗, 用 此 圖 表 中 的 向 度 (dimension) 來 描 述 自 己 的 情 緒 感 受 SAM 是 Self-Assessment Manikin 的 簡 稱 ( 圖 2-6), 在 本 例 中 含 有 兩 個 向 度, 由 上 至 下 分 別 是 Valence Arousal 9
圖 2-5:IAPS 資 料 集 圖 2-6:SAM(Self-Assessment Manikin) 之 向 度 圖 式, 第 一 列 是 Valence, 第 二 列 是 Arousal 10
圖 2-7:IAPS 資 料 集 常 模 之 分 布 2.4 情 緒 研 究 之 比 較 與 整 理 在 Picard 的 論 文 中 [2], 作 者 預 期 想 法 是 利 用 一 些 情 境 或 對 話, 來 引 發 受 測 人 的 特 定 情 緒, 比 方 愉 悅 或 是 不 悅 的 情 緒, 但 有 時 並 不 成 功, 原 因 是 受 測 人 會 不 可 預 期 的 引 發 額 外 的 聯 想, 或 受 到 過 去 的 生 活 經 歷 影 響 於 是 他 們 改 採 另 一 個 方 向, 亦 即 選 用 臉 部 與 人 聲 來 作 為 判 斷 心 理 狀 態 的 依 據, 但 仍 有 心 理 狀 態 與 外 在 表 象 不 一 致 的 情 形 在 資 訊 科 學 中 常 使 用 的 模 式 為 discrete emotions, 其 屬 於 類 別 式 的 實 驗 所 測 量 之 長 時 間 內 (5min-20min), 以 及 收 集 全 日 (8-24hr) 資 料 之 研 究 我 們 認 為 情 緒 (Emotions) 是 心 理 短 暫 的 過 程 (~6sec), 心 情 (Moods) 則 是 心 理 與 外 界 環 境 於 一 段 時 間 中 之 最 後 綜 合 所 顯 示 的 表 徵 就 常 是 以 不 同 的 角 度 去 解 釋 情 緒 的 問 題, 採 用 Hamm 等 學 者 提 出 [6][7] 的 11
dimensional approach 為 理 論 基 礎, 測 量 人 在 舒 適 (Pleasant) 中 性 (Neutral) 及 不 舒 適 (Unpleasant) 情 況 下 的 生 理 反 應 在 Dimensional Approach 的 研 究 中,Lang 等 人 提 出 的 IAPS 中, 單 一 圖 片 刺 激 應 具 有 最 單 純 的 性 質, 因 此 本 研 究 以 IAPS 情 緒 圖 片 實 驗 做 為 dimensional approach 理 論 的 研 究 資 料 2.5 生 理 訊 號 特 性 簡 述 本 節 簡 略 介 紹 過 去 研 究 中 曾 用 於 情 緒 研 究 之 生 理 訊 號, 在 回 顧 完 各 種 資 料 的 性 質 並 考 慮 設 備 的 設 置 後, 選 擇 適 合 應 用 於 本 研 究 之 候 選 名 單 BVP (Blood Volume Pulse) 血 流 脈 動 (Blood Volume Pulse) 常 測 量 的 部 位 為 指 尖, 過 去 研 究 指 出, 在 生 氣 或 壓 力 的 狀 態 下, 血 流 量 將 會 提 高, 而 在 悲 傷 或 是 放 鬆 的 情 況 下, 血 流 量 則 會 降 低,BVP 的 訊 號 如 圖 2-8 所 示 圖 2-8:Blood Volume Pulse (BVP) 血 流 脈 動 的 電 極 貼 附 部 位 及 其 變 化 圖 示 例 EEG (Electroencephalography) EEG 為 腦 電 圖 ( 如 圖 2-9 所 示 ), 在 頭 皮 表 面 貼 附 電 極, 測 量 與 參 考 電 極 的 電 位 差 訊 12
號, 過 去 研 究 指 出, 腦 波 分 析 在 不 同 正 負 向 的 情 緒 下 與 其 高 低 頻 率 分 布 情 形 有 明 顯 差 異, 並 定 義 出 五 個 頻 帶, 包 含 α(8-12 Hz) β(13-30 Hz) γ(>30 Hz) δ( <4 Hz) θ(4-8hz) 等 頻 帶 圖 2-9:Electroencephalography (EEG) 紀 錄 腦 電 圖 的 電 極 貼 附 部 位 及 其 變 化 圖 示 例 ECG (Electrocardiogram) ECG 是 心 電 圖,ECG 的 波 形 具 有 規 律 性, 醫 學 上 將 波 形 依 照 轉 折 的 區 間, 分 為 PQRST 等 部 位 ( 見 圖 2-10b), 其 中 作 常 被 使 用 的 的 心 跳 率 指 標, 則 是 取 RR-interval 換 算 成 心 跳 率 ( 見 圖 2-10a), 心 跳 率 再 取 導 數 則 可 得 到 心 跳 變 率 過 去 研 究 指 出, 在 放 鬆 或 快 樂 的 狀 態 下, 心 跳 率 將 會 提 高, 而 在 壓 力 或 是 挫 折 的 情 況 下, 心 跳 變 率 則 會 提 高 圖 2-10a:Electrocardiogram (ECG) 紀 錄 心 電 圖 的 電 極 貼 附 部 位 及 其 變 化 圖 示 例 13
圖 2-10b:ECG 的 PQRST 部 位 示 例 ( 圖 片 節 錄 自 wikipedia) EMG (Electromyogram) EMG( 如 圖 2-11 所 示 ) 為 肌 電 圖, 過 去 研 究 指 出, 在 緊 張 的 狀 態 下, 肌 電 率 將 會 提 高, 而 在 放 鬆 的 情 況 下, 肌 電 率 則 會 降 低 圖 2-11:Electromyogram (EMG) 紀 錄 肌 電 圖 的 電 極 貼 附 部 位 及 其 變 化 圖 示 例 RESP (Respiration) 呼 吸 的 測 量 是 透 過 測 量 胸 圍, 呼 吸 會 使 胸 圍 有 些 微 變 化, 肺 部 吸 入 了 空 氣 使 胸 腔 擴 大, 呼 氣 時 胸 腔 壓 縮 空 氣 排 出, 如 此 週 而 復 始 形 成 了 一 個 循 環, 故 在 一 般 情 形 下, 應 具 有 週 期 性 規 律 的 起 伏 ( 見 圖 2-12) 過 去 研 究 指 出, 在 生 氣 的 狀 態 下, 呼 吸 率 將 會 提 高, 而 在 放 鬆 的 情 況 下, 呼 吸 率 則 會 提 高 14
圖 2-12:Respiration 紀 錄 呼 吸 的 電 極 貼 附 部 位 及 其 變 化 圖 示 例 SCR (Skin Conductance Responses) 貼 於 皮 膚 的 電 極 ( 通 常 為 手 指 ), 測 量 皮 膚 的 導 電 性, 而 過 去 的 研 究 顯 示, 皮 膚 導 電 性 與 情 緒 激 發 的 程 度 有 線 性 相 關 可 以 表 示 自 主 神 經 系 統 的 狀 態, 對 反 應 產 生 的 情 緒, 以 及 身 體 活 動 度,SCR 也 可 作 為 警 覺 性 的 指 標 膚 電 反 應 的 特 徵 為 產 生 一 陡 峭 的 上 升 之 後 緩 緩 下 降 圖 2-13:Skin Conductivity 紀 錄 皮 膚 導 電 度 的 電 極 貼 附 部 位 及 其 變 化 考 慮 到 生 活 中 之 應 用 情 境, 需 要 輕 便 容 易 穿 戴 無 侵 入 性 資 料 準 確 率, 最 後 考 慮 了 BVP ECG RESP SCR 等 作 為 候 選 的 生 理 訊 號 EEG 和 EMG 則 因 設 備 因 素 未 在 本 研 究 中 使 用 15
同 步 記 錄 生 理 訊 號 記 錄 儀 同 步 記 錄 生 理 訊 號 記 錄 儀 可 同 時 多 軌 紀 錄 來 自 各 生 理 感 測 器 的 資 料, 圖 2-14 顯 示 了 4 項 訊 號, 由 上 至 下 依 序 是 EMG SCR 體 溫 BVP 黑 色 的 直 線 代 表 實 驗 時 刺 激 發 生 的 時 間 點 標 記 圖 2-14: 同 步 記 錄 生 理 訊 號 的 畫 面 示 例 ( 取 自 Biofeedback Xpert 2000 軟 體 畫 面 ) 2.6 資 料 收 集 儀 器 Biofeedback 2000 Xpert 在 本 研 究 中, 採 用 Biofeedback Xpert 2000 作 為 無 線 生 理 訊 收 集 的 裝 置,Biofeedback Xpert 2000 是 一 套 具 備 無 線 傳 輸 能 力 的 生 理 訊 號 記 錄 裝 置 ( 見 圖 2-15), 使 用 Bluetooth 傳 輸 資 料, 可 同 時 記 錄 多 種 類 型 的 生 理 訊 號, 適 合 臨 床 應 用 將 與 下 節 另 一 套 NeuroScan, 裝 置, 作 為 有 線 測 量 的 比 較 基 準 16
圖 2-15 Biofeedback Xpert 2000 之 多 重 感 應 器 ( 含 SCR BVP 溫 度 加 速 度 等 ), 及 其 無 線 傳 輸 模 組 圖 2-16 Biofeedback Xpert 2000 之 呼 吸 測 量 感 應 器, 及 其 無 線 傳 輸 模 組 2.7 資 料 收 集 儀 器 NeuroScan NeuroScan 公 司 生 產 的 EEG/ERP(Event Related Potential, 事 件 關 聯 電 位 ) 記 錄 系 統 與 其 放 大 器 SymAmp2 是 另 一 套 系 統, 屬 於 研 究 等 級 的 實 驗 儀 器, 該 系 統 可 以 同 時 在 受 試 者 頭 皮 上 紀 錄 64 個 不 同 位 置 的 電 位 變 化, 因 此 若 改 變 電 極 貼 附 的 部 位, 也 可 應 用 於 屬 17
於 電 位 測 量 的 生 理 訊 號 如 心 電 圖 等, 並 可 以 支 援 DC 以 及 AC 兩 類 不 同 的 紀 錄 方 式 而 在 本 研 究 中 便 使 用 了 三 組 電 極 收 集 ECG( 心 電 圖 ) 訊 號, 後 續 經 過 轉 換 後 得 到 心 跳 率 (heart rate,hr) 資 料 圖 2-17 NeuroScan 1 之 電 極 盤 與 與 其 放 大 器 SymAmp2 2.8 資 料 收 集 儀 器 ProComp Infiniti ProComp Infiniti 具 有 8 個 頻 道 輸 入,14-bit 解 析 度 的 編 碼 器, 以 鹼 性 電 池 供 電, 避 免 的 市 電 的 交 流 電 影 響 訊 號 收 集, 在 研 究 中 被 用 來 收 集 BVP SCR TEMP 的 訊 號 圖 2-18 ProComp Infiniti 2 1 圖 片 來 源 http://www.neuroscan.com/landing.cfm 2 圖 片 來 源 http://www.bioland.com.tw/thought_main.htm 18