Microsoft Word - 碩士論文_修改_.docx

2 第 二 章 相 關 研 究 這 一 章 節 會 介 紹 與 本 研 究 的 相 關 知 識 以 及 文 獻, 首 先 我 們 會 簡 介 眼 動 儀 器 如 何 擷 立 政 治 取 人 的 視 線, 並 且 擷 取 下 來 的 資 料 該 如 何 處 理 接 著 介 紹 情 緒 研 究 者 如 何 描 述 情 緒 以 及 量 測 情 緒 量 測 情 緒 的 方 法 依 序 為 填 寫 SAM 量 表 外 顯 行 為 之 辨 識 以 及 大 國 生 理 訊 號 的 分 析 最 後 針 對 眼 動 相 關 的 情 緒 研 究 以 及 我 們 處 理 資 料 的 型 態 做 介 學 紹 2.1 眼 動 儀 器 與 眼 動 軌 跡 National Chengch 介 紹 相 關 文 獻 之 前, 我 們 先 介 紹 眼 動 軌 跡 是 如 何 被 記 錄 記 錄 的 方 法 是 每 秒 擷 取 i University 500 張 眼 球 的 影 像, 並 且 計 算 在 這 500 張 影 像 時, 視 線 落 點 對 應 的 座 標, 而 這 500 個 點 就 稱 為 注 視 點 (point of regard) 如 果 在 一 小 段 時 間 內, 注 視 點 都 停 留 在 某 一 個 區 域 內, 就 把 這 些 注 視 點 當 成 凝 視 狀 態 (fixation) 而 注 視 點 在 兩 個 凝 視 狀 態 之 間 移 動 的 過 程 稱 為 掃 視 狀 態 (saccade) 圖 2.1 上 所 有 小 點 都 是 注 視 點 的 紀 錄, 其 中 比 較 大 的 黑 點 並 且 旁 邊 有 數 字 的 就 是 凝 視 狀 態, 其 他 的 部 分 則 是 判 定 為 掃 視 狀 態 3

圖 2.1 眼 動 軌 跡 記 錄 圖, 黑 點 集 中 且 旁 邊 附 帶 數 字 的 部 分 就 是 凝 視 點. 2.2 情 緒 的 描 述 在 進 行 研 究 之 前, 我 們 得 先 了 解 情 緒 到 底 該 如 何 呈 現? 目 前 針 對 情 緒 的 描 述 大 致 上 可 分 成 兩 種 不 同 的 觀 點, 第 一 種 為 情 緒 性 感 受 (emotional experience), 第 二 種 是 維 度 模 式 (dimensional models) 1. 情 緒 性 感 受 : 又 被 稱 為 Discrete Emotions, 將 情 緒 以 類 別 為 基 礎 方 式 呈 現, 一 般 人 對 於 情 緒 性 的 經 驗 來 標 示 不 同 的 情 緒 狀 態, 例 如 : happy sad 等 大 部 分 學 者 一 致 認 為 情 緒 的 分 類 至 少 有 以 下 六 項, 分 別 是 愉 快 (happiness) 悲 傷 (sadness) 恐 懼 (fear) 生 氣 (anger) 詫 異 (surprise) 以 及 厭 惡 (disgust) 以 情 緒 類 別 為 基 礎 的 研 究, 最 典 型 的 研 究 是 1978 年 由 Paul EKman 所 發 表 的 FACS[3], 我 們 會 在 2.3.2 一 節 中 對 FACS 做 較 為 完 整 的 介 紹 4

圖 2.2 情 緒 性 感 受 與 為 度 模 式 的 相 對 應 關 係 圖, 圖 中 ANGER DISGUST JOY SORROW 為 Discrete Emotions 中 的 基 本 情 緒 類 別 2. 維 度 模 式 : 針 對 情 緒 的 描 述, 除 了 emotional experience 之 外, 另 一 種 表 示 法 是 應 用 在 研 究 實 驗 中, 當 受 測 者 面 對 刺 激 時 該 如 何 表 達 他 接 受 刺 激 之 後 的 狀 態 Feldman[4] 的 觀 念 是 將 情 緒 以 兩 種 維 度 表 示, 維 度 名 稱 分 別 是 Valence 與 Arousal 其 中 Valence 所 描 述 的 是 受 測 者 接 受 刺 激 之 後 的 感 覺 (feeling) 是 舒 適 (pleasant) 或 不 舒 適 (unpleasant) 而 Arousal 則 表 示 受 測 者 接 受 刺 激 後, 情 緒 上 的 活 化 (activated) 程 度, 較 一 般 的 說 法 則 是 刺 激 物 給 予 受 測 者 造 成 情 緒 上 多 少 強 度 的 影 響, 數 值 越 高 表 示 刺 激 程 度 越 高, 反 之 越 低 在 考 量 該 如 何 表 示 情 緒 時, 在 一 般 研 究 比 較 傾 向 採 用 維 度 模 式 原 因 在 於 實 驗 中 的 受 測 者, 若 以 情 緒 感 受 等 語 意 層 級 的 方 法 來 表 達 情 緒, 同 樣 的 情 緒 狀 態 下, 不 同 受 測 者 會 有 語 意 上 的 差 異 性 Feldman[4][5] 認 為 以 Valence 與 Arousal 的 描 述 方 式 可 以 避 免 語 意 的 問 題, 而 且 能 充 分 描 述 情 緒 另 外 也 有 學 者 Zagalo [15] 致 力 於 將 兩 種 情 緒 模 式 對 應 起 來, 如 圖 2.2 對 應 兩 種 情 緒 模 式 目 的 是 便 於 兩 種 模 式 相 互 轉 換, 因 為 當 我 們 應 用 於 實 際 情 緒 偵 測 時, 系 統 回 報 給 受 測 者 情 緒 狀 態 時, 落 使 用 維 度 模 式 的 數 值, 表 達 力 不 足 同 樣 負 性 5

的 基 礎 情 緒 中, 有 悲 傷 恐 懼 以 及 生 氣, 因 此 採 用 語 意 模 式 呈 現 比 較 適 合 當 然 隨 著 主 觀 意 識 的 不 同, 每 個 人 在 同 一 種 情 緒 感 受 下 對 應 的 維 度 區 域 也 有 差 異 某 些 研 究 使 用 高 斯 機 率 密 度 函 數 (Gaussian probability density function), 針 對 收 集 到 的 資 料 計 算 維 度 空 間 中 不 同 情 緒 性 感 受 的 分 佈 情 形 2.2.1SAM 量 表 在 研 究 中 要 判 斷 受 測 者 的 情 緒 狀 態, 除 了 讓 使 用 者 自 己 填 寫 (self-report) 如 SAM[7] 圖 2.3 SAM 量 表 圖 的 上 列 代 表 Valence 值,5 代 表 情 緒 最 正 向,-5 代 表 情 緒 最 負 向, 圖 的 下 列 代 表 Arousal 值,10 代 表 刺 激 強 度 最 大,0 則 是 最 小 這 樣 的 量 測 方 法 有 兩 個 缺 點, 第 一 點 是 每 一 位 受 測 者 對 於 數 值 的 認 知 不 同 以 Valence 為 例, 不 同 受 測 者 對 於 數 值 的 認 知 不 同, 同 樣 是 引 起 正 性 情 緒 的 圖 片, 受 測 者 接 受 刺 激 後 所 回 報 的 Valence 數 值 皆 不 同 第 二 點 是 評 分 結 果 面 臨 受 測 者 評 分 策 略 的 影 響 例 如 : 受 測 者 在 實 驗 初 期 即 接 受 強 烈 刺 激 的 情 況 下, 因 為 考 慮 到 實 驗 後 期 有 可 能 受 到 更 強 烈 的 刺 激, 因 此 實 驗 初 期 即 使 感 受 到 正 面 或 負 面 的 強 烈 刺 激 時, 評 分 皆 有 所 保 留 因 此 本 研 究 進 行 情 緒 刺 激 的 實 驗 時, 我 們 要 求 受 測 者 回 報 的 情 緒 狀 態 並 非 數 值, 而 是 以 圖 2.3 SAM 量 表, 上 列 代 表 Valence 值,5 代 表 情 緒 最 正 向, 5 代 表 情 趣 最 負 向, 圖 列 代 表 Arousal 值,10 代 表 刺 激 強 度 最 大,0 則 是 刺 激 強 度 最 小 的 介 面 給 受 測 者 選 擇, 可 以 降 低 受 測 者 主 觀 因 素 的 影 響 另 外 可 從 受 測 者 的 行 為 (behavioral) 與 生 理 (physiological) 訊 號 來 判 斷 受 測 者 的 情 緒 狀 態, 我 們 會 依 序 在 2.3.2 節 以 及 2.3.3 節 中 介 紹 6

圖 2.3 SAM 量 表, 上 列 代 表 Valence 值,5 代 表 情 緒 最 正 向,-5 代 表 情 趣 最 負 向, 圖 列 代 表 Arousal 值,10 代 表 刺 激 強 度 最 大,0 則 是 刺 激 強 度 最 小 圖 2.4 1. 六 個 基 本 情 緒 表 情,1. 憎 惡 2. 恐 懼 3. 高 興 4. 詫 異 5. 哀 傷 6. 生 氣 2.2.2 外 顯 行 為 行 為 科 學 領 域 中, 研 究 人 員 可 以 藉 由 分 析 受 測 者 的 臉 部 身 體 姿 勢 以 及 手 勢 等 變 化 來 判 斷 目 前 使 用 者 的 情 緒 狀 態 其 中 比 較 典 型 的 情 緒 研 究 是 對 臉 部 表 情 (Facial 7

Expression) 的 解 讀 [1] 臉 部 表 情 分 析 沒 有 穿 戴 生 理 儀 器 時 產 生 的 不 適 感, 所 以 很 適 合 運 用 在 互 動 式 的 人 機 介 面 (Human Interaction Computing) 領 域 判 斷 受 測 者 的 情 緒 時,, 分 別 是 訊 息 判 斷 法 (Message Judgment) 與 訊 號 判 斷 法 (Sign Judgment) 其 中 訊 息 判 斷 法 是 針 對 每 一 種 情 緒 狀 態, 例 如 : 快 樂 生 氣 等 定 義 一 種 臉 部 表 情 一 般 公 認 有 六 種 基 本 的 情 緒 表 情, 如 圖 2.4 圖 中 1 ~6 所 代 表 的 情 緒 依 序 是 憎 惡 恐 懼 高 興 詫 異 哀 傷 以 及 生 氣 訊 號 判 斷 法 則 是 將 臉 部 表 情 最 細 微 的 變 化 分 成 許 多 活 動 單 元 (Action units: AUs), 每 一 個 活 動 單 元 代 表 著 臉 部 每 一 個 細 微 的 動 作, 例 如 : 外 眼 角 上 升 或 下 降 而 受 測 者 的 不 同 表 情 則 是 由 多 個 不 同 的 活 動 單 元 組 合 而 成 例 如 圖 2.5 中 AU1 代 表 內 眼 角 位 置 上 升,AU2 代 表 外 眼 角 位 置 上 升,AU4 則 代 表 左 右 內 眼 角 之 間 距 離 拉 近 且 一 起 下 降 同 一 張 圖 的 右 邊 三 個 表 情 皆 由 左 邊 三 個 基 本 活 動 單 元 組 合 而 成, 而 這 些 由 多 個 活 動 單 元 組 合 起 來 的 表 情 特 徵 則 可 經 由 統 計 對 應 至 不 同 情 緒 例 如 :AU 1+4 的 特 徵 最 常 出 現 在 哀 傷 的 情 緒 狀 態 內 利 用 人 外 顯 的 行 為 判 斷 人 的 情 緒 有 個 缺 點, 就 是 容 易 受 到 個 體 差 異 影 響, 而 個 體 差 異 又 受 到 受 測 者 的 國 情 及 文 化 風 俗 所 影 響 例 如 : 在 日 本 文 化 要 求 女 性 要 笑 得 時 候 得 含 蓄, 那 開 懷 大 笑 所 對 應 之 強 烈 正 向 情 緒 就 可 能 會 表 現 不 出 來 另 外, 有 一 種 現 象 被 稱 作 masking smiles, 意 指 負 面 情 緒 往 往 會 隱 藏 在 正 面 的 表 情 下, 例 如 : 小 孩 自 小 被 教 育 不 能 隨 便 將 怒 氣 展 現, 這 些 往 往 會 影 響 此 法 判 斷 情 緒 的 準 確 率 所 以 研 究 情 緒 的 工 作 者 得 另 闢 一 條 管 道, 一 條 可 以 避 免 受 測 者 主 觀 意 識 影 響 分 析 結 果 的 管 道, 也 就 是 下 一 節 的 生 理 訊 號 8

圖 2.5 臉 部 情 緒 訊 號 圖 此 圖 右 側 由 臉 部 辨 識 情 緒 時, 眼 角 的 細 微 變 化 2.2.3 生 理 訊 號 除 了 利 用 受 測 者 明 顯 的 外 在 行 為 作 為 判 斷 情 緒 的 策 略 之 外, 另 一 種 方 法 則 是 在 給 予 受 測 者 情 緒 性 刺 激 的 同 時 探 測 受 測 者 的 各 項 生 理 反 應 這 些 生 理 訊 號 包 含 膚 電 反 應 潛 意 識 的 自 主 神 經 系 統 變 化 眨 眼 眼 動 瞳 孔 大 小 心 跳 血 壓 指 溫 及 呼 吸 變 化 上 述 生 理 變 化 以 膚 電 反 應 心 跳 指 溫 及 呼 吸 等 幾 種 生 理 反 應 最 常 被 用 作 判 斷 受 測 者 情 緒 的 指 標 早 期 這 方 面 研 究 都 是 針 對 如 生 氣 恐 懼 驚 訝 等 特 定 情 緒 分 析 生 理 反 應, 利 用 分 析 的 結 果 預 測 受 測 者 的 情 緒 狀 態, 如 Kim [7] Nasoz[9] 以 及 Vyzas[14] 因 為 從 Nasoz 的 成 果 中, 我 們 可 以 看 到 針 對 特 定 情 緒 狀 態 的 偵 測 已 經 有 不 錯 的 成 果, 恐 懼 (90%) 哀 傷 (87.5%) 及 生 氣 (78.58%) 然 而 在 偵 測 其 他 情 緒 的 準 確 度 就 不 理 想, 而 且 非 特 定 的 情 緒 狀 態 也 沒 有 探 討 到 不 同 於 前 面 針 對 特 定 情 緒 作 研 究,Jones and Troen[6] 是 在 維 度 模 式 下, 將 情 緒 區 分 成 25 種 狀 態, 這 些 狀 態 其 實 是 維 度 模 式 表 示 法 的 二 維 平 面 上 的 25 個 區 域 這 25 個 區 域 的 判 斷 方 式 是 將 Valence 及 Arousal 皆 分 成 五 段 區 域, 然 後 以 9

Valence-Arousal 的 方 式 交 互 搭 配 而 成, 例 如 : 狀 態 A 代 表 Valence 第 一 段 區 域 跟 Arousal 第 一 段 區 域 交 集 的 區 域 這 項 研 究 採 用 的 生 理 訊 號 是 血 壓 (BVP) 膚 電 反 應 (SC) 呼 吸 (RESP), 從 BVP 中 可 以 計 算 出 心 跳 頻 率,SC 方 面 則 是 紀 錄 皮 膚 對 於 電 傳 導 值 的 上 升 或 下 降 的 比 率,RESP 方 面 則 是 紀 錄 呼 吸 頻 率 以 這 些 訊 號 來 呈 現 情 緒 的 原 因 在 於 先 前 的 研 究 成 果 中, 這 些 生 理 反 應 跟 情 緒 的 變 化 比 較 有 關 聯, 例 如 :Arousal 值 上 升 的 時 候 呼 吸 頻 率 會 變 高,Valence 值 降 低 時 呼 吸 會 變 得 不 規 律, 則 呼 吸 頻 率 就 不 會 固 定 然 而, 研 究 成 果 卻 不 甚 理 想, 在 將 Valence 的 由 負 性 到 正 性 分 成 五 類 的 情 形 下, 系 統 預 測 的 情 緒 狀 態 對 照 受 測 者 回 報 的 狀 態, 在 Valence 方 面, 完 全 答 對 的 準 確 率 (30%) 把 限 制 放 寬 到 預 測 狀 態 與 實 際 狀 態 相 鄰 類 別 當 作 預 測 準 確 的 情 況 下, 準 確 率 則 有 (62%) 雖 然 成 果 不 理 想, 但 是 跳 脫 出 針 對 特 定 情 緒 的 分 析, 並 且 嘗 試 找 出 多 種 生 理 訊 息 與 情 緒 中 二 維 向 量 的 關 連 性, 也 提 供 我 們 另 一 種 角 度 切 入 偵 測 情 緒 這 項 領 域 另 一 種 被 拿 來 探 討 情 緒 的 人 體 指 標, 則 是 眼 睛 呈 現 的 行 為 這 方 面 研 究 也 分 成 眼 睛 相 關 的 生 理 變 化 以 及 眼 動 行 為 兩 個 方 向, 生 理 方 面 有 不 同 情 緒 音 樂 刺 激 下 的 瞳 孔 大 小 的 變 化 量 Partala[12], 行 為 方 面 則 是 看 情 緒 性 圖 片 時 的 眼 動 策 略 Nummenmaai [10][11] Partala 的 研 究 中, 受 測 者 接 受 到 情 緒 性 音 樂 之 後, 瞳 孔 擴 張 的 程 度 大 於 受 測 者 處 於 中 性 音 樂 刺 激 下 的 瞳 孔 擴 張 程 度 這 項 研 究 不 但 推 翻 以 往 研 究 成 果 中, 情 緒 維 度 Valence 的 值 偏 低 時 (unpleasant) 瞳 孔 會 收 縮 而 偏 高 時 (pleasant) 瞳 孔 會 放 大 的 現 象 此 研 究 對 瞳 孔 大 小 的 變 化 程 度 與 是 否 受 到 情 緒 刺 激 的 關 連 性 採 取 ANOVA 檢 驗, 結 果 呈 現 出 瞳 孔 大 小 變 化 量 與 情 緒 刺 激 的 關 連 性 具 有 顯 著 性, 因 此 提 供 一 個 判 斷 出 受 測 者 是 否 處 在 情 緒 性 ( 愉 快 或 不 愉 快 ) 刺 激 之 下 的 方 法 然 而 它 的 研 究 無 法 檢 驗 受 測 者 受 到 正 向 ( 愉 快 ) 情 緒 或 負 向 ( 不 愉 快 ) 情 緒 刺 激 雨 瞳 孔 變 化 之 間 相 關 系 數 的 顯 著 性 10

而 Nummenmaai[11] 針 對 情 緒 性 刺 激 下 的 眼 睛 移 動 策 略 所 做 的 研 究 指 出, 無 論 是 否 給 予 受 測 者 特 殊 指 導, 例 如 : 一 次 呈 現 給 受 測 者 兩 張 圖 片, 此 二 圖 分 別 為 情 緒 性 圖 片 及 中 性 圖 片, 然 後 主 試 者 要 求 受 測 者 專 心 凝 視 非 情 緒 性 圖 片 如 圖 2.6, 受 測 者 在 接 受 指 導 之 後 儀 器 記 錄 的 眼 動 軌 跡, 軌 跡 顯 示 出 第 一 個 凝 視 點 出 現 在 情 緒 圖 片 上 的 機 率 仍 然 較 出 現 在 中 性 圖 片 上 的 機 率 高, 顯 示 情 緒 性 圖 片 會 吸 引 受 測 者 的 注 意 力 圖 2.6 中, 右 邊 的 圖 表 目 的 在 於 確 認 受 測 者 是 否 確 實 遵 循 主 試 者 的 指 示, 確 時 在 圖 右 的 白 色 長 條 ( 要 求 受 測 者 視 線 偏 重 中 性 圖 片 之 數 據 ) 呈 現, 受 測 者 凝 視 在 中 性 圖 片 上 的 時 間 為 966 毫 秒, 遠 大 於 情 緒 性 圖 片 上 的 凝 視 時 間 (Unpleasant:376 毫 秒 Pleasant:372 毫 秒 ) 從 以 上 文 獻 中, 我 們 了 解 到 情 緒 刺 激 下 有 可 能 產 生 對 應 的 生 理 反 應 以 及 行 為, 尤 其 像 眼 睛 如 此 細 微 的 變 化 也 能 在 某 種 程 度 上 呈 現 情 緒 性 刺 激 的 反 應 所 以 本 研 究 想 要 從 分 析 眼 睛 反 應 的 角 度 切 入, 利 用 眼 睛 在 情 緒 刺 激 下 的 反 應 建 立 情 緒 模 型, 期 待 情 緒 模 型 在 偵 測 受 試 者 達 到 某 種 程 度 的 效 果 圖 2.6 受 測 者 凝 視 傾 向 圖, 左 邊 的 數 據 表 示 受 測 者 容 被 情 緒 性 圖 片 吸 引 注 視 線 右 邊 的 數 據 表 示 受 測 者 有 遵 從 主 試 者 下 達 注 意 看 中 性 圖 片 的 指 令, 11