國立高雄大學數位論文典藏

Transcription

1 國 立 高 雄 大 學 資 訊 管 理 學 系 ( 研 究 所 ) 碩 士 論 文 應 用 模 糊 增 強 式 學 習 技 術 於 數 位 遊 戲 之 研 究 Applying Fuzzy Reinforcement Learning in Digital Games 研 究 生 : 方 永 平 撰 指 導 教 授 : 丁 一 賢 博 士 中 華 民 國 99年 7月

2 誌 謝 碩 士 班 兩 年 的 時 間 過 得 很 快, 在 這 兩 年 間 我 學 到 很 多 事 情, 也 失 去 很 多 東 西, 我 覺 得 這 兩 年 是 我 人 生 轉 變 最 大 的 時 期, 面 臨 了 許 多 困 擾 自 己 的 問 題, 也 因 此 改 變 我 面 對 事 情 的 態 度, 並 且 在 這 段 時 間 找 到 了 我 的 人 生 目 標 與 努 力 的 方 向 在 這 段 時 間 中, 最 想 感 謝 的 是 我 的 指 導 教 授 丁 一 賢 老 師, 從 我 一 開 始 完 全 不 知 道 要 做 什 麼, 慢 慢 的 引 導 我 找 到 研 究 的 方 向, 最 終 寫 出 論 文, 過 程 中 我 有 許 多 時 候 都 想 要 放 棄, 但 是 老 師 總 是 及 時 的 拉 我 一 把, 讓 我 可 以 完 成 我 的 學 業, 在 此 我 想 由 衷 的 感 謝 老 師, 謝 謝 您 此 外 我 也 要 感 謝 所 有 幫 助 過 我 的 同 學 學 長 姐 學 弟 妹 以 及 朋 友 們 阿 晟 科 科 瑋 哥 譬 司 哥 大 卜 大 蘇 兄, 我 很 開 心 可 以 在 求 學 的 過 程 認 識 你 們, 當 我 有 什 麼 困 難 時 你 們 都 不 吝 給 予 幫 助, 希 望 在 往 後 的 人 生 路 途 中, 我 們 還 可 以 互 相 扶 持 努 力 也 特 別 感 謝 綠 茶 與 阿 珊, 在 我 口 試 當 天 忙 得 不 可 開 交 時 伸 出 援 手, 讓 口 試 可 以 順 利 進 行, 謝 謝 你 們 而 最 感 謝 的 朋 友 則 是 我 的 戰 友 們, 小 狗 小 朱 書 賓 子 勛 思 齊 肥 與 J-Pow 的 各 位, 在 我 人 生 最 痛 苦 難 熬 的 階 段, 有 你 們 的 嘴 砲 與 陪 伴, 讓 我 每 天 都 過 得 很 開 心, 也 才 能 專 心 的 面 對 許 多 生 活 上 的 問 題, 也 許 大 家 都 因 為 工 作 而 慢 慢 疏 遠, 但 我 知 道 這 份 友 誼 是 不 會 因 此 被 忽 略 的, 你 們 永 遠 是 我 最 重 要 的 朋 友 最 後 則 是 要 感 謝 我 的 家 人, 父 母 親 與 哥 哥, 雖 然 每 次 事 情 很 多 而 讓 我 心 情 不 好 時, 對 你 們 的 態 度 都 很 不 好, 但 是 你 們 還 是 包 容 我, 為 我 打 理 一 切, 給 予 我 家 庭 的 溫 暖, 鼓 勵 支 持 我 讓 我 可 以 無 後 顧 之 憂 的 完 成 學 業, 這 份 親 情 是 我 可 以 勇 敢 面 對 人 生 的 最 大 原 因 最 後 再 次 感 謝 所 有 老 師 朋 友 與 家 人, 沒 有 你 們 的 幫 忙, 我 無 法 完 成 學 業 與 這 篇 論 文, 謝 謝! 方 永 平 僅 誌 於 國 立 高 雄 大 學 資 訊 管 理 學 系 中 華 民 國 九 十 九 年 七 月 I

3 摘 要 遊 戲 是 人 類 生 活 上 不 可 或 缺 的 一 項 活 動, 近 年 來 科 技 的 蓬 勃 發 展 也 帶 起 了 數 位 遊 戲 產 業 的 龐 大 市 場, 數 位 遊 戲 會 吸 引 人 的 原 因 除 了 其 聲 光 效 果 之 外, 遊 戲 中 玩 家 與 非 玩 家 角 色 的 互 動 也 是 一 個 非 常 重 要 的 因 素, 為 遊 戲 中 的 非 玩 家 角 色 加 入 人 工 智 慧 技 術 可 以 讓 這 些 非 玩 家 角 色 具 有 人 類 的 思 考 能 力, 也 因 此 可 以 讓 遊 戲 與 玩 家 的 互 動 性 更 佳 數 位 遊 戲 中 的 環 境 是 不 斷 在 改 變 的, 因 此 要 為 非 玩 家 角 色 加 入 人 工 智 慧 通 常 會 是 一 個 具 有 挑 戰 性 的 問 題 在 本 研 究 中 要 將 增 強 式 學 習 技 術 應 用 在 數 位 遊 戲 的 非 玩 家 角 色 中, 增 強 式 學 習 技 術 是 一 種 非 監 督 式 的 學 習 方 式, 通 常 用 於 機 械 的 自 動 化 學 習 過 程 中, 增 強 式 學 習 技 術 是 一 個 不 斷 的 試 誤 的 學 習 過 程, 並 且 代 理 人 會 藉 由 去 探 索 新 環 境 來 改 變 其 行 為, 是 一 種 適 用 於 未 知 環 境 下 的 學 習 方 法 要 將 增 強 式 學 習 技 術 應 用 在 數 位 遊 戲 的 非 玩 家 角 色 中, 其 中 最 大 的 困 難 就 在 於 增 強 式 學 習 必 須 要 經 過 一 段 很 久 的 時 間 去 試 誤 學 習, 因 此 本 研 究 利 用 模 糊 理 論 去 改 善 傳 統 增 強 式 學 習 的 效 率, 在 實 驗 的 過 程 中, 成 功 的 用 模 糊 獎 懲 取 代 固 定 獎 懲, 讓 學 習 的 速 度 加 快, 從 實 驗 結 果 中 也 可 以 看 出 獎 懲 機 制 對 於 增 強 式 學 習 結 果 的 好 壞 有 很 大 的 影 響, 不 同 類 型 的 遊 戲 會 需 要 不 同 的 獎 懲 設 定, 找 到 適 合 的 獎 懲 機 制 就 能 讓 數 位 遊 戲 實 際 應 用 的 可 能 性 提 高 關 鍵 字 : 數 位 遊 戲 遊 戲 人 工 智 慧 增 強 式 學 習 模 糊 理 論 II

4 Abstract Game is one of the indispensable activities for humanity lives. In recent years, the development of technology also brought huge market to game industry. One of the appealing reasons in game is that the player can interact with the non-player-characters in game. Artificial intelligence is very important for these non-player-characters due to Artificial intelligence can let non-player-characters have more interactions with players. The environment in digital games is changing continuously, so it is a challenge to add artificial intelligence in non-player-characters. In this research, we would like to use reinforcement learning in non-player-characters artificial intelligence. Reinforcement learning is a un-supervise learning method, and it is usually used in automatic machine learning process. Reinforcement learning is a trial-and-error process, and the agent will change his actions by exploring the new environment. The most difficult to apply Reinforcement learning in digital games is that the method requires a long learning time. In this research, we use fuzzy theory to increase the learning efficiency. The results of this research experiment also prove the improvement of learning efficiency through using fuzzy reward to replace fixed reward. Different types of game need different settings of reward. In practice, the probability to apply reinforcement learning in digital games can be enhanced once the suitable reward mechanism has been found out. key word:digital games artificial intelligence for games reinforcement learning fuzzy theory III

5 論 文 目 錄 第 1 章 緒 論 背 景 動 機 與 目 的 研 究 假 設 研 究 流 程 與 論 文 架 構... 8 第 2 章 文 獻 探 討 數 位 遊 戲 遊 戲 人 工 智 慧 增 強 式 學 習 本 章 小 結 第 3 章 模 糊 增 強 式 學 習 傳 統 增 強 式 學 習 的 缺 點 應 用 模 糊 理 論 於 增 強 式 學 習 之 中 模 糊 增 強 式 學 習 之 運 算 第 4 章 實 驗 設 計 與 實 驗 結 果 實 驗 設 計 實 驗 環 境 與 遊 戲 設 計 前 導 實 驗 實 驗 結 果 遊 戲 呈 現 與 遊 戲 結 果 如 何 實 際 應 用 模 糊 增 強 式 學 習 本 章 小 結 第 5 章 結 論 摘 要 結 論 研 究 限 制 與 未 來 研 究 IV

6 圖 目 錄 圖 一 全 球 遊 戲 市 場 產 值 圖...2 圖 二 增 強 式 學 習 示 意 圖...5 圖 三 坦 克 大 戰 遊 戲 畫 面 圖...6 圖 四 研 究 流 程 圖...9 圖 五 增 強 式 學 習 示 意 圖...15 圖 六 黑 與 白 遊 戲 畫 面...18 圖 七 實 驗 架 構 圖...25 圖 八 遊 戲 概 念 圖...27 圖 九 前 導 實 驗 圖...28 圖 十 增 強 式 學 習 失 敗 圖...31 圖 十 一 三 角 隸 屬 函 數 圖...32 圖 十 二 前 導 實 驗 結 果 圖...33 圖 十 三 高 斯 隸 屬 函 數 圖...35 圖 十 四 模 糊 隸 屬 函 數 圖 (s 不 同 )...36 圖 十 五 模 糊 隸 屬 函 數 圖 (m 不 同 )...37 圖 十 六 模 糊 函 數 實 驗 結 果 圖...38 圖 十 七 遊 戲 編 輯 器...40 圖 十 八 戰 網 示 意 圖...41 圖 十 九 遊 戲 畫 面 圖...42 圖 二 十 遊 戲 進 行 流 程 圖...43 圖 二 十 一 實 驗 環 境 改 變 坦 克 學 習 圖...50 V

7 表 目 錄 表 一 遊 戲 分 類 表...2 表 二 國 內 遊 戲 相 關 議 題 一 覽 表...11 表 三 遊 戲 人 工 智 慧 方 法 比 較...14 表 四 獎 懲 函 數...24 表 五 模 糊 獎 懲 函 數...24 表 六 坦 克 移 動 策 略 表...29 表 七 獎 懲 函 數...30 表 八 失 敗 的 獎 懲 函 數...30 表 九 危 險 變 數 例 子...32 表 十 模 糊 獎 懲 函 數...33 表 十 一 實 驗 結 果 數 據...34 表 十 二 成 功 次 數 表...34 表 十 三 實 驗 結 果 表...51 VI

8 1.1 背 景 第 1 章 緒 論 遊 戲 是 人 類 社 會 中 深 受 喜 愛 的 一 種 活 動, 自 古 以 來 人 類 一 直 將 遊 戲 視 為 一 項 重 要 娛 樂 項 目, 蔡 淑 苓 (2004) 在 遊 戲 理 論 與 應 用 : 以 幼 兒 遊 戲 與 幼 兒 教 師 教 學 為 例 一 書 中 提 到, 遊 戲 是 非 常 古 老 且 普 遍 的 人 類 活 動 行 為, 並 且 受 到 中 今 中 外 的 哲 學 家 與 教 育 學 家 所 重 視, 不 論 是 幼 兒 時 期 或 是 學 生 時 期, 遊 戲 都 扮 演 著 成 人 活 動 的 一 種 練 習 準 備, 在 遊 戲 中 學 習 成 長 讓 人 格 更 具 完 善 長 久 發 展 以 來, 遊 戲 不 再 是 只 有 幼 年 時 期 所 需 求, 有 更 多 各 種 不 同 的 類 型 的 遊 戲 來 滿 足 不 同 年 齡 層 的 需 求, 如 團 康 遊 戲 桌 上 型 紙 牌 遊 戲 數 位 遊 戲 等 等 總 而 言 之, 不 論 是 什 麼 類 型 的 遊 戲, 都 是 一 種 吸 引 人 且 重 要 的 人 類 行 為 表 現 遊 戲 吸 引 人 的 原 因 有 很 多, 其 中 有 學 者 認 為 是 因 為 遊 戲 可 以 達 到 放 鬆 與 休 閒 的 原 因 (Epstein,1999), 另 外 有 一 個 很 大 的 原 因 是 因 為 透 過 遊 戲 可 以 與 人 互 動 交 流 競 賽, 藉 由 遊 戲 的 過 程 與 同 好 交 流 溝 通, 達 到 舒 解 壓 力 與 取 得 娛 樂 感 由 遊 戲 的 本 質 來 看, 遊 戲 的 過 程 代 表 著 一 種 邏 輯 思 考 的 過 程, 通 常 可 以 將 遊 戲 求 勝 的 過 程 公 式 化 成 難 解 的 數 學 邏 輯 問 題, 因 此 如 果 解 開 遊 戲 中 的 各 種 問 題, 就 代 表 著 解 開 了 一 些 數 學 邏 輯 上 的 問 題, 也 因 此 越 來 越 多 的 許 多 學 者 在 研 究 遊 戲 相 關 的 議 題 近 年 來 由 於 科 技 的 蓬 勃 發 展, 數 位 遊 戲 (digital games) 也 成 為 人 類 生 活 中 一 個 很 重 要 的 娛 樂 項 目, 數 位 遊 戲 以 遊 戲 平 台 來 分 的 話, 大 致 可 以 分 成 電 視 遊 戲 (TV game) 電 腦 遊 戲 (PC game) 手 機 遊 戲 (Mobile game) 等 三 種, 若 以 遊 戲 型 態 來 分, 則 可 以 分 成 單 機 或 線 上 兩 種 遊 戲 型 態 目 前 而 言, 以 線 上 遊 戲 為 大 宗 根 據 資 策 會 資 訊 市 場 情 報 中 心 ( MIC ) 預 估 (2008), 台 灣 線 上 遊 戲 市 場 規 模 在 2008 年 將 超 過 新 台 幣 100 億 元, 且 每 年 仍 將 維 持 8 至 9% 的 成 長 率, 且 預 估 在 2010 年 時 規 模 將 可 達 到 120 億 元 左 右 就 全 球 市 場 而 言, 台 灣 經 濟 研 究 院 產 經 資 料 庫 研 究 (2008年 12 月 ) 指 出 ( 圖 一 ), 全 球 的 線 上 遊 戲 產 值 高 達 億 美 金, 並 逐 年 上 升 中, 又 以 中 國 地 區 成 長 最 大 行 政 院 (2009) 也 視 數 位 內 容 產 業 為 文 化 產 業 中 的 一 塊 重 要 拼 圖, 為 近 年 來 非 常 重 視 的 一 個 產 業 方 1

9 圖 一 全 球 遊 戲 市 場 產 值 圖 ( 資 料 來 源 : 台 灣 經 濟 研 究 院 產 經 資 料 庫, 2008年 12 月 ) 數 位 遊 戲 可 以 除 了 帶 來 許 多 感 官 的 刺 激, 也 讓 遊 戲 更 具 多 樣 性, 每 一 種 不 同 的 遊 戲 類 型 都 有 不 同 的 玩 家 所 喜 好, 遊 戲 公 司 為 了 迎 合 玩 家 的 胃 口, 同 時 也 創 造 出 許 多 不 同 的 數 位 遊 戲 類 型 若 要 以 遊 戲 內 容 來 做 分 類 的 話,Aha等 學 者 在 2005年 將 數 位 遊 戲 簡 單 的 分 類 為 冒 險 遊 戲 (adventure) 即 時 戰 略 遊 戲 (real-time strategy) 團 隊 運 動 遊 戲 (team sports) 等 七 種 類 型, 如 表 一 所 示 表 一 遊 戲 分 類 表 ( 資 料 來 源 :Aha,2005) 類 別 代 表 遊 戲 描 述 桌 上 型 西 洋 棋 象 棋 五 子 棋 等 棋 類 或 牌 類 通 常 為 n*n的 地 圖 冒 險 猴 島 小 英 雄 解 題 類 型 團 隊 運 動 足 球 遊 戲 籃 球 遊 戲 等 即 時 或 多 人 合 作 經 營 模 擬 城 市 城 市 或 團 隊 管 理 角 色 扮 演 太 空 侵 略 者 即 時 單 人 角 色 回 合 式 文 明 帝 國 回 合 基 礎 遊 戲 即 時 戰 略 魔 獸 爭 霸 即 時 經 營 2

10 數 位 遊 戲 吸 引 人 的 因 素 除 了 聲 光 效 果 之 外, 最 主 要 的 原 因 還 是 玩 家 可 以 在 遊 戲 互 動 中 得 到 娛 樂 的 效 果, 通 常 稱 這 些 在 遊 戲 中 與 玩 家 互 動 的 非 玩 家 角 色 為 NPCs(non-player characters), NPCs可 以 是 玩 家 的 敵 人 或 朋 友, 但 是 不 管 如 何, 要 是 這 些 NPCs 反 應 不 合 理, 或 是 單 調 無 趣, 玩 家 因 此 失 去 耐 心, 玩 過 一 兩 次 之 後 就 不 會 有 新 鮮 感, 甚 至 會 成 為 一 個 公 式 化 的 行 為, 也 就 會 讓 遊 戲 失 去 遊 戲 性, 如 早 期 任 天 堂 公 司 於 1985 年 發 行 的 著 名 的 遊 戲 瑪 俐 歐 ( 日 文 :マリオ; 英 文 : Mario; 或 中 文 譯 : 馬 力 歐 瑪 莉 瑪 俐 歐 等 等 ), 遊 戲 中 的 怪 物 (NPCs) 行 動 模 式 是 不 變 的, 當 玩 家 玩 過 多 次 以 後 就 會 知 道 要 如 何 閃 避 敵 人, 久 而 久 之 就 會 開 始 覺 得 厭 倦, 進 而 對 這 款 遊 戲 不 感 興 趣 許 多 研 究 因 此 就 會 想 為 這 些 NPCs 建 置 人 工 智 慧, 讓 NPCs具 備 自 行 思 考 的 能 力, 也 就 是 說 讓 NPCs會 根 據 玩 家 的 行 為 做 出 一 些 合 理 的 反 應, 當 玩 家 與 NPCs產 生 互 動 時, NPCs就 會 有 更 人 性 化 的 表 現, 增 加 遊 戲 的 樂 趣 與 耐 玩 性 早 期 的 遊 戲 人 工 智 慧 研 究 大 部 份 致 力 於 桌 上 型 遊 戲 (board game) 上, 例 如 研 發 可 以 與 玩 家 對 戰 的 西 洋 棋 或 象 棋 的 NPCs 等, 這 樣 的 人 工 智 慧 發 展 的 結 果 是 為 了 挑 戰 人 類, 如 IBM 的 深 藍 (Deep Blue), 可 以 打 敗 世 界 西 洋 棋 的 冠 軍, 因 此 追 求 的 是 可 以 和 玩 家 有 同 等 級 的 思 考 能 力, 追 求 的 是 一 種 且 完 美 不 會 失 敗 的 人 工 智 慧 (Ghory,2004) 但 在 目 前 數 位 遊 戲 中 的 人 工 智 慧 大 部 份 尋 求 的 並 非 永 遠 無 法 擊 敗 的 人 工 智 慧, 而 是 想 讓 NPCs 具 有 人 類 思 考 模 式 的 行 為 (Livingstone,2004), 因 此 玩 家 才 可 以 與 其 互 動, 從 中 得 到 樂 趣, 如 果 一 個 無 法 擊 敗 的 NPCs 反 而 會 讓 玩 家 失 去 信 心, 使 玩 家 覺 得 遊 戲 太 過 困 難 且 不 有 趣, 數 位 遊 戲 需 要 的 是 有 能 夠 適 應 環 境, 能 與 玩 家 之 互 動 的 人 工 智 慧, 因 此 本 研 究 想 要 建 置 在 NPCs 上 的 人 工 智 慧 是 一 種 可 以 依 據 目 前 狀 態 而 改 變 的 學 習 模 式, 玩 家 在 遊 戲 中 改 變 不 同 的 玩 法 時,NPCs 也 會 做 出 相 對 應 的 對 策 3

11 數 位 遊 戲 的 人 工 智 慧 都 在 早 期 都 是 以 規 則 基 礎 (rule-based) 的 方 式 來 建 置 (Bourg, 2004), 例 如 以 第 一 人 稱 射 擊 遊 戲 來 做 例 子, 當 玩 家 走 到 NPCs一 定 範 圍 時, NPCs 就 會 開 槍 反 擊, 像 這 樣 一 條 一 條 的 規 則 去 定 下 所 有 NPCs會 做 出 的 行 為, 因 此 要 寫 出 一 個 非 常 人 性 化 的 NPCs 人 工 智 慧, 可 能 需 要 上 萬 行 的 程 式 碼, 在 某 些 情 況 下, 玩 家 可 能 會 覺 得 NPCs 的 行 為 是 不 合 理 的 (Spronck 等 人,2006), 這 樣 的 人 工 智 慧 也 就 被 稱 為 弱 的 人 工 智 慧 (weak AI) 強 的 遊 戲 人 工 智 慧 (strong AI) 如 基 因 演 算 法 或 類 神 經 網 路 等 (Buckland,2005), 可 以 讓 NPCs做 出 更 多 合 理 化 的 行 為, 但 是 大 部 份 這 類 型 的 方 法 都 需 要 在 環 境 已 經 給 定 的 基 礎 之 下, 並 無 法 在 一 個 未 知 的 環 境 下 使 用, 但 是 遊 戲 的 環 境 卻 常 常 在 改 變, 對 NPCs 來 說, 玩 家 不 同 的 行 為 讓 遊 戲 環 境 變 得 不 可 預 測, 如 果 要 讓 NPCs 能 夠 隨 環 境 改 變 而 跟 著 做 出 反 應, 需 要 能 夠 在 未 知 環 境 下 運 行 的 演 算 法, 因 此 在 眾 多 的 人 工 智 慧 技 術 中, 增 強 式 學 習 可 說 是 最 適 合 NPCs 的 一 種 (Szita,2007) 增 強 式 學 習 (reinforcement learning) 為 一 種 非 監 督 式 學 習 (unsupervised learning), 所 謂 的 非 監 督 式 學 習 是 一 種 機 器 學 習 方 式, 非 監 督 式 學 習 法 則 的 特 色 是 在 訓 練 過 程 只 需 提 供 輸 入 資 料, 而 期 望 的 輸 出 理 想 值 卻 不 需 要 設 定, 代 理 人 會 自 去 學 習 調 整 (Sutton and Barto 1998) 增 強 式 學 習 通 常 用 在 未 知 的 環 境 之 下, 利 用 試 誤 (trial-and-error) 與 延 遲 獎 懲 (delay reward) 的 機 制, 不 斷 的 去 探 索 環 境 來 找 到 最 佳 解, 其 學 習 的 流 程 如 圖 二, 增 強 式 學 習 通 常 包 含 兩 個 角 色, 環 境 (environment) 代 表 需 要 解 決 問 題 的 所 有 外 在 因 子, 而 代 理 人 (agent) 則 負 責 與 環 境 互 動 學 習, 代 理 人 所 做 出 的 行 動 (action) 會 改 變 整 體 環 境 的 狀 態 (state), 在 不 同 的 狀 態 下 代 理 人 會 依 照 獎 懲 (reward) 去 做 出 應 對 的 行 動, 在 多 次 學 習 過 程 中 學 習 到 最 佳 策 略 的 方 法 (Sutton and Barto,1998) 4

12 圖 二 中 的 t 代 表 時 間,st 代 表 目 前 時 間 點 的 狀 態,st+1 代 表 下 一 時 間 點 的 狀 態, rt 代 表 目 前 時 間 點 的 獎 懲 值,rt+1 代 表 下 一 時 間 點 的 獎 懲 值, 本 示 意 圖 將 會 在 本 論 文 的 2.3 節 之 中 詳 細 介 紹 通 常 將 增 強 式 學 習 公 式 化 成 馬 可 決 策 過 程 (Markov decision process ) 問 題 增 強 式 學 習 的 精 神 為 如 同 人 類 小 時 候 試 誤 學 習 時 的 過 程, 利 用 過 去 的 經 驗 來 做 判 斷, 進 而 達 到 學 習 的 效 果 圖 二 增 強 式 學 習 示 意 圖 t: 時 間 當 遊 戲 中 NPCs加 入 增 強 式 學 習 的 人 工 智 慧 技 術 後, 就 可 藉 由 一 次 又 一 次 與 玩 家 互 動 經 驗 中, 瞭 解 玩 家 的 習 性, 藉 此 學 習 到 如 何 反 應 玩 家 的 行 為, 增 強 式 學 習 同 時 是 一 種 漸 進 式 的 學 習, 不 會 讓 遊 戲 初 始 的 難 度 太 高, 玩 家 也 不 會 感 到 太 大 壓 力, 進 而 提 高 遊 戲 的 吸 引 力 5

13 1.2 動 機 與 目 的 由 前 一 節 的 研 究 背 景 中 提 到, 數 位 遊 戲 中 NPCs 的 人 工 智 慧 是 遊 戲 非 常 重 要 的 一 環, 有 好 的 人 工 智 慧 技 術 就 可 以 讓 遊 戲 與 玩 家 更 具 互 動 性, 本 研 究 期 待 將 增 強 式 學 習 技 術 加 入 數 位 遊 戲 的 人 工 智 慧 中, 讓 NPCs 可 以 藉 由 經 驗 來 學 習, 並 做 出 應 對 的 行 動 NPCs的 行 動 路 線 在 遊 戲 中 是 一 個 很 重 要 的 因 素, 在 許 多 類 型 的 遊 戲 中, NPCs都 必 須 要 藉 由 移 動 路 徑 來 跟 玩 家 互 動, 如 : 戰 略 型 遊 戲, 不 論 是 回 合 制 或 是 即 時 制, NPCs 都 要 藉 由 接 近 或 遠 離 玩 家 來 達 成 他 的 目 標 ( 攻 擊 或 逃 跑 ); 第 一 人 稱 射 擊 遊 戲 中, NPCs 也 要 有 避 開 玩 家 攻 擊 與 利 用 阻 礙 物 的 能 力, 藉 由 不 同 的 路 線 移 動 來 達 到 他 的 目 標 ; 角 色 扮 演 類 型 遊 戲 的 NPCs 如 果 只 會 在 地 圖 上 隨 機 亂 走, 玩 家 也 會 因 此 感 到 無 趣 能 夠 讓 NPCs 有 聰 明 的 行 動 路 線, 對 於 遊 戲 來 說 是 一 個 非 常 重 要 因 素, 並 且 可 以 應 用 到 許 多 類 型 的 遊 戲 上 本 研 究 將 以 坦 克 類 型 遊 戲 來 做 實 驗, 坦 克 類 型 遊 戲 是 一 個 傳 統 的 射 擊 遊 戲 類 型, 最 早 為 發 表 於 1985 年 任 天 堂 主 機 上 的 遊 戲 ( 圖 三 ) 圖 三 坦 克 大 戰 遊 戲 畫 面 圖 ( 資 料 來 源 : 遊 戲 製 作 發 行 : 南 宮 夢, 1985) 在 遊 戲 中 玩 家 需 要 控 制 玩 家 坦 克 去 對 抗 電 腦 的 坦 克 (NPCs), 在 射 擊 類 型 遊 戲 中, 往 往 會 有 許 多 危 險 區 塊 或 路 線, 如 果 可 以 定 義 其 危 險 的 程 度, 當 連 續 多 次 走 到 特 定 的 危 險 區 塊 時 就 提 高 該 地 區 的 危 險 程 度, 讓 NPCs 快 速 的 理 解 到 該 地 區 是 非 常 危 險 的, 不 6

14 NPCs學 習 時 間, 讓 NPCs行 動 表 現 的 更 具 智 慧, 所 以 本 研 究 將 利 用 模 糊 函 數 來 表 示 危 險 程 度, 讓 NPCs 可 以 利 用 快 速 的 學 習 與 反 應, 同 時 利 用 模 糊 函 數 的 定 義, 也 可 以 控 制 NPCs 學 習 的 速 度, 讓 遊 戲 具 有 難 度 調 整 的 功 能, 讓 玩 家 依 自 己 程 度 來 調 整 或 挑 戰, 增 加 遊 戲 的 耐 玩 性 總 而 言 之, 本 研 究 的 動 機 希 望 能 夠 將 增 強 式 學 習 應 用 在 數 位 遊 戲 NPCs的 人 工 智 慧 中, 並 且 改 善 其 效 率, 具 體 而 言 本 研 究 的 目 的 為 : I. 應 用 增 強 式 學 習 技 術 於 數 位 遊 戲 的 NPCs之 中 本 研 究 將 利 用 遊 戲 編 輯 器 製 作 出 坦 克 對 戰 類 型 的 遊 戲 環 境, 並 在 遊 戲 中 加 入 增 強 式 學 習 機 制 的 NPCs, 並 探 討 其 成 效 II. 利 用 模 糊 理 論 提 昇 增 強 式 學 習 效 率 將 模 糊 邏 輯 理 論 應 用 在 改 善 增 強 式 學 習 的 效 率 上, 並 且 期 望 能 夠 利 用 模 糊 邏 輯 理 論 來 達 成 數 位 遊 戲 調 整 難 度 的 機 制 1.3 研 究 假 設 根 據 之 前 的 探 討, 本 研 究 提 出 以 下 幾 點 的 研 究 假 設 : I. 本 研 究 假 設 在 傳 統 數 位 遊 戲 中 加 入 增 強 式 學 習 技 術 可 以 讓 遊 戲 中 的 NPCs具 有 學 習 的 能 力, 會 依 據 玩 家 不 同 的 行 為 來 做 出 不 同 的 反 應, 並 可 適 應 遊 戲 環 境 的 改 變 進 行 調 整 II. 本 研 究 假 設 在 傳 統 的 增 強 式 學 習 技 術 中 加 入 模 糊 理 論 可 以 提 高 其 學 習 效 率 7

15 1.4 研 究 流 程 與 論 文 架 構 本 研 究 流 程 如 圖 四 本 論 文 想 要 將 增 強 式 學 習 應 用 在 遊 戲 之 中, 並 且 改 善 它 的 效 率, 因 此 研 究 的 流 程 為 : 1. 首 先 在 背 景 與 動 機 下 界 定 研 究 範 圍 2. 在 界 定 的 研 究 範 圍 中, 進 行 相 關 文 獻 的 蒐 集, 並 針 對 所 得 的 文 獻 的 探 討, 文 獻 共 分 成 遊 戲 遊 戲 人 工 智 慧 與 增 強 式 學 習 的 文 獻 三 部 份 3. 從 文 獻 探 討 中 確 定 本 研 究 目 標 4. 用 實 驗 來 印 證 研 究 假 設, 實 驗 共 分 成 兩 部 份 為 前 導 實 驗 與 遊 戲 實 驗, 實 驗 的 內 容 主 要 在 於 應 用 增 強 式 學 習 技 術 在 數 位 遊 戲, 以 及 應 用 模 糊 理 論 來 提 高 增 強 式 學 習 技 術 效 率 5. 透 過 結 果 與 討 論 來 修 改 實 驗 中 所 建 置 的 各 個 參 數, 反 覆 的 調 整 不 同 的 參 數 來 應 用 在 遊 戲 之 中, 並 找 出 最 適 合 本 研 究 的 數 值 6. 最 後 再 綜 合 所 有 實 驗 結 果 做 出 結 論, 並 探 討 本 研 究 的 實 際 應 用 在 數 位 遊 戲 上 的 可 行 性 與 策 略, 以 及 未 來 進 行 研 究 的 建 議 8

16 圖 四 研 究 流 程 圖 9

17 本 論 文 架 構 如 下, 第 一 章 緒 論 : 從 遊 戲 的 本 質 探 討 瞭 解 到 互 動 性 對 於 遊 戲 是 非 常 重 要 的, 而 人 工 智 慧 技 術 是 讓 數 位 遊 戲 增 強 互 動 性 的 一 個 方 法, 從 此 一 背 景 下 界 定 研 究 的 範 圍, 並 提 出 研 究 的 假 設, 確 定 研 究 流 程 第 二 章 文 獻 探 討 : 對 過 去 的 研 究 文 獻 做 統 整, 探 討 在 遊 戲 方 面 目 前 學 者 的 研 究 成 果, 以 及 目 前 與 遊 戲 相 關 的 人 工 智 慧 之 研 究, 與 增 強 式 學 習 方 面 的 研 究 成 果, 以 及 增 強 式 學 習 應 用 在 遊 戲 的 研 究 探 討 第 三 章 模 糊 增 強 式 學 習 : 對 於 模 糊 增 強 式 學 習 的 深 入 研 究, 包 括 傳 統 增 強 式 學 習 的 缺 點 與 解 決 方 法, 模 糊 理 論 如 何 應 用 在 增 強 式 學 習 之 中, 以 及 既 有 的 模 糊 理 論 應 用 探 討, 最 後 是 本 研 究 中 如 何 將 模 糊 理 論 實 際 應 用 第 四 章 實 驗 設 計 與 實 驗 結 果 : 為 本 研 究 實 驗 部 份, 內 容 包 括 了 整 體 遊 戲 的 設 計 概 念, 模 糊 增 強 式 學 習 如 何 應 用 在 本 論 文 的 遊 戲 之 中, 與 前 導 實 驗 所 做 出 的 參 數 值 設 定, 與 前 導 實 驗 結 果 的 探 討, 以 及 本 研 究 所 做 出 的 遊 戲 實 際 情 形, 與 應 用 增 強 式 學 習 技 術 在 此 遊 戲 的 結 果 及 討 論 第 五 章 結 論 : 結 論 與 未 來 研 究, 討 論 本 研 究 實 驗 所 呈 現 的 結 果, 並 探 討 如 何 應 用 本 研 究 之 結 果 到 實 際 的 數 位 遊 戲 之 中, 最 後 提 出 未 來 可 進 行 之 研 究 10

18 第 2 章 文 獻 探 討 本 章 將 討 論 數 位 遊 戲 遊 戲 人 工 智 慧 與 增 強 式 學 習 技 術 的 文 獻, 目 前 與 數 位 遊 戲 有 關 的 研 究 中, 大 多 數 文 獻 主 要 在 研 究 數 位 教 學 與 遊 戲 中 玩 家 行 為, 但 也 有 少 部 份 的 研 究 在 探 討 遊 戲 中 的 人 工 智 慧, 在 遊 戲 的 人 工 智 慧 方 面, 也 有 不 少 研 究 在 於 如 何 應 用 增 強 式 學 習 技 術 於 數 位 遊 戲 的 人 工 智 慧 中, 以 下 各 節 將 依 序 詳 細 討 論 2.1 數 位 遊 戲 簡 國 斌 (2010) 在 其 碩 士 論 文 中 整 理 了 國 內 碩 士 論 文 對 於 數 位 遊 戲 相 關 的 研 究 結 果 ( 表 二 ) 表 二 國 內 遊 戲 相 關 議 題 一 覽 表 ( 資 料 來 源 : 簡 國 斌 碩 士 論 文,2010) 學 年 研 究 生 學 校 系 所 論 文 名 稱 研 究 方 法 90 陳 慶 峰 南 華 大 學 資 訊 管 理 所 碩 士 論 文 從 心 流 (flow) 理 論 探 討 線 上 遊 戲 個 案 訪 談 法 文 獻 分 析 參 與 者 之 網 路 使 用 行 為 法 問 卷 調 查 法 91 林 青 嵐 靜 宜 大 學 資 訊 管 理 所 碩 士 論 文 玩 家 對 多 人 線 上 角 色 扮 演 遊 戲 產 文 獻 分 析 法 問 卷 調 查 法 品 屬 性 偏 好 之 研 究 91 張 武 成 淡 江 大 學 資 訊 管 理 所 碩 士 論 文 線 上 遊 戲 軟 體 設 計 因 素 與 使 用 者 文 獻 分 析 法 問 卷 調 查 法 滿 意 度 相 關 聯 之 研 究 93 楊 斐 羽 元 智 大 學 資 訊 傳 播 所 碩 士 論 文 將 傳 統 遊 戲 的 玩 性 因 素 導 入 電 子 焦 點 團 體 訪 談 專 家 訪 談 遊 戲 設 計 之 研 究 法 95 李 豐 良 國 立 交 通 大 學 工 業 工 程 與 管 理 所 動 作 型 電 腦 遊 戲 設 計 因 素 探 討 問 卷 調 查 法 類 神 經 網 博 士 論 文 路 基 因 演 算 法 95 李 炯 龍 國 立 臺 北 教 育 大 學 玩 家 與 遊 戲 設 集 換 式 牌 類 遊 戲 之 遊 藝 功 能 要 素 文 獻 分 析 法 專 家 訪 談 計 所 碩 士 論 文 分 析 以 魔 法 風 雲 會 為 例 96 曾 世 绮 佛 光 大 學 資 訊 教 育 所 碩 士 論 文 驗 證 遊 戲 吸 引 人 之 要 素 : 內 容 分 內 容 分 析 參 與 觀 察 法 析 魔 獸 世 界 96 蘇 榮 章 國 立 政 治 大 學 資 訊 管 理 所 碩 士 論 數 位 教 育 遊 戲 設 計 與 評 估 指 標 之 文 獻 分 析 法 問 卷 調 查 法 文 研 究 97 鄭 羽 汎 開 南 大 學 資 訊 管 理 所 碩 士 論 文 線 上 遊 戲 設 計 : 個 案 探 討 與 內 容 個 案 研 究 內 容 分 析 分 析 97 陳 亭 光 國 立 臺 灣 大 學 資 訊 管 理 所 碩 士 論 基 於 使 用 者 經 驗 之 多 準 則 評 分 遊 文 獻 分 析 法 多 穩 額 評 文 戲 推 薦 系 統 分 協 同 過 濾 97 蔣 昱 雯 國 立 臺 北 教 育 大 學 傳 播 與 科 技 所 數 位 遊 戲 學 習 教 材 評 鑑 指 標 之 研 文 獻 分 析 法 德 懷 術 碩 士 論 文 究 11

19 從 表 中 可 以 看 出, 以 往 與 遊 戲 相 關 的 研 究 大 部 份 著 重 在 於 遊 戲 的 本 質 與 數 位 教 學 為 主, 且 目 標 大 部 份 探 討 的 是 以 幼 兒 為 主, 如 遊 戲 理 論 與 應 用 : 以 幼 兒 遊 戲 與 幼 兒 教 師 教 學 為 例 ( 蔡 淑 苓,2004) 幼 兒 遊 戲 - 以 0~8 歲 幼 兒 園 實 務 為 導 向 (James E. Johnson, 2005) 幼 兒 教 育 ( 朱 敬 先,2005) 等 書, 皆 是 由 幼 兒 時 期 的 遊 戲 行 為 來 探 討 遊 戲 對 於 正 常 人 成 長 過 程 的 影 響 在 朱 敬 先 幼 兒 教 育 一 書 中 提 到, 遊 戲 理 論 又 可 以 分 成 精 力 過 剩 論 鬆 弛 論 本 能 實 踐 論 復 演 論 生 活 實 踐 論 自 我 表 現 論 學 習 論 心 理 分 析 論 等 八 種 論 點, 但 不 管 那 一 種 論 點 都 是 支 持 遊 戲 對 於 人 成 長 是 有 正 向 的 影 響, 因 此 也 就 會 有 研 究 探 討 怎 樣 的 遊 戲 會 吸 引 人 去 玩, 在 遊 戲 理 論 與 應 用 : 以 幼 兒 遊 戲 與 幼 兒 教 師 教 學 為 例 ( 蔡 淑 苓,2004) 一 書 中 提 到, 遊 戲 可 以 吸 引 人 的 原 因 不 外 乎 遊 戲 是 一 個 社 交 行 為 的 縮 影, 在 遊 戲 中 可 以 與 人 交 流 互 動, 並 從 遊 戲 中 學 習 到 如 何 應 對 近 年 來 電 腦 技 術 的 成 長 快 速, 也 帶 動 了 數 位 遊 戲 的 發 展 ( 詳 細 介 紹 請 見 第 一 章 ), 數 位 遊 戲 吸 引 人 的 地 方 不 只 是 其 聲 光 效 果 佳, 同 時 也 未 脫 離 遊 戲 的 本 質, 因 此 遊 戲 的 互 動 仍 然 是 很 重 要 的 一 個 因 素, 除 了 玩 家 與 玩 家 的 互 動 外, 玩 家 在 數 位 遊 戲 中 也 會 與 許 多 非 玩 家 角 色 NPCs 互 動, 這 些 NPCs 的 行 為 模 式 也 就 顯 的 格 外 重 要, 例 如 角 色 扮 演 遊 戲 中, 劇 情 的 發 展 就 是 一 個 非 常 重 要 的 因 素, 如 果 可 以 藉 由 玩 家 與 遊 戲 中 的 NPCs 互 動 情 形 來 決 定 不 同 的 遊 戲 內 容, 就 可 以 大 幅 的 提 高 遊 戲 的 吸 引 力, 在 這 方 面,Barber 和 Kudenko(2001) 就 做 過 自 動 劇 情 產 生 器, 在 這 篇 研 究 中, 他 們 成 功 的 創 造 一 個 自 動 劇 情 產 生 器, 讓 遊 戲 會 依 照 玩 家 不 同 的 行 為 產 生 不 同 的 劇 情, 就 可 以 讓 每 個 人 遊 戲 的 過 程 不 一 樣, 藉 此 讓 遊 戲 可 以 有 無 限 多 的 內 容, 增 強 遊 戲 的 耐 玩 性 除 了 遊 戲 內 容 之 外,NPCs 的 行 為 表 現 也 是 一 個 重 要 的 因 素, 如 果 NPCs 表 現 不 合 常 理 或 是 非 常 單 調, 就 會 大 幅 降 低 遊 戲 的 吸 引 力, 在 遊 戲 中 加 入 簡 單 的 在 因 此 就 需 要 遊 戲 的 人 工 智 慧 讓 NPCs 更 具 人 性 化 的 行 為 表 現 12

20 2.2 遊 戲 人 工 智 慧 在 過 去 遊 戲 人 工 智 慧 的 相 關 研 究 中, 以 研 究 桌 上 型 遊 戲 (board game) 與 猜 謎 (puzzle) 為 最 多, 桌 上 型 遊 戲 如 西 洋 棋 象 棋 圈 圈 叉 叉 等, 這 類 型 的 遊 戲 通 常 不 可 能 全 用 暴 力 法 將 所 有 狀 態 空 間 計 算 出 來, 當 找 出 較 好 的 演 算 法 代 表 著 解 決 一 個 難 解 的 數 學 問 題, 也 因 此 有 許 多 的 學 者 在 研 究 (Epstein,1999) 而 Ghory(2004) 試 圖 對 增 強 式 學 習 應 用 在 桌 上 型 遊 戲 做 一 個 公 式 化 的 研 究, 其 結 果 讓 許 多 研 究 應 用 在 各 種 不 同 的 桌 上 型 遊 戲 上 在 數 位 遊 戲 上 通 常 是 用 規 則 基 礎 (rule-based) 的 方 式 去 寫 入 NPCs的 人 工 智 慧, 但 如 此 一 來 則 需 要 大 量 的 程 式 碼 來 完 成 許 多 複 雜 的 行 為, 且 會 有 許 多 不 合 理 的 行 為 發 生, 因 此 也 有 許 多 學 者 在 這 方 面 在 研 究,Aha (2003) 利 用 案 例 基 礎 (case-based) 方 式, 對 戰 略 類 型 遊 戲 魔 獸 爭 霸 二 做 一 個 更 佳 的 NPCs人 工 智 慧, 他 認 為 在 這 款 遊 戲 中 的 建 築 順 序 關 鍵, 因 此 將 所 有 可 能 的 建 築 順 序 排 成 一 個 階 層 結 構, 因 此 可 以 整 理 出 許 多 建 築 序 列, 不 同 的 序 列 就 可 以 當 成 不 同 的 案 例, 因 此 根 據 案 例 就 可 以 寫 出 許 多 條 規 則, 最 後 就 讓 NPCs 依 照 案 例 規 則 來 建 築, 擊 敗 玩 家, 雖 然 此 一 方 法 效 果 卓 越, 但 是 卻 被 玩 家 的 一 些 特 例 所 擊 敗, 比 如 說 玩 家 一 開 始 不 蓋 任 何 建 築, 直 接 農 民 快 攻 等 等 不 合 常 理 的 玩 法 因 此, 在 同 一 款 遊 戲 之 下, Ponson(2004) 等 人 則 是 用 基 因 演 算 法 去 改 善 Aha研 究 的 缺 失 之 處, 就 可 以 有 效 的 解 決 這 些 特 例 情 形, 並 且 提 高 成 攻 率, 讓 NPCs 更 具 挑 戰 另 外 Jin(2008) 等 人 則 是 用 類 神 經 網 路 的 方 法 去 加 強 運 動 類 型 遊 戲 NPCs的 人 工 智 慧, 讓 複 雜 的 遊 戲 人 工 智 慧 簡 化 成 幾 個 不 同 的 行 為 模 式, 這 些 研 究 的 其 優 缺 點 如 表 三 這 些 方 法 的 共 通 缺 點 為 必 須 在 已 知 的 環 境 之 下, 事 先 設 定 好 許 多 環 境 的 因 素 才 能 執 行, 而 如 果 環 境 即 時 改 變, 如 果 玩 家 的 行 動 改 變 了 環 境 狀 態, 就 會 有 較 遭 的 結 果 產 生, 增 強 式 學 習 可 以 讓 代 理 人 (agent) 在 未 知 的 環 境 下 學 習, 但 目 前 用 在 數 位 遊 戲 中 的 研 究 並 不 多,McPartland(2008) 將 增 強 式 學 習 利 用 在 第 三 人 稱 的 射 擊 遊 戲 之 中, 讓 NPCs可 以 學 習 到 最 佳 的 行 動 路 線, 以 及 攻 擊 玩 家 的 時 機 與 地 點 另 外, Wender(2008) 等 人 則 是 將 增 強 式 學 習 利 用 在 策 略 遊 戲 之 中, 讓 NPCs選 擇 啟 始 點 時 適 應 不 同 的 環 境 與 玩 家 的 行 動, 讓 NPCs的 行 為 更 聰 明 而 Björnsson(2004) 等 人 則 是 將 增 強 式 學 習 應 用 在 養 成 策 略 遊 戲 之 中, 且 讓 玩 家 可 以 直 接 對 NPCs 做 一 些 簡 單 的 控 制, 縮 短 學 習 的 時 間 13

21 表 三 遊 戲 人 工 智 慧 方 法 比 較 ( 資 料 來 源 : 本 研 究 整 理 ) 方 法 文 獻 優 點 缺 點 Case-Based Learning to Win: 利 用 不 同 的 案 例 來 環 境 需 要 控 制 Case-Based Plan Selection in a Real-Time Strategy 控 制 NPCs 的 行 動 選 擇, 方 法 簡 單 且 實 用 無 法 解 決 特 定 情 況 Game Genetic Improving Adaptive 可 調 適 性, 因 此 可 以 基 因 演 算 法 不 保 Algorithm Game AI with Evolutionary Learning 提 高 NPCs 勝 率 且 解 決 特 定 情 形 證 最 適 化, 每 次 演 化 後 的 結 果 不 一 定 是 最 佳 的 結 果 Neural Evolving Game 將 複 雜 的 運 動 類 型 雖 然 有 一 定 的 成 Network NPCs Based on Concurrent Evolutionary Neural Networks 遊 戲 簡 化, 使 目 標 明 確 而 可 以 應 用 類 神 經 網 路 解 決 問 題 果, 但 在 結 果 部 份 並 非 有 原 本 期 望 的 好 結 果 14

22 2.3 增 強 式 學 習 增 強 式 學 習 是 種 與 環 境 互 動 中, 不 斷 的 嘗 試 不 同 的 行 動, 找 尋 最 佳 策 略 的 一 種 學 習 方 法 增 強 式 學 習 通 常 包 含 兩 個 角 色, 環 境 (environment) 代 表 需 要 解 決 問 題 的 所 有 外 在 因 子, 而 代 理 人 (agent) 則 負 責 與 環 境 互 動 學 習, 代 理 人 所 做 出 的 行 動 (action) 會 改 變 整 體 環 境 的 狀 態 (state), 在 不 同 的 狀 態 下 代 理 人 會 依 照 獎 懲 (reward) 去 做 出 應 對 的 行 動, 在 多 次 學 習 過 程 中 學 習 到 最 佳 策 略 的 方 法, 其 流 程 就 如 之 前 所 看 過 的 圖 五,t 代 表 時 間, 當 代 理 人 感 知 到 環 境 ( 目 前 狀 態 ) 時, 選 擇 不 同 的 動 作, 動 作 又 會 改 變 環 境, 並 得 到 獎 懲, 進 入 到 下 一 個 時 間 點, 代 理 人 感 知 到 下 一 時 間 點 狀 態, 並 且 選 擇 動 作 得 到 下 一 時 間 點 的 獎 懲 圖 五 增 強 式 學 習 示 意 圖 增 強 式 學 習 其 實 就 是 模 擬 生 物 在 學 習 事 物 的 情 形, 比 如 說 小 孩 子 剛 開 始 學 騎 腳 踏 車, 一 開 始 會 不 知 道 怎 樣 驅 動, 也 不 知 道 傾 斜 多 少 度 會 跌 倒, 但 是 每 次 失 敗 跌 倒 後, 自 然 後 吸 取 教 訓, 再 反 覆 的 練 習, 跌 倒 了 許 多 次 之 後, 就 知 道 該 如 何 平 衡, 也 知 道 如 何 轉 彎 而 不 會 跌 倒, 藉 由 過 去 的 經 驗 不 斷 的 強 化 自 身 的 能 力, 就 是 增 強 式 學 習 技 術 的 主 要 精 神 15

23 增 強 式 學 習 通 常 可 以 公 式 化 為 馬 可 決 策 過 程, 增 強 式 學 習 又 可 以 分 成 主 動 式 (active) 增 強 式 學 習 與 被 動 式 (passive) 增 強 式 學 習, 其 主 要 的 差 別 在 於, 被 動 式 增 強 式 學 習 的 代 理 人 用 固 定 的 策 略 (fixed policy) 去 學 習 其 效 用 值 (utility value), 效 用 值 所 代 表 的 意 義 為 在 該 狀 態 下 達 到 目 標 與 其 他 狀 態 的 相 對 比 較 值, 通 常 值 越 大 代 表 此 一 狀 態 離 目 標 越 接 近, 選 擇 到 此 一 狀 態 的 機 率 也 越 大 主 動 式 學 習 則 是 需 要 不 停 的 探 索 環 境 去 找 到 其 策 略 (Melenchuk,2000) 被 動 式 學 習 的 方 法 通 常 分 成 三 種, LMS(least mean squares) ADP(adaptive dynamic programming) 與 TD(temporal difference learning) 三 種, 這 三 種 方 法 中 最 佳 的 是 TD方 法 (Russell and Norvig,2003) LMS方 法 為 隨 機 選 取 行 動, 再 計 算 到 達 目 標 的 所 有 獎 懲 值, 然 後 再 算 出 其 各 個 狀 態 下 達 到 目 標 的 效 用 值 平 均 數, 其 缺 點 為 需 要 非 常 久 的 計 算 時 間 (Russell and Norvig,2003) ; ADP方 法 則 是 在 給 定 特 定 估 計 模 式 之 下, 每 次 行 動 後 重 覆 的 計 算 每 一 個 狀 態 的 效 用 值, 但 在 狀 態 空 間 大 的 情 形 下 會 難 以 計 算 (Russell and Norvig,2003) ; TD 方 法 結 合 了 蒙 地 卡 羅 方 法 (Monte Carlo ) 與 動 態 規 劃 方 法 (dynamic programming) 的 概 念, 其 公 式 如 公 式 一 : V(s) V(s ) + α(r(s)+ γv(s') - V(s) ) (1) V(s) 代 表 效 用 值, α是 學 習 函 數, γ是 獎 賞 折 扣 值,s 代 表 狀 態,R(s) 為 在 此 狀 態 的 獎 懲 值, 其 主 要 概 念 為 藉 由 過 去 的 經 驗 去 調 整 預 期 可 以 到 達 目 標 的 效 用 值 (Russell and Norvig,2003) 16

24 主 動 式 增 強 式 學 習 最 有 名 的 演 算 法 為 Q-Learning與 SARSA algorithm兩 種, 兩 種 演 算 法 皆 是 建 立 在 TD 方 法 基 礎 之 上 的 演 算 法, 藉 由 試 誤 與 延 遲 獎 懲 來 不 斷 的 重 複 計 算 Q-value(state-action value), Q-value 是 在 某 一 狀 態 與 行 動 對 (State -Action pairs) 到 達 目 標 之 相 對 比 較 值,Q-value 越 大 代 表 選 擇 此 一 狀 態 與 行 動 對 於 達 到 目 標 的 機 會 越 大, 因 此 以 Q-value 大 小 來 決 定 各 個 狀 態 與 行 動 的 機 率 值, 讓 代 理 人 可 以 藉 由 過 往 經 驗 選 擇 目 前 環 境 下 最 佳 的 行 動 Q-Learning 是 由 Watkins 在 1989 年 提 出, 是 一 種 無 策 略 演 算 法 (off-policy) 的 演 算 法, 而 其 公 式 如 公 式 二 (Sutton and Barto,1998) : Q(s, a) Q(s,a ) + α(r(s) + γmaxq(s',a' ) - Q(s,a) ) (2) SARSA是 State-Action-Reward-State-Action的 縮 寫, 在 1994年 的 Rummery提 出, 是 一 種 有 策 略 性 (on-policy) 的 演 算 法, 其 公 式 如 公 式 三 : Q(s, a) Q(s,a ) + α(r(s) + γq(s',a' ) - Q(s,a) ) (3) s代 表 現 在 環 境 狀 態, a代 表 代 理 人 的 行 動, s 是 下 一 時 間 點 的 狀 態, a 是 下 一 時 間 點 的 動 作, 因 此 Q(a,s) 代 表 在 狀 態 s下 進 行 行 動 a的 期 望 價 值, R(s) 是 在 狀 態 s下 的 實 際 價 值,maxQ(a,s ) 代 表 著 在 所 有 下 一 時 間 點 預 期 的 Q-value最 大 值, α是 學 習 函 數, 用 於 控 制 學 習 收 斂 速 度, 一 般 會 將 此 值 預 設 為 1, γ是 獎 懲 的 折 扣 值, 通 常 是 一 個 小 於 1的 常 數 而 Q-Learning與 SARSA最 大 的 差 別 在 於 SARSA是 在 某 些 特 定 的 策 略 下 執 行, 而 Q-Learning 則 是 完 全 沒 有 任 何 策 略 的 運 用, 因 此 必 需 要 計 算 下 一 次 行 動 中 最 大 的 Q-value(Sutton and Barto,1998) 17

25 增 強 式 學 習 的 學 習 方 式 是 去 找 到 每 個 狀 態 的 最 佳 行 動, 因 此 需 要 多 方 嘗 試, 但 是 如 果 隨 機 去 嘗 試, 就 等 同 於 不 去 選 擇 已 知 的 最 佳 行 動, 這 樣 隨 機 的 行 為 就 與 基 本 精 神 相 違 背, 因 此 解 決 問 題 與 探 索 新 知 (exploitation and exploration) 就 成 為 增 強 式 學 習 的 兩 難 問 題, 通 常 會 運 用 ε-greedy演 算 法 來 解 決, ε-greedy也 是 greedy演 算 法 的 一 種, 只 是 在 其 過 程 中 會 有 一 定 機 率 利 用 隨 機 的 方 式 去 探 索, 這 樣 不 但 可 以 符 合 找 最 佳 行 動 的 基 本 精 神, 也 會 試 圖 的 去 探 索 是 否 有 更 佳 的 行 動 (Bianchi, 2007) 例 如, 設 定 另 一 參 數 p=0.5, 而 代 理 人 在 每 一 次 決 定 行 動 時, 會 隨 機 決 定 一 個 0~1 的 變 數 q, 當 q>p=0.5 時, 就 選 擇 隨 機 探 索 產 生 行 動, 反 之, 當 q p=0.5 時 就 從 之 前 經 驗 算 出 最 佳 的 行 動 增 強 式 學 習 已 經 有 許 多 應 用 與 研 究, 比 較 常 看 到 應 用 在 機 械 的 學 習 與 控 制, 也 有 一 些 研 究 是 應 用 在 遊 戲 之 中, 目 前 應 用 增 強 式 學 習 最 有 名 的 遊 戲 為 善 與 惡 (Black & White) 這 款 遊 戲, 善 與 惡 是 由 Lionhead Studios在 2001年 所 研 發 製 作, 是 一 款 經 營 類 型 的 遊 戲, 在 善 與 惡 這 款 遊 戲 中 玩 家 伴 演 造 物 者 的 角 色, 而 玩 家 可 以 控 制 一 名 神 祇 生 物, 此 生 物 會 跟 著 玩 家 所 做 出 的 不 同 決 定, 而 改 變 其 行 為 跟 長 相, 這 樣 的 一 個 機 制 受 到 玩 家 的 好 評, 也 因 此 這 一 款 遊 戲 在 2005 年 推 出 續 作 善 與 惡 二 代, 圖 六 為 該 遊 戲 二 代 之 畫 面 圖 六 黑 與 白 遊 戲 畫 面 ( 資 料 來 源 : 18

26 2.4 本 章 小 結 由 以 上 三 節 得 知, 數 位 遊 戲 最 吸 引 人 的 地 方 不 單 單 只 是 其 聲 光 效 果, 如 果 可 以 增 加 遊 戲 與 玩 家 的 互 動 性, 就 可 以 讓 遊 戲 更 具 可 玩 性 在 遊 戲 人 工 智 慧 的 發 展 中, 大 部 份 的 遊 戲 都 已 經 具 備 基 本 的 人 工 智 慧, 如 路 徑 搜 尋 或 是 碰 撞 偵 測 等, 或 是 用 條 件 規 則 基 礎 來 為 遊 戲 的 NPCs 加 入 人 工 智 慧, 但 是 這 樣 的 遊 戲 並 不 能 滿 足 目 前 玩 家 的 需 求, 如 果 可 以 用 強 的 人 工 智 慧 讓 NPCs 行 對 更 人 性 化, 就 能 讓 遊 戲 更 吸 引 玩 家 強 的 人 工 智 慧 如 基 因 演 算 法 及 類 神 經 網 路 等, 有 許 多 的 研 究 已 經 有 效 的 將 此 類 方 法 應 用 在 數 位 遊 戲 之 中, 可 是 在 市 面 的 遊 戲 中 仍 不 常 見, 最 主 要 的 問 題 如 之 前 幾 節 所 論, 數 位 遊 戲 中 的 環 境 變 化 太 大, 因 為 玩 家 特 性 而 存 在 著 許 多 需 要 考 慮 的 因 素, 如 果 沒 辦 法 有 效 的 解 決 環 境 的 因 素, 建 置 強 的 人 工 智 慧 所 需 要 的 成 本 太 大, 反 而 不 實 用 但 是 由 文 獻 中 可 以 發 現, 數 位 遊 戲 的 NPCs需 要 的 人 工 智 慧, 並 非 是 無 懈 可 擊 的 人 工 智 慧, 一 個 不 犯 錯 的 NPC 只 會 降 低 玩 家 的 信 心, 而 不 能 為 遊 戲 加 值, 因 此 數 位 遊 戲 # 不 需 要 一 個 完 美 的 人 工 智 慧, 而 是 要 能 夠 學 習 互 動 的 人 工 智 慧, 並 且 是 可 以 因 應 遊 戲 環 境 的 需 求 來 做 調 整 學 習 的 人 工 智 慧, 增 強 式 學 習 正 好 具 備 以 上 的 特 性, 也 因 此 本 研 究 將 以 增 強 式 學 習 做 為 研 究 的 重 點 文 獻 中 也 可 以 看 出, 雖 然 增 強 式 學 習 在 許 多 領 域 已 經 被 廣 為 應 用, 但 是 在 數 位 遊 戲 之 中 仍 然 還 未 有 許 多 研 究, 其 最 主 要 的 問 題 就 是 因 為 傳 統 的 增 強 式 學 習 通 常 需 要 很 長 的 一 段 時 間 來 學 習, 這 樣 並 不 能 符 合 數 位 遊 戲 的 需 求, 因 此 本 研 究 將 設 法 改 進 此 一 缺 點, 下 一 章 將 探 討 本 研 究 如 何 解 決 這 問 題 以 及 如 何 應 用 在 遊 戲 之 中 19

27 第 3 章 模 糊 增 強 式 學 習 傳 統 增 強 式 學 習 已 經 在 各 個 領 域 廣 為 研 究, 但 其 效 率 不 好 的 缺 點 也 讓 增 強 式 學 習 技 術 常 常 無 法 被 實 際 應 用, 因 此 有 許 多 學 者 在 研 究 用 各 種 不 同 的 方 法 去 縮 短 增 強 式 學 習 的 學 習 時 間, 本 研 究 則 是 應 用 模 擬 理 論 來 提 高 傳 統 增 強 式 學 習 的 效 率, 以 下 各 節 將 會 詳 細 介 紹 傳 統 增 強 式 學 習 的 缺 點, 以 及 本 研 究 如 何 將 模 糊 理 論 運 用 在 增 強 式 學 習 技 術 之 中, 並 提 高 其 效 率 3.1 傳 統 增 強 式 學 習 的 缺 點 增 強 式 學 習 的 特 色 為 不 斷 的 試 誤 過 程 去 找 到 最 佳 解, 但 其 付 出 的 代 價 就 是 需 要 很 長 的 一 段 時 間 讓 代 理 人 去 學 習 (Epstein,2009), 有 許 多 學 者 研 究 如 何 去 縮 短 傳 統 增 強 式 學 習 的 學 習 時 間, 像 是 將 階 層 式 增 強 式 學 習, 將 所 有 狀 態 空 間 表 示 成 一 個 階 層 式 的 狀 態 空 間, 所 以 代 理 人 就 不 必 去 計 算 下 一 時 間 點 狀 態 所 對 應 的 所 有 Q-value 值, 先 從 下 一 階 層 中 的 狀 態 空 間 去 運 算, 藉 此 降 低 其 運 算 時 間, 讓 增 強 式 學 習 更 具 有 效 率 Ponsen(2006) 嘗 試 等 人 將 此 應 用 在 數 位 遊 戲 之 中, 將 代 理 人 的 移 動 先 分 成 達 到 目 標 或 遇 到 敵 人 此 一 階 層, 再 決 定 代 理 人 會 選 擇 移 動 的 方 位, 這 樣 的 方 法 有 效 的 提 高 學 習 的 效 率 也 有 研 究 利 用 模 糊 理 論 來 提 高 增 強 式 學 習 的 學 習 效 率 模 糊 理 論 是 利 用 數 學 模 式 去 解 決 人 類 語 言 學 中 語 義 不 清 的 問 題, 最 初 是 由 Lotfi Zadeh在 1965年 所 提 出, 例 如 溫 度 問 題, 當 有 人 表 示 天 氣 太 冷, 但 實 際 上 的 溫 度 度 數 卻 沒 有 明 確 的 表 達, 不 同 人 對 於 冷 熱 有 不 一 樣 的 概 念, 而 這 些 表 達 不 清 的 模 糊 區 域 就 無 法 以 傳 統 的 二 元 分 法 來 做 判 斷, 因 此 為 了 解 決 這 些 模 糊 的 灰 色 地 帶 問 題, 就 需 要 用 到 模 糊 集 合 理 論 (fuzzy set theory) 來 解 決 模 糊 集 合 理 論 捨 棄 原 本 二 元 的 分 法, 而 以 從 屬 度 (membership degree) 來 做 判 斷, 例 如 剛 剛 的 溫 度 問 題, 將 溫 度 表 達 成 冷 暖 等 等 區 間,10 在 冷 區 的 從 屬 度 為 0.9, 而 在 熱 區 的 從 屬 度 為 0.1 這 樣 的 方 式 來 對 溫 度 做 區 閣, 數 字 越 高 代 表 越 符 合 這 個 區 域 的 特 性, 而 這 些 數 值 則 形 成 所 謂 的 模 糊 從 屬 函 數 (fuzzy membership function ), 模 糊 理 論 常 常 應 20

28 Seo(2000) 等 人 做 過 將 模 糊 邏 輯 應 用 在 增 強 式 學 習 上 的 研 究, 在 該 研 究 中 是 將 狀 態 轉 換 成 模 糊 狀 態, 因 此 可 以 將 所 有 狀 態 分 成 許 多 狀 態 區 塊, 也 就 能 提 高 傳 統 增 強 式 學 習 的 學 習 效 率 這 些 研 究 都 有 效 改 善 增 強 式 學 習 效 率 不 佳 的 問 題, 但 是 其 學 習 過 程 卻 是 有 所 限 制, 因 為 在 增 強 式 學 習 的 過 程 中, 最 重 要 的 是 獎 懲 機 制 的 設 定, 就 算 有 效 的 降 低 狀 態 空 間 的 運 算, 沒 有 一 個 適 當 的 獎 懲 機 制 設 定, 傳 統 增 強 式 學 習 也 有 可 能 會 無 法 學 到 最 佳 策 略, 甚 至 是 一 個 發 散 的 結 果, 也 就 是 根 本 就 找 不 到 所 謂 的 最 佳 策 略, 因 此 增 強 式 學 習 在 獎 懲 的 設 定 通 常 會 需 要 依 照 不 同 的 需 求 來 制 定, 這 樣 的 限 制 也 限 制 的 增 強 式 學 習 研 究 的 一 般 化, 同 樣 的 結 果 在 另 外 的 研 究 中 因 為 獎 懲 的 問 題 可 能 就 不 適 用, 但 是 如 果 改 善 獎 懲 的 設 定, 或 許 可 以 造 成 不 同 的 學 習 效 果, 因 此 本 論 文 著 眼 於 獎 懲 機 制 上 的 改 變, 嘗 試 利 用 模 糊 邏 輯 理 論 於 獎 懲 機 制 之 中, 讓 原 本 固 定 的 獎 懲 變 成 模 糊 化 的 獎 懲, 不 再 是 固 定 的 獎 懲 數 值, 不 但 讓 學 習 速 度 更 快, 也 讓 學 習 更 加 合 理 如 果 可 以 讓 遊 戲 的 NPCs具 有 增 強 式 學 習 的 人 工 智 慧, 並 且 用 模 糊 邏 輯 理 論 去 改 善 其 效 率, 這 樣 一 來 可 以 讓 許 多 的 遊 戲 實 際 的 應 用, 也 使 遊 戲 NPCs 行 為 更 有 變 化, 如 此 一 來 不 但 簡 化 了 遊 戲 程 式 碼 的 複 雜 度, 還 可 以 讓 遊 戲 NPCs 行 為 更 人 性 化, 甚 至 因 應 不 同 玩 家 的 程 度 來 改 變 難 度, 讓 遊 戲 更 具 耐 玩 性 21

29 3.2 應 用 模 糊 理 論 於 增 強 式 學 習 之 中 如 上 一 節 所 討 論, 在 增 強 式 學 習 中 最 重 要 的 因 素 就 是 奨 懲 的 設 定, 所 以 本 研 究 將 原 本 固 定 的 獎 懲 改 成 模 糊 獎 懲 機 制, 在 傳 統 的 增 強 式 學 習 中, 原 本 獎 懲 的 設 定 會 給 一 個 基 本 的 固 定 值, 當 代 理 人 做 出 行 動 時 如 果 可 以 接 近 目 標, 就 給 予 獎 勵 值, 但 是 如 果 越 接 近 目 標 則 會 給 予 越 高 的 獎 勵 值 使 Q-value值 提 高, 反 之, 則 可 能 給 予 懲 罰, 讓 Q-value 降 低, 這 樣 的 機 制 考 慮 了 目 前 狀 態 與 目 標 狀 態 的 差 距, 獎 懲 值 的 大 小 會 直 接 影 響 到 學 習 的 結 果, 如 果 一 開 始 設 定 了 一 個 很 高 的 獎 勵 值, 代 理 人 可 能 會 因 為 獎 勵 值 過 高 而 快 速 學 到 某 條 策 略, 但 是 這 樣 卻 忽 略 了 其 他 可 能 的 策 略, 如 果 獎 勵 太 低 又 會 讓 代 理 人 學 習 的 曲 線 變 的 很 平 緩, 要 經 過 很 久 才 能 學 習 到 最 佳 的 策 略, 但 是 其 中 很 重 要 的 一 點 就 是 當 獎 勵 越 高, 對 於 學 習 的 效 率 是 有 正 向 影 響 的, 只 是 其 結 果 可 能 會 不 好 本 研 究 的 想 法 是 讓 獎 懲 的 機 制 不 再 是 由 固 定 的 數 值 去 做 調 整, 而 是 由 另 一 個 模 糊 隸 屬 函 數 來 控 制 加 入 了 模 糊 獎 懲 的 機 制 就 可 以 讓 代 理 人 在 學 習 的 過 程 中, 不 單 只 是 依 照 目 標 與 現 在 狀 態 差 距 而 去 調 整 獎 懲 值, 也 會 考 慮 到 策 略 在 不 同 情 形 下 的 獎 勵, 如 此 一 來 就 可 以 將 獎 懲 值 設 定 成 較 高 的 數 值, 再 將 獎 懲 值 乘 上 一 個 模 糊 值, 根 據 該 條 策 略 的 模 糊 隸 屬 程 度 來 改 變 獎 懲 值, 也 因 此 可 以 有 效 的 改 變 傳 統 增 強 式 學 習 的 效 率, 同 時 也 不 因 為 數 值 的 加 減 變 動 過 大, 最 後 導 致 無 法 學 習 到 最 佳 策 略 的 結 果 在 加 入 了 模 糊 函 數 之 後 還 可 以 利 用 模 糊 函 數 的 調 整, 來 達 成 不 同 的 學 習 行 為, 例 如 遊 戲 中 的 最 終 魔 王 可 能 就 會 需 要 快 速 學 習 能 力, 因 此 就 可 以 調 整 模 糊 函 數 讓 這 種 類 型 的 NPC 可 以 快 速 的 學 習, 而 其 他 像 是 魔 王 身 邊 的 小 兵 這 種 NPCs 可 能 就 不 能 有 那 麼 強 大 的 學 習 能 力, 除 此 之 外, 利 用 不 同 的 模 糊 函 數 或 許 可 以 用 來 調 整 難 度, 增 加 遊 戲 的 可 玩 性 22

30 3.3 模 糊 增 強 式 學 習 之 運 算 本 研 究 將 模 糊 獎 懲 取 代 傳 統 增 強 式 學 習 的 固 應 獎 懲, 以 下 本 論 文 就 以 坦 克 對 戰 遊 戲 為 例, 解 釋 如 何 將 固 定 的 獎 懲 值 換 成 模 糊 獎 懲 值, 在 坦 克 對 戰 遊 戲 中,NPC 坦 克 因 應 不 同 的 環 境 與 玩 家 的 行 動, 可 能 會 有 數 條 不 同 的 路 線 ( 策 略 ) 選 擇, 每 當 選 擇 一 條 路 徑 的 結 果 可 能 會 被 玩 家 擊 敗, 或 是 順 利 抵 達 目 標, 因 此 獎 懲 的 數 值 可 能 是 +1 與 -1, 但 是 當 NPC 坦 克 在 同 樣 的 情 形 下 不 斷 的 被 擊 敗 時, 可 能 因 為 狀 態 ( 玩 家 所 做 的 行 為 與 地 圖 的 所 有 因 素 ) 是 一 樣 的, 所 以 其 懲 罰 值 是 不 變 的, 但 是 這 樣 的 情 形 並 不 符 合 常 理, 連 續 的 在 某 條 路 線 上 被 擊 倒 應 該 要 有 更 大 的 懲 罰 值, 相 對 的, 連 續 成 功 的 達 到 目 標 也 應 該 有 更 大 的 獎 勵 值 因 此 如 果 可 以 給 每 個 策 略 不 同 的 模 糊 值, 而 這 個 模 糊 值 可 以 依 據 每 次 的 結 果 去 運 算, 就 可 以 避 免 以 上 的 問 題, 所 以 本 研 究 將 獎 懲 值 就 設 定 為 +10*F 或 -10*F,F 為 該 條 路 線 的 模 糊 隸 屬 值 (fuzzy membership value, 詳 細 介 紹 在 第 四 章 ), 為 範 圍 介 於 0~1 的 一 個 小 數 值, 如 此 一 來 當 F=1 時, 就 會 有 很 高 的 獎 懲 值, 讓 NPC 坦 克 可 以 很 快 的 學 習 到 該 條 路 線 是 否 危 險, 但 是 F=0 時, 將 不 會 有 任 何 獎 懲 值, 也 就 是 該 次 結 果 可 能 只 是 偶 然, 不 能 提 供 NPC 坦 克 做 為 學 習 的 參 考, 其 步 驟 如 下 所 示 : 1. 回 合 開 始 2. NPC 坦 克 根 據 各 路 線 的 Q-value 選 擇 此 回 合 之 路 線 3. NPC 坦 克 撞 到 炸 彈 或 順 利 走 到 終 點 4. 計 算 各 路 線 危 險 值 X, 並 轉 換 成 對 應 各 路 線 的 危 險 函 數 值 F 5. 將 獎 懲 值 乘 上 其 對 應 的 F 值 6. 重 新 計 算 各 條 路 線 的 Q-value 值 7. 回 合 結 束, 如 果 還 未 學 到 唯 一 一 條 路 線, 則 回 到 步 驟 1 23

31 以 本 研 究 的 實 驗 為 例 ( 詳 細 介 紹 請 見 第 四 章 ), 原 本 的 獎 懲 如 表 四, 如 果 將 其 模 糊 化 就 變 成 表 五 所 示 表 四 獎 懲 函 數 狀 態 s R(s) 坦 克 撞 到 炸 彈, 該 條 策 略 坦 克 撞 到 炸 彈, 別 條 策 略 坦 克 順 利 走 到 終 點, 該 條 策 略 坦 克 順 利 走 到 終 點, 別 條 策 略 表 五 模 糊 獎 懲 函 數 狀 態 s R(s) 坦 克 撞 到 炸 彈, 該 條 策 略 坦 克 撞 到 炸 彈, 別 條 策 略 坦 克 順 利 走 到 終 點, 該 條 策 略 坦 克 順 利 走 到 終 點, 別 條 策 略 -20*F +10*F +40*F -20*F 接 著 下 一 章 將 詳 細 介 紹 完 整 實 驗 設 計 與 實 驗 結 果, 也 就 可 以 看 出 當 把 原 本 的 固 定 獎 懲 ( 表 四 ) 變 成 模 糊 獎 懲 ( 表 五 ) 後, 其 效 率 因 此 可 以 大 幅 提 升 24

32 第 4 章 實 驗 設 計 與 實 驗 結 果 本 章 將 介 紹 本 研 究 的 實 驗 部 份, 本 研 究 實 驗 共 分 成 兩 部 份, 第 一 部 份 是 前 導 實 驗, 在 前 導 實 驗 中 將 找 出 最 適 合 坦 克 對 戰 遊 戲 類 型 的 模 糊 增 強 式 學 習 參 數, 並 應 用 在 第 二 部 份 的 遊 戲 實 驗 中, 在 本 章 的 實 驗 中 可 以 看 出 應 用 模 糊 理 論 提 高 傳 統 增 強 式 學 習 的 效 率, 並 且 探 討 不 同 的 模 糊 隸 屬 函 數 在 於 不 同 類 型 遊 戲 的 應 用 4.1 實 驗 設 計 本 研 究 如 圖 七, 共 分 成 兩 部 份, 第 一 部 份 為 前 導 實 驗, 藉 由 簡 單 的 遊 戲 路 徑 行 為 模 擬, 找 出 最 適 合 此 遊 戲 的 增 強 式 學 習, 再 將 其 加 入 第 二 部 份 實 際 的 遊 戲 之 中 圖 七 實 驗 架 構 圖 25

33 前 導 實 驗 中 的 步 驟 如 下 : 1. 實 驗 平 台 : 開 發 實 驗 平 台, 前 導 實 驗 的 平 台 主 要 是 讓 本 研 究 可 以 測 試 增 強 式 學 習 在 坦 克 對 戰 類 型 遊 戲 中 的 應 用 情 形, 藉 由 路 線 的 選 擇 來 測 試 增 強 式 學 習 與 模 糊 理 論 的 實 用 性 2. 增 強 式 學 習 : 在 前 導 實 驗 平 台 上 的 NPC 坦 克 加 上 具 有 增 強 式 學 習 技 術 之 人 工 智 慧, 讓 NPC 坦 克 在 多 次 的 嘗 試 之 後, 可 以 經 由 經 驗 學 習 來 選 擇 路 線 避 開 炸 彈 3. 模 糊 理 論 : 在 增 強 式 學 習 中 加 上 模 糊 函 數 來 調 整 獎 懲 值 的 設 定, 使 原 本 的 固 定 獎 懲 變 成 模 糊 獎 懲 4. 數 據 分 析 : 實 驗 後 把 本 次 實 驗 所 得 到 的 結 果 回 饋 到 各 參 數 中, 不 斷 的 嘗 試 不 同 的 值 來 找 出 最 佳 函 數 26

34 4.2 實 驗 環 境 與 遊 戲 設 計 本 研 究 中 規 劃 設 計 出 一 個 坦 克 對 戰 射 擊 遊 戲, 遊 戲 中 有 玩 家 可 以 自 行 操 控 的 坦 克 以 及 具 有 模 糊 增 強 式 學 習 人 工 智 慧 的 NPC 坦 克, 其 遊 戲 規 則 如 下 : NPC 坦 克 要 從 任 意 大 小 的 地 圖 中 某 一 啟 始 點 出 現, 目 標 為 到 達 某 些 終 止 點, 玩 家 可 以 從 任 意 處 攻 擊 NPC 坦 克, 但 是 在 地 圖 中 會 有 些 玩 家 不 可 擊 破 的 牆 壁, 這 些 牆 壁 可 能 是 隨 機 產 生 或 是 玩 家 設 定, 因 此,NPC 坦 克 就 會 藉 由 這 些 牆 壁 來 躲 過 玩 家 的 攻 擊, 並 且 學 到 最 安 全 的 一 條 路 線 來 擊 敗 玩 家, 其 過 程 如 圖 八 所 示 圖 五 為 一 個 N*N 大 小 的 地 圖, 紅 色 框 框 所 示 就 是 NPC 坦 克, 而 玩 家 則 是 在 地 圖 下 方 黑 色 框 框 中 的 坦 克, 可 以 左 右 自 由 移 動, 紅 色 S 點 代 表 NPC 坦 克 的 初 始 出 現 地 點, A1~A5 代 表 可 以 阻 擋 玩 家 攻 擊 的 牆, 紅 色 箭 頭 代 表 NPC 坦 克 的 目 標, 只 要 移 動 通 過 最 下 面 的 底 線, 就 算 NPC 坦 克 勝 利 圖 八 遊 戲 概 念 圖 本 研 究 的 實 驗 平 台 的 軟 硬 體 設 備 如 下 : OS: Windows Vista Home Premium CPU:Intel Core 2 Duo processor T5500(1.6GHz,2MB L2 cache) RAM:2GB Software:Adobe Flash CS3 Pro 27

35 4.3 前 導 實 驗 1. 加 入 增 強 式 學 習 在 製 作 遊 戲 之 前, 本 研 究 先 做 了 一 個 前 導 實 驗, 想 利 用 的 簡 單 的 實 驗 平 台 來 找 出 最 適 的 函 數, 再 將 此 一 實 驗 結 果 運 用 在 實 際 製 作 的 遊 戲 之 中, 前 導 實 驗 利 用 flash 與 action script 2.0當 成 實 驗 平 台 設 計 工 具, 創 造 了 一 個 在 3*3地 圖 中 具 有 簡 化 SARSA演 算 法 學 習 能 力 的 NPC 坦 克, 如 圖 九 圖 九 前 導 實 驗 圖 在 此 實 驗 中 設 定 了 一 個 3*3的 地 圖, 在 地 圖 的 右 上 方 為 NPC坦 克 的 啟 始 點 ( 紅 色 框 白 色 S 字 處 ), 而 地 圖 的 左 下 方 則 是 終 止 點 ( 老 鷹 圖 處 ), NPC坦 克 只 能 往 左 或 往 下 走, 因 此 會 有 六 種 不 同 的 策 略, 如 表 六 28

36 表 六 坦 克 移 動 策 略 表 Step 1 Step2 Step 3 Step 4 Policy A left left down down Policy B left down Left down Policy C left down down left Policy D down left Left down Policy E down left down left Policy F down down Left left 同 時 在 地 圖 中 會 有 些 玩 家 可 以 自 由 設 定 位 置 的 炸 彈 ( 紅 色 與 黑 色 炸 彈 ), 當 NPC 坦 克 碰 撞 到 這 些 炸 彈 就 會 被 摧 毀, 該 回 合 即 結 束, 此 外, 若 NPC坦 克 走 到 終 止 點 也 算 一 回 合 結 束, 每 次 回 合 結 束 就 會 用 SARSA演 算 法 去 計 算 其 Q-value值, 當 坦 克 被 摧 毀 對 該 條 路 線 Q-value 值 就 會 給 予 懲 罰 降 低, 而 其 他 路 線 則 給 予 獎 勵 提 高, 反 之, 若 坦 克 走 到 終 點 時, 該 條 路 線 Q-value 值 則 會 得 到 獎 勵, 其 他 路 線 會 加 予 懲 罰, 將 各 個 Q-value值 的 大 小 計 來 算 出 不 同 條 路 線 的 選 取 機 率, Q-value值 越 大 則 會 代 表 著 選 到 該 路 線 的 機 會 越 大, 直 到 只 剩 下 一 條 路 線 時, 該 遊 戲 才 會 結 束, 再 將 其 數 據 紀 錄 之 SARSA 演 算 法 公 式 如 公 式 四 : Q(s, a) Q(s,a ) + α(r(s) + γq(s',a' ) - Q(s,a) ) (4) 設 定 α, γ =1. 並 將 此 實 驗 的 公 式 簡 化 如 公 式 五 : Q(s, a) Q(s',a' ) + R(s) (5) 29

37 而 在 此 實 驗 中 的 獎 懲 函 數 值 如 表 七, 其 中 各 值 大 小 為 本 研 究 自 訂, 因 應 本 實 驗 給 予 每 條 路 線 的 初 始 值 為 五 十, 因 此 在 設 定 函 數 數 值 時, 以 加 減 十 來 測 試, 在 多 次 實 驗 之 後, 發 現 對 於 撞 到 炸 彈 或 順 利 走 到 終 點 此 兩 種 狀 態 應 該 給 予 較 高 的 獎 懲 值, 相 對 的 其 他 兩 種 情 形 則 需 要 比 較 低 的 獎 懲 值, 因 此 在 本 實 驗 中 分 別 設 定 為 撞 到 炸 彈 或 走 到 終 點 之 獎 懲 值 的 一 半, 也 就 如 表 七 所 示 表 七 獎 懲 函 數 狀 態 s R(s) 1. 坦 克 撞 到 炸 彈, 該 條 策 略 坦 克 撞 到 炸 彈, 別 條 策 略 坦 克 順 利 走 到 終 點, 該 條 策 略 坦 克 順 利 走 到 終 點, 別 條 策 略 -10 在 實 驗 的 過 程 中, 本 研 究 發 現 講 懲 的 設 定 與 增 強 式 學 習 的 效 率 有 很 大 的 關 係, 如 果 提 高 獎 懲 值 將 對 提 高 效 率 有 正 向 的 影 響, 但 是 如 果 設 定 不 當, 將 造 成 無 法 學 習 到 最 佳 策 略 的 結 果, 如 表 八, 當 坦 克 順 利 撞 到 炸 彈 後 別 條 策 略 的 獎 懲 提 高 到 10, 就 會 造 成 如 圖 十 所 示, 當 回 合 數 非 常 大 時 仍 然 無 法 學 到 最 佳 策 略 ( 本 研 究 以 一 百 回 合 當 做 最 大 值, 超 過 則 認 為 此 設 定 失 敗 ) 表 八 失 敗 的 獎 懲 函 數 狀 態 s R(s) 1. 坦 克 撞 到 炸 彈, 該 條 策 略 坦 克 撞 到 炸 彈, 別 條 策 略 坦 克 順 利 走 到 終 點, 該 條 策 略 坦 克 順 利 走 到 終 點, 別 條 策 略

38 圖 十 增 強 式 學 習 失 敗 圖 並 且 發 現 如 果 以 固 定 的 獎 懲 值, 將 無 法 表 現 出 路 線 的 危 險 程 度, 當 某 一 路 線 不 斷 的 撞 到 炸 彈 時, 增 加 固 定 的 值 並 不 合 理, 應 該 要 以 模 糊 函 數 來 計 算 獎 懲 值, 如 果 一 直 撞 到 炸 彈 時, 代 表 此 一 策 略 是 非 常 危 險 的, 應 該 要 給 予 更 高 的 懲 罰 2. 加 入 模 糊 理 論 經 由 實 驗 的 結 果, 本 研 究 用 模 糊 理 論 來 改 善 此 一 實 驗 首 先, 用 某 一 危 險 函 數 來 做 計 算,Xi為 該 條 路 線 的 危 險 變 數, 初 始 值 為 0, 當 碰 到 炸 彈 時 該 路 線 危 險 變 數 為 Xi=Xi+1, 若 連 續 碰 到 兩 次 則 Xi=Xi+2, 若 連 續 碰 到 三 次 則 Xi=Xi+3, 最 多 +3, 也 就 是 說 如 果 同 一 條 路 線 中 連 續 碰 撞 多 次 炸 彈, 就 代 表 該 路 線 非 常 危 險, 危 險 變 數 累 加 速 度 越 快, 反 之, 其 他 j=i條 路 線 的 危 險 變 數 Xj=Xj-1, 且 一 樣 有 累 加 的 效 果, 最 多 -3 31

39 舉 例 來 說, 選 擇 同 一 條 路 線 上 的 九 回 合 結 果 如 表 九 ( 炸 彈 可 移 動 所 以 同 條 路 線 會 有 碰 撞 或 沒 碰 撞 到 的 情 形 ) 表 九 危 險 變 數 例 子 回 合 結 果 X 改 變 量 X總 量 : 代 表 坦 克 撞 到 炸 彈 -: 代 表 坦 克 順 利 走 到 終 點 如 果 將 原 本 固 定 的 獎 懲 改 變 成 模 糊 獎 懲, 用 危 險 變 數 X來 代 表 危 險 程 度, 模 糊 隸 屬 函 數 (fuzzy membership function) 則 利 用 最 基 本 的 三 角 隸 屬 函 數 (Pieczy ski and Obuchowicz 2004)( 圖 十 一 ), 而 f=µ(x) 的 算 式 如 算 式 六 : 1, if x x μ (x) =, if 0 < x < 10 (6) 10 0, if x = 0 圖 十 一 三 角 隸 屬 函 數 圖 32

40 此 一 算 式 所 計 算 出 來 的 危 險 模 糊 函 數 來 替 代 原 本 固 定 的 獎 懲 值, 新 的 模 糊 獎 懲 函 數 如 表 十, 因 為 f期 望 值 為 0.5, 所 以 新 的 模 糊 獎 懲 函 數 R 為 原 本 固 定 獎 懲 函 數 RR 二 倍 再 乘 上 f, 例 如 原 本 第 一 條 獎 懲 為 -10, 新 的 獎 懲 值 就 為 -20*f, 以 此 類 推 表 十 模 糊 獎 懲 函 數 狀 態 s R(s) 1. 坦 克 撞 到 炸 彈, 該 條 策 略 -20*f 2. 坦 克 撞 到 炸 彈, 別 條 策 略 +10*f 3. 坦 克 順 利 走 到 終 點, 該 條 策 略 +40*f 4. 坦 克 順 利 走 到 終 點, 別 條 策 略 -20*f 兩 個 實 驗 結 果 比 較 如 圖 十 二 及 表 十 一 可 以 看 出 加 入 模 糊 獎 懲 後,NPC 坦 克 只 要 約 26 回 合 就 可 以 學 到 唯 一 的 一 條 路 線, 比 起 原 本 未 加 入 前 的 固 定 獎 懲 快 了 約 20 回 合, 明 顯 的 提 高 學 習 效 率 圖 十 二 前 導 實 驗 結 果 圖 33

41 表 十 一 實 驗 結 果 數 據 ID E1 E mean success rate E1: 固 定 獎 懲 E2: 模 糊 獎 懲 表 十 一 中 的 成 功 率 (success rate) 代 表 在 所 有 回 合 中, 成 功 走 到 終 點 的 機 率 ( 成 功 走 到 終 點 次 數 / 總 回 合 次 數 ), 如 果 以 每 十 回 合 來 看 E1 實 驗 的 成 功 次 數, 則 如 表 十 二 所 示 表 十 二 成 功 次 數 表 ID\ 回 合 1~10 11~20 21~30 31~40 41~50 51~60 61~ mean

42 在 此 一 實 驗 中 可 以 看 出, 模 糊 理 論 確 實 可 以 明 顯 的 提 高 增 強 式 學 習 的 效 率, 而 且 不 只 是 提 高 效 率, 也 許 可 以 利 用 模 糊 邏 輯 來 控 制 其 難 易 度 的 調 整, 因 此 實 驗 除 了 使 用 基 本 的 三 角 隸 屬 模 糊 函 數, 也 利 用 了 高 斯 隸 屬 函 數 (Gaussian membership function ) 來 比 較 兩 者 的 差 別 (Pieczy ski and Obuchowicz 2004) 高 斯 隸 屬 函 數 算 式 如 公 式 七 : m 1 x c μ a ( x, c, s, m) = exp (7) 2 s x 為 危 險 函 數 值, c 為 中 央 值 (centre), s 為 寬 度 值 (width), m 為 模 糊 因 子 (fuzzification factor), 其 型 狀 如 圖 十 三 所 示 (c=5,s=2,m=2): 圖 十 三 高 斯 隸 屬 函 數 圖 在 此 實 驗 中 希 望 X的 值 不 要 超 過 5, 也 就 是 如 果 從 0開 始 計 算, 在 連 續 撞 到 第 三 次 時, 其 危 險 程 度 就 為 最 高, 因 此 固 定 中 央 值 c=5, 也 就 是 說 當 x 5其 危 險 函 數 值 f=µ(x)=1, 另 外 如 果 改 變 二 個 參 數 值 (s,m), 就 可 以 改 變, 隸 屬 函 數 的 圖 型, 如 果 只 改 變 s 的 話, 如 圖 十 四 所 示 ( 以 c=10, m=5, s=2,3,4,5,6,7) : 35

43 圖 十 四 模 糊 隸 屬 函 數 圖 (s 不 同 ) 36

44 如 果 只 改 變 m 的 話, 如 圖 十 五 所 示 ( 以 c=10, s=5, m=3,5,7) : 圖 十 五 模 糊 隸 屬 函 數 圖 (m 不 同 ) 高 斯 隸 屬 函 數 所 呈 現 的 表 現 較 符 合 本 研 究 所 期 望 的 智 能 表 現, 本 研 究 所 期 望 的 智 能 表 現 並 非 是 直 線 提 高 其 危 險 程 度, 而 是 要 根 據 不 同 的 需 求, 去 改 變 其 學 習 的 效 果, 例 如 如 果 目 前 希 望 一 個 後 知 後 覺 的 NPC, 那 應 該 要 如 圖 十 四 中 6 號 曲 線 ( 黃 色 ) 所 呈 現 的 結 果, 相 反 的 如 要 一 個 學 習 能 力 很 強 大 的 NPC, 就 要 s與 m兩 值 都 提 高, 如 圖 十 四 中 1 號 曲 線 的 結 果 ( 或 是 更 加 垂 直 ) 因 此 本 研 究 期 望 可 以 利 用 不 同 參 數 值 的 隸 屬 函 數, 可 以 用 來 做 為 調 整 難 度 的 機 制 37

45 4.5 實 驗 結 果 根 據 前 三 節 所 討 論, 本 研 究 想 探 討 不 同 模 糊 隸 屬 函 數 參 數 值 與 不 同 的 獎 懲 值 大 小 設 定 對 於 結 果 的 影 響, 將 不 同 的 值 代 入 實 驗 中, 並 紀 錄 NPCs 坦 克 需 要 多 少 回 合 才 能 學 到 唯 一 的 路 線, 得 到 的 結 果 中 發 現, 原 本 預 期 依 照 不 同 的 模 糊 參 數 值 (s與 m 值 ), NPCs會 有 不 同 的 行 為 模 式, 藉 此 可 以 調 整 遊 戲 的 難 度, 但 經 過 實 驗 發 現, 模 糊 參 數 值 的 調 整 並 不 能 達 到 原 本 的 預 期, 在 不 同 的 參 數 設 定 下, 只 會 影 響 數 據 的 穩 定 性, 而 不 會 形 成 不 同 的 行 為 表 現, 反 而 是 不 同 的 獎 懲 設 定 對 於 NPCs 行 為 模 式 影 響 程 度 較 大, 如 圖 十 六 所 示 及 說 明 圖 十 六 模 糊 函 數 實 驗 結 果 圖 圖 十 中, 從 所 有 結 果 挑 出 s=3,5與 m=3,5來 呈 現, 1 號 ( 藍 色 ) 線 條 代 表 模 糊 參 數 值 m=3 與 s=3的 四 種 不 同 獎 懲 值 下 的 結 果, 同 理, 2 號 ( 紅 色 ) 線 條 是 m=3與 s=5的 四 種 結 果,3 號 ( 綠 色 ) 線 條 是 m=5與 s=3的 四 種 結 果, 4 號 ( 黑 色 ) 線 條 是 m=5與 s=5的 四 種 結 果 而 A,B,C,D 四 點 則 是 代 表 在 該 模 糊 參 數 下 的 四 種 獎 懲 值 ( 參 考 4.3 節 ), 分 別 為 (40,20,20,10) (40,20,20,0) (40,15,20,10) 與 (40,20,20,5), 其 中 第 一 個 數 值 為 坦 克 順 利 走 到 終 點, 該 條 策 略 所 增 加 的 值, 第 二 個 數 值 為 坦 克 順 利 走 到 終 點, 別 條 策 略 所 減 少 38

46 ,Y 軸 為 當 坦 克 學 到 唯 一 一 條 路 線 所 需 的 回 合 數 從 圖 中 可 以 看 出, 改 變 不 同 的 模 糊 函 數, 並 不 能 藉 由 函 數 的 改 變 來 改 變 學 習 的 模 式 的 不 同, 但 是 當 s 與 m 兩 者 參 數 都 增 加 的 情 型 下, 會 讓 NPCs 坦 克 的 學 習 效 果 越 一 致, 也 就 是 不 受 到 不 同 獎 懲 設 定 的 影 響 另 外, 改 變 獎 懲 的 大 小 會 直 接 影 響 學 習 的 表 現 ( 學 習 的 快 與 慢 ), 當 坦 克 撞 到 炸 彈, 別 條 策 略 所 增 加 的 值 越 少, 學 習 越 快, 這 也 是 合 理 的 行 為, 但 是 如 果 太 少 雖 然 學 的 比 較 快, 但 也 表 示 坦 克 就 會 減 少 嘗 試 其 他 路 線 的 機 會, 如 此 一 來 當 環 境 改 變 時 NPC 坦 克 可 能 就 不 懂 得 如 何 應 變, 因 此 從 以 上 結 果 可 以 看 出, 不 同 的 需 求 會 有 不 同 的 參 數 值, 換 句 話 說, 在 不 同 類 型 的 遊 戲 環 境 下, 會 有 不 同 的 參 數 設 定 雖 然 從 結 果 可 以 看 出 模 糊 函 數 並 不 能 改 變 行 為 模 式, 但 是 整 體 而 言, 模 糊 獎 懲 的 結 果 會 比 固 定 獎 懲 更 有 效 率 ( 學 習 的 回 合 數 較 少 ), 因 此 雖 然 從 實 驗 結 果 無 法 得 到 調 整 難 度 機 制 的 方 法, 但 是 利 用 模 糊 獎 懲 的 增 強 式 學 習 還 是 會 比 固 定 獎 懲 的 傳 統 增 強 式 學 習 更 有 效 率 此 外, 如 果 是 不 同 類 型 的 遊 戲, 可 能 需 要 不 同 的 學 習 曲 線, 像 是 第 一 人 稱 射 擊 遊 戲 與 即 時 戰 略 類 型 中,NPCs 需 要 的 可 能 是 比 較 穩 定 的 學 習 曲 線, 讓 NPCs 可 以 從 與 玩 家 互 動 中 穩 定 的 學 習, 不 會 讓 玩 家 突 然 覺 得 強 度 變 化 太 大, 不 可 預 測 ; 但 是 像 是 運 動 或 動 作 類 型 遊 戲 可 能 需 要 變 化 較 大 的 學 習 曲 線, 這 類 型 的 遊 戲 對 於 強 度 的 敏 感 度 較 低, 畢 竟 人 類 本 來 就 會 有 失 誤 的 情 形 產 生, 在 這 種 類 型 遊 戲 中, 如 果 NPCs 突 然 做 變 強 或 變 弱 並 不 會 讓 玩 家 覺 得 奇 怪, 反 而 只 會 覺 得 NPCs 只 是 產 生 失 誤, 但 是 整 體 而 言 並 不 會 造 成 影 響 39

47 4.6 遊 戲 呈 現 與 遊 戲 結 果 在 實 際 的 遊 戲 上, 本 研 究 利 用 魔 獸 爭 霸 三 的 編 輯 器 做 出 一 個 實 際 可 以 玩 的 遊 戲, 魔 獸 爭 霸 三 為 Blizzard 公 司 在 2000年 所 發 表 製 作 的 遊 戲, 遊 戲 中 附 有 遊 戲 編 輯 器 (world editor, 圖 十 七 ) 來 讓 玩 家 自 己 設 計 自 己 想 要 的 關 卡, 可 以 發 表 在 遊 戲 官 方 伺 服 器 戰 網 (Battle net, 圖 十 八 ) 之 上, 讓 所 有 玩 家 玩 到 自 己 設 計 的 圖, 因 為 其 功 能 非 常 齊 全, 因 此 受 到 玩 家 的 愛 戴, 創 造 出 許 多 小 遊 戲, 如 圖 如 當 下 很 紅 的 Dota TD等 等 小 遊 戲 都 是 從 玩 家 自 行 設 計 進 而 發 表 在 戰 網 上 面, 許 多 遊 戲 甚 至 成 為 經 典 且 被 視 為 一 種 新 的 遊 戲 類 型, 如 Dota 類 型 遊 戲, 原 是 為 Defend of the Ancient, 是 一 名 歐 洲 玩 家 eul 所 自 行 設 計 出 的 新 遊 戲 類 型, 玩 家 分 成 兩 邊 陣 營 控 制 英 雄 去 攻 打 對 方 軍 營, 該 遊 戲 融 合 了 許 多 要 素, 如 升 級 系 統 道 具 系 統 技 能 系 統 等, 擁 有 龐 大 的 玩 家 群, 雖 然 在 魔 獸 爭 霸 資 料 片 時 停 止 更 新, 但 是 因 此 有 非 常 多 的 玩 家 按 照 這 樣 此 類 型 設 計 去 研 發 新 圖, 像 是 國 外 的 Dota allstar 與 Dota chaos, 國 內 的 真 三 國 無 雙 信 長 的 野 望 等 等, 甚 至 還 有 遊 戲 公 司 專 門 獨 立 研 發 此 一 類 型 的 遊 戲, 如 League of Lengends(Riot games,2009) Heros of Newerth(S2 games,2010) 與 中 國 自 行 研 發 的 夢 三 國 ( 杭 州 電 魂,2010) 等 等 遊 戲 圖 十 七 遊 戲 編 輯 器 ( 資 料 來 源 : 魔 獸 爭 霸 III 截 圖, 版 權 所 有 :Blizzard) 40

48 圖 十 八 戰 網 示 意 圖 ( 資 料 來 源 : 魔 獸 爭 霸 III 截 圖, 版 權 所 有 :Blizzard) 根 據 之 前 所 提 的 遊 戲 概 念, 本 研 究 製 作 了 一 個 坦 克 對 戰 的 遊 戲 ( 如 圖 十 九 ), 在 這 一 遊 戲 中, 玩 家 可 以 控 制 在 下 方 的 玩 家 坦 克 移 動 且 攻 擊, 會 有 NPC 坦 克 從 上 面 出 現, 並 且 會 有 隨 機 的 牆 ( 圖 十 四 中 藍 色 的 橫 槓 ) 出 現 來 阻 擋 玩 家 的 攻 擊, NPC坦 克 會 利 用 模 糊 增 強 式 學 習 技 術 不 斷 的 學 習 到 玩 家 的 攻 擊 行 為, 進 而 利 用 牆 壁 來 躲 開 玩 家 的 攻 擊, 當 NPC 坦 克 往 下 走 到 玩 家 的 基 地 時, 玩 家 將 會 受 到 攻 擊, 並 降 低 生 命 值, 而 當 玩 家 成 功 擊 敗 NPC 坦 克 時 就 會 提 高 自 身 的 分 數, 當 玩 家 生 命 值 降 低 成 零 時 遊 戲 就 結 束, 分 數 最 高 的 玩 家 就 是 此 一 遊 戲 的 贏 家 41

49 圖 十 九 遊 戲 畫 面 圖 ( 資 料 來 源 : 魔 獸 爭 霸 III 截 圖, 版 權 所 有 :Blizzard) 本 實 驗 讓 NPC 坦 克 具 有 模 糊 增 強 式 學 習 的 人 工 智 慧, 一 開 始 NPC 坦 克 會 隨 機 選 擇 路 線 並 且 紀 錄 路 線 到 路 線 資 料 庫 內, 當 NPC 坦 克 被 玩 家 擊 敗 或 是 成 功 走 到 最 底 部, 就 算 本 回 合 結 束, 接 著 下 一 回 合 開 始 NPC 坦 克 會 從 隨 機 或 是 從 路 線 資 料 庫 中 選 擇 出 這 回 合 要 執 行 的 路 線, 如 果 是 由 隨 機 選 擇 路 線 的 話, 則 會 判 斷 是 否 是 一 條 新 的 路 線, 新 的 路 線 就 再 將 這 條 路 線 紀 錄 起 來 到 資 料 庫 內, 其 流 程 圖 如 圖 二 十 42

50 圖 二 十 遊 戲 進 行 流 程 圖 43

51 在 此 實 驗 中, 使 用 ε-greedy 演 算 法 來 決 定 NPC 是 否 決 定 探 索 新 路 線, 設 定 的 機 率 為 10%, 而 路 線 的 選 擇 機 制 則 是 利 用 前 導 實 驗 所 做 出 的 結 果, 使 用 SARSA 演 算 法 的 模 糊 增 強 式 學 習, 模 糊 隸 屬 函 數 是 使 用 高 斯 隸 屬 函 數, 參 數 為 c=10 s=5 以 及 m=5, 每 條 新 產 生 的 路 線 都 會 給 予 路 線 的 選 擇 值 t, 其 初 始 值 設 定 為 50, 每 回 合 結 束 後 都 會 做 重 複 運 算, 此 值 就 會 決 定 路 線 被 選 擇 出 來 的 機 率 大 小, 也 就 是 說 當 NPC 坦 克 在 此 條 路 線 被 擊 敗 時, 就 會 根 據 SARSA 演 算 法 去 懲 罰 此 條 路 線, 減 少 t 值, 反 之 則 會 增 加 t 值 NPC 坦 克 會 學 習 到 如 何 利 用 地 型 避 開 玩 家 的 攻 擊, 因 實 驗 需 求, 本 實 驗 設 定 一 面 牆 讓 NPC 坦 克 必 能 成 功 避 開 攻 擊 並 成 功 抵 達 目 標, 也 就 是 玩 家 一 定 會 因 為 生 命 被 扣 完 而 結 束 遊 戲, 最 後 再 以 玩 家 所 取 得 的 分 數 來 當 勝 負 的 判 別 遊 戲 完 成 之 後, 再 將 此 遊 戲 放 到 戰 網 上 讓 玩 家 下 載, 在 遊 戲 的 過 程 中 可 以 發 現, 玩 家 對 於 NPC 坦 克 會 避 開 攻 擊 感 到 很 有 趣, 且 為 了 取 得 更 高 分 會 想 盡 辦 法 去 擊 敗 NPC 坦 克, 如 果 想 要 挑 戰 不 同 的 難 度 或 玩 法, 也 可 以 藉 著 改 變 牆 的 位 置 或 是 改 變 增 強 式 學 習 的 獎 懲 值 設 定, 讓 NPC 坦 克 可 以 有 不 同 的 表 現, 玩 家 因 此 可 以 與 NPC 坦 克 鬥 智 產 生 樂 趣 44

52 4.7 如 何 實 際 應 用 模 糊 增 強 式 學 習 從 本 研 究 得 知, 模 糊 增 強 式 學 習 確 實 是 可 以 應 用 在 坦 克 類 型 遊 戲 之 中, 但 是 數 位 遊 戲 有 很 多 類 型, 在 不 同 的 遊 戲 類 型 可 能 會 有 不 同 的 應 用 情 形 1. 第 一 人 稱 遊 戲 類 型 例 如 在 第 一 人 稱 射 擊 遊 戲 中 就 可 以 本 研 究 所 做 的 路 徑 搜 尋 功 能, 第 一 人 稱 射 擊 遊 戲 中 的 NPCs 跟 坦 克 對 戰 類 型 遊 戲 有 異 曲 同 工 之 妙,NPCs 都 需 要 知 道 去 避 開 危 險, 找 到 一 條 安 全 且 可 以 擊 敗 的 玩 家 的 路 徑, 不 同 的 是 第 一 人 稱 射 擊 遊 戲 通 常 會 更 複 雜, 會 有 更 多 因 素 來 影 響 NPCs 的 決 定, 例 如 與 玩 家 的 距 離 武 器 的 不 同 是 否 要 與 玩 家 硬 碰 硬 等 等, 要 將 更 多 的 因 素 加 入 路 線 危 險 程 度 的 考 慮, 但 是 同 樣 的 是 可 以 讓 模 糊 增 強 式 學 習 成 為 NPCs 選 擇 路 徑 的 一 個 依 據, 讓 NPCs 有 更 具 人 性 化 的 行 動 表 現 2. 角 色 扮 演 類 型 如 果 是 以 目 前 最 熱 門 的 線 上 角 色 扮 演 類 型 的 遊 戲, 或 許 可 以 將 模 糊 增 強 式 學 習 技 術 應 用 在 敵 方 NPCs 的 出 招 模 式 上, 在 此 類 型 的 遊 戲 中, 最 吸 引 玩 家 的 過 程 通 常 是 集 合 許 多 玩 家 一 起 去 打 敗 強 大 的 敵 方 頭 目 (NPCs) 來 取 得 稀 有 的 物 品 獎 勵, 而 不 同 的 NPCs 可 能 就 會 有 不 一 樣 的 行 為 模 式, 雖 然 同 樣 的 一 個 NPC 可 能 會 有 許 多 不 同 的 行 為, 但 是 不 同 的 行 為 通 常 會 是 隨 機 產 生 的, 因 此 玩 家 在 玩 過 幾 次 後 通 常 會 知 道 NPC 會 有 哪 幾 種 行 為, 該 如 何 避 開 NPC 的 招 式, 所 以 玩 過 幾 次 後 打 頭 目 NPC 的 過 程 就 變 成 有 固 定 的 模 式 且 不 斷 重 複 的 無 趣 過 程, 遊 戲 公 司 也 必 須 要 一 直 出 更 多 不 同 的 場 景 與 不 同 的 NPCs 來 因 應 玩 家 的 需 求, 因 此 如 果 能 讓 NPCs 都 具 有 模 糊 增 強 式 學 習 的 人 工 智 慧, 讓 NPCs 可 以 學 習 到 玩 家 的 行 為, 進 而 選 擇 不 同 的 行 為 模 式, 就 可 以 讓 遊 戲 變 得 更 有 趣, 延 長 遊 戲 的 壽 命 45

53 3. 即 時 戰 略 遊 戲 類 型 以 即 時 戰 略 類 型 遊 戲 而 言, 模 糊 增 強 式 學 習 可 以 應 用 在 NPC 的 出 兵 選 擇 上, 在 此 類 型 的 遊 戲 中, 兵 種 的 相 剋 是 取 得 勝 利 的 一 個 重 要 因 素, 但 是 玩 家 常 會 異 想 天 開 的 發 展 出 許 多 不 同 的 兵 種 來 做 搔 擾 戰 術, 如 果 要 用 規 則 基 礎 方 法 來 做 NPCs 人 工 智 慧 技 術 的 話, 可 能 需 要 很 非 龐 大 的 程 式 碼 才 能 達 到 目 標, 而 且 這 類 型 的 遊 戲 會 不 斷 的 更 新 以 求 平 衡, 如 此 一 來 各 個 兵 種 在 不 同 的 版 本 可 能 會 有 不 一 樣 的 功 能, 但 NPCs 卻 不 會 像 人 類 玩 家 一 樣 用 經 驗 去 學 習 在 不 同 版 本 情 形 下 的 玩 法, 如 果 有 增 強 式 學 習 的 技 術, 也 就 可 以 不 需 要 重 新 寫 NPCs 的 人 工 智 慧 程 式 碼, 而 是 直 接 讓 NPCs 去 學 習 玩 家 的 玩 法, 並 且 做 出 相 對 應 的 兵 種 來 剋 制 玩 家 的 玩 法, 如 此 一 來 就 可 以 讓 遊 戲 更 具 挑 戰 且 有 趣 4. 回 合 式 戰 略 類 型 遊 戲 在 回 合 式 戰 略 類 型 遊 戲 中, 通 常 玩 家 會 挑 戰 同 樣 的 一 個 局 面 很 多 次, 想 出 不 同 的 戰 略 來 打 贏 電 腦, 就 像 是 下 一 盤 棋 一 樣, 因 此, 這 類 型 遊 戲 的 流 程 非 常 適 用 增 強 式 學 習 技 術, 如 果 可 以 讓 NPCs 學 習 到 移 動 不 同 的 棋 子 ( 或 遊 戲 中 電 腦 所 控 制 的 兵 力 ) 時, 玩 家 會 有 怎 樣 不 同 的 反 應, 並 且 瞭 解 到 玩 家 曾 出 現 過 的 怪 招, 就 可 以 加 強 難 度, 並 且 讓 玩 家 更 具 挑 戰, 畢 竟 這 類 型 的 遊 戲 就 是 要 讓 玩 家 不 斷 的 嘗 試 不 同 的 戰 略 去 取 得 勝 利, 因 此 增 強 式 學 習 會 非 常 適 用 5. 其 他 類 型 除 此 之 外, 還 可 以 應 用 在 許 多 不 同 種 類 的 遊 戲 之 中, 但 是 最 主 要 的 應 用 在 於 當 NPCs 要 選 擇 如 何 應 對 玩 家 的 行 為 時, 如 以 上 所 提 到 的 NPCs 要 選 擇 不 同 的 路 徑 避 開 玩 家, 或 是 選 擇 不 同 的 招 式 來 打 敗 玩 家 等 等, 這 也 就 是 玩 家 想 要 遊 戲 中 NPCs 具 有 人 工 智 慧 技 術 的 一 大 原 因, 只 要 NPCs 應 對 玩 家 行 為 可 以 更 人 性 化 且 聰 明, 那 就 會 讓 玩 家 覺 得 自 己 並 不 是 在 跟 單 調 的 電 腦 玩, 而 是 一 個 會 思 考 的 機 器, 如 此 一 來 就 可 以 增 加 遊 戲 的 耐 玩 性 與 樂 趣 46

54 雖 然 增 強 式 學 習 技 術 可 以 應 用 在 許 多 不 同 類 型 的 的 遊 戲 中, 但 仍 然 有 許 多 不 合 適 的 類 型, 像 是 : 6. 運 動 遊 戲 類 型 在 運 動 遊 戲 類 型 中, 大 部 份 的 NPCs 行 為 模 式 都 非 常 複 雜, 而 且 常 常 不 只 有 一 兩 個 行 為 目 標, 同 時 運 動 遊 戲 類 型 的 玩 家 常 常 是 兩 個 人 以 上, 在 此 種 情 形 下, 要 應 用 增 強 式 學 習 技 術 可 能 會 非 常 的 困 難, 除 了 要 有 更 複 雜 的 演 算 法 之 外, 還 不 一 定 可 以 有 很 好 的 效 率, 如 果 要 應 用 增 強 式 學 習 技 術 的 話, 可 能 就 要 限 制 許 多 的 條 件 7. 動 作 遊 戲 類 型 ( 如 格 鬥 遊 戲 等 ) 增 強 式 學 習 技 術 在 動 作 遊 戲 類 型 中 會 非 常 的 不 適 用, 如 同 運 動 遊 戲 類 型 一 樣, 動 作 遊 戲 類 型 有 太 複 雜 的 行 為 模 式, 且 這 類 型 的 遊 戲 的 NPCs 並 不 需 要 太 聰 明 或 是 複 雜 的 行 為, 通 常 只 需 要 幾 種 簡 單 的 行 為, 讓 玩 家 在 玩 的 過 程 中 知 道 如 何 擊 敗, 並 因 此 取 得 快 感, 如 果 NPCs 具 有 太 強 大 的 學 習 能 力, 會 讓 遊 戲 變 得 太 過 複 雜 與 困 難, 反 而 失 去 樂 趣 47

55 4.8 本 章 小 結 從 本 章 對 於 模 糊 增 強 式 學 習 的 一 個 前 導 實 驗 中 可 以 看 出 以 下 幾 點 : I. 模 糊 增 強 式 學 習 的 一 個 實 作 中 可 以 看 出, 增 強 式 學 習 確 實 可 以 讓 NPC 坦 克 在 一 段 時 間 內 找 到 一 條 正 確 的 路 線, II. 用 模 糊 獎 懲 機 制 去 取 代 固 定 獎 懲 機 制 可 以 提 高 增 強 式 學 習 的 效 率, III. 另 外, 模 糊 隸 屬 函 數 的 選 擇 可 以 改 變 NPCs 的 學 習 模 式, 但 是 並 無 規 律 可 尋, 在 不 同 的 遊 戲 環 境 下 可 能 需 要 不 同 的 隸 屬 函 數 來 改 變 NPCs 的 行 為 模 式 此 外, 本 研 究 也 實 際 的 做 出 了 一 個 坦 克 對 戰 的 遊 戲, 在 遊 戲 中 的 NPC 坦 克 具 有 模 糊 增 強 式 學 習 的 能 力,NPC 坦 克 依 據 不 同 環 境 ( 障 礙 物 與 玩 家 行 為 ) 下 做 出 不 同 的 反 應, 讓 玩 家 覺 得 NPC 坦 克 是 具 有 智 慧 的 從 實 驗 中 就 可 以 看 出 模 糊 增 強 式 學 習 確 實 可 應 用 在 數 位 遊 戲 之 上, 並 且 也 可 以 有 很 好 的 效 率 48

56 第 5 章 結 論 本 章 將 對 本 研 究 所 獲 得 之 結 果 進 行 總 結 與 討 論, 從 前 導 實 驗 中 可 以 看 出 增 強 式 學 習 的 效 果, 以 及 模 糊 理 論 提 高 效 率 的 成 果, 實 驗 的 結 果 也 證 明 了 本 研 究 的 研 究 假 設, 以 下 各 節 將 依 序 對 於 本 研 究 做 一 個 整 體 的 結 論, 以 及 探 討 如 何 應 用 模 糊 增 強 式 學 習 在 不 同 類 型 的 遊 戲 之 中, 最 後 是 本 研 究 的 各 種 限 制 與 未 來 可 以 發 展 的 研 究 議 題 5.1 摘 要 遊 戲 人 工 智 慧 對 數 位 遊 戲 而 言 是 很 重 要 的 一 個 環 節, 遊 戲 人 工 智 慧 讓 遊 戲 中 的 NPCs 可 以 表 現 得 更 聰 明, 但 是 數 位 遊 戲 中 NPCs 所 需 要 的 人 工 智 慧 並 非 完 美 的 人 工 智 慧, 不 會 出 錯 的 人 工 智 慧 會 讓 玩 家 產 生 壓 力, 反 而 讓 玩 家 對 遊 戲 失 去 耐 心, 在 此 一 前 題 之 下, 增 強 式 學 習 技 術 是 一 個 解 決 方 案 增 強 式 學 習 是 一 種 以 過 去 經 驗 來 學 習 的 人 工 智 慧 技 術, 目 前 已 經 在 各 個 領 域 被 廣 為 應 用, 但 是 在 數 位 遊 戲 中 的 應 用 還 非 常 少, 最 大 的 原 因 就 是 因 為 其 需 要 很 長 的 一 段 試 誤 學 習 過 程, 但 是 這 樣 的 特 性 並 不 適 用 於 數 位 遊 戲 之 中, 因 此 本 研 究 就 利 用 模 糊 獎 懲 來 取 代 原 本 的 固 定 獎 懲, 以 期 改 善 其 效 率 本 研 究 實 際 的 做 出 一 款 坦 克 對 戰 的 遊 戲 來 當 作 實 驗 的 平 台, 讓 其 中 的 NPC 坦 克 具 有 模 糊 增 強 式 學 習 的 人 工 智 慧, 在 此 之 前, 也 做 了 一 個 前 導 實 驗 去 探 討 不 同 參 數 對 於 模 糊 增 強 式 學 習 的 影 響 實 驗 的 結 果 顯 示, 本 研 究 成 功 的 利 用 增 強 式 學 習 讓 遊 戲 中 的 NPC具 有 如 人 類 的 學 習 思 考 模 式, 模 擬 獎 懲 可 以 加 快 增 強 式 學 習 的 效 率, 當 學 習 的 效 率 提 高 後, 就 可 以 實 際 的 應 用 在 數 位 遊 戲 之 中, 從 前 導 實 驗 之 中 得 知, 獎 懲 機 制 對 於 整 體 的 表 現 有 很 大 的 影 響, 如 果 獎 勵 過 高, 雖 然 會 正 向 的 提 高 效 率, 但 是 過 高 則 會 造 成 實 驗 永 遠 不 會 結 束 的 後 果, 如 果 太 低, 又 會 讓 代 理 人 學 習 過 慢, 變 得 非 常 沒 有 效 率, 而 且 不 同 的 遊 戲 設 計 之 下, 會 需 要 有 不 同 的 獎 懲 值 設 定, 根 據 遊 戲 的 需 求 來 調 整 獎 懲 值 的 高 低 與 模 糊 獎 懲 函 數 模 擬 函 數 雖 然 很 明 顯 的 可 以 提 高 效 率, 但 是 並 不 能 如 原 本 預 期 的 來 調 整 其 遊 戲 難 度 49

57 5.2 結 論 本 研 究 成 功 的 應 用 增 強 式 學 習 技 術 在 數 位 遊 戲 之 中, 因 應 本 研 究 的 研 究 假 設 (p.11), 可 以 得 到 以 下 幾 點 結 論 : 研 究 假 設 I: 本 研 究 假 設 在 傳 統 數 位 遊 戲 中 加 入 增 強 式 學 習 技 術 可 以 讓 遊 戲 中 的 NPCs 具 有 學 習 的 能 力, 會 依 據 玩 家 不 同 的 行 為 來 做 出 不 同 的 反 應, 並 可 適 應 遊 戲 環 境 的 改 變 進 行 調 整 從 本 研 究 的 實 驗 中, 可 以 看 出 NPCs 具 有 增 強 式 學 習 的 人 工 智 慧 時 可 以 讓 NPCs 學 習 到 如 何 避 開 炸 彈, 學 到 唯 一 的 策 略, 如 表 十 二 ( 詳 細 介 紹 見 本 論 文 4.3 節 ) 固 定 獎 懲 (E1) 平 均 約 55 次 可 以 學 到 唯 一 路 線 (E2 為 模 糊 獎 懲 ), 即 使 環 境 改 變 或 是 玩 家 行 為 不 同 導 致 的 狀 態 不 同,NPCs 都 可 以 馬 上 感 知 到, 改 變 自 己 的 行 為, 選 擇 不 同 的 路 線, 如 圖 二 十 一 所 示 圖 二 十 一 實 驗 環 境 改 變 坦 克 學 習 圖 50

58 研 究 假 設 II: 利 用 模 糊 理 論 提 昇 增 強 式 學 習 效 率 從 本 研 究 的 實 驗 數 據 可 以 看 出, 模 糊 獎 懲 與 固 定 獎 懲 有 很 大 的 差 距 ( 相 差 約 二 十 回 合, 詳 細 說 明 見 4.3 節 ), 模 糊 獎 懲 可 以 有 效 的 改 善 學 習 效 率, 當 效 率 改 善 後 實 際 在 數 位 遊 戲 中 應 用 的 可 行 性 將 會 大 大 的 提 昇 從 實 驗 結 果 也 可 以 看 出 ( 見 表 十 三 ), 應 用 增 強 式 學 習 技 術 於 數 位 遊 戲 NPCs 中 的 關 鍵 在 於 獎 懲 機 制 的 設 定, 獎 懲 值 的 高 低 直 接 影 響 到 增 強 式 學 習 的 效 果 與 效 率 設 定 不 當, 反 而 可 能 會 無 法 發 揮 效 果, 模 糊 獎 懲 的 機 制 可 以 讓 獎 懲 的 設 定 更 有 變 化, 同 時 也 改 善 了 傳 統 增 強 式 學 習 的 效 率, 當 增 強 式 學 習 效 率 改 善 後, 就 可 以 應 用 在 許 多 不 同 類 型 的 遊 戲 中, 讓 數 位 遊 戲 的 NPCs 更 聰 明, 行 為 更 人 性 化, 遊 戲 也 會 因 此 增 加 耐 玩 性 與 互 動 性 表 十 三 實 驗 結 果 表 ID E1 E mean success rate E1: 固 定 獎 懲 E2: 模 糊 獎 懲 51