行 政 院 國 家 科 學 委 員 會 補 助 專 題 研 究 計 畫 成 果 報 告 睡 眠 研 究 中 鼾 聲 之 聲 學 分 析 計 畫 類 別 : 個 別 型 計 畫 整 合 型 計 畫 計 畫 編 號 :NSC E 執 行 期 間 :95 年 8 月 1

Transcription

1 行 精 類 行 年 年 行 立 參 理 林 論 理 年

2 行 政 院 國 家 科 學 委 員 會 補 助 專 題 研 究 計 畫 成 果 報 告 睡 眠 研 究 中 鼾 聲 之 聲 學 分 析 計 畫 類 別 : 個 別 型 計 畫 整 合 型 計 畫 計 畫 編 號 :NSC E 執 行 期 間 :95 年 8 月 1 日 至 96 年 7 月 31 日 計 畫 主 持 人 : 廖 文 宏 共 同 主 持 人 : 楊 建 銘 計 畫 參 與 人 員 : 林 裕 凱 紀 煜 豪 本 成 果 報 告 包 括 以 下 應 繳 交 之 附 件 : 赴 國 外 出 差 或 研 習 心 得 報 告 一 份 赴 大 陸 地 區 出 差 或 研 習 心 得 報 告 一 份 出 席 國 際 學 術 會 議 心 得 報 告 及 發 表 之 論 文 各 一 份 國 際 合 作 研 究 計 畫 國 外 研 究 報 告 書 一 份 執 行 單 位 : 國 立 政 治 大 學 資 訊 科 學 系 中 華 民 國 96 年 10 月 31 日 1

3 睡 眠 研 究 中 鼾 聲 之 聲 學 分 析 Acoustic Analysis of Snoring Sounds in Sleep Studies 計 畫 編 號 :NSC E 執 行 期 限 :95 年 8 月 1 日 至 96 年 7 月 31 日 主 持 人 : 廖 文 宏 計 畫 參 與 人 員 : 林 裕 凱 紀 煜 豪 執 行 機 構 及 單 位 名 稱 : 國 立 政 治 大 學 資 訊 科 學 系 一 中 文 摘 要 本 研 究 探 討 的 內 容 主 要 關 於 人 聲 分 類 研 究 在 第 一 個 層 次 我 們 將 家 庭 環 境 中 的 聲 音 分 為 說 話 聲 人 聲 非 說 話 聲 以 及 環 境 音 三 種 為 了 達 到 此 目 標, 我 們 尋 找 了 許 多 特 徵 並 找 出 合 適 的 幾 個 做 為 判 別 的 參 數 在 夜 間 睡 眠 研 究 的 部 分, 我 們 希 望 可 以 將 整 晚 的 睡 眠 資 料 分 為 鼾 聲 與 非 鼾 聲 兩 部 分, 針 對 鼾 聲 的 部 分 再 深 入 去 探 討 是 否 有 呼 吸 中 止 症 的 情 況 產 生 最 後, 我 們 也 結 合 視 訊 資 料, 自 動 判 斷 睡 姿 與 翻 身 狀 況, 並 探 討 睡 眠 時 姿 勢 與 鼾 聲 間 的 關 係 關 鍵 詞 : 音 訊 分 類 鼾 聲 分 析 睡 眠 呼 吸 中 止 症 Abstract In this research, we describe the classification of audio signals in a smart home environment and in all-night sleep studies. In a home environment, our objective is different from most audio scene analysis projects in that we are mainly concerned with the distinction of human and non-human sounds. Toward this goal, we identify appropriate features to be extracted from audio files and discuss the rationale behind choosing a particular feature. In all-night sleep recording, we describe the classification of audio signals recorded in all-night sleep studies. Our objective is to separate the episodes into snoring sounds and non-snoring sounds. We perform further analysis of the extracted snoring sounds to check if the testee has apnea. Finally, we have also developed algorithms to automatically process video captured during sleep in an attempt to reveal the relationship between posture and the characteristics of snoring sounds. Keywords: Audio classification, snoring analysis, OSA. 二 緣 由 與 目 的 睡 眠 是 人 類 生 命 歷 程 中 重 要 的 一 環, 隨 著 現 代 工 商 社 會 生 活 型 態 的 改 變, 睡 眠 問 題 也 日 益 嚴 重, 據 統 計, 台 灣 地 區 約 有 超 過 20% 的 人 口 有 程 度 不 一 的 睡 眠 障 礙 [1,2], 也 因 此 近 來 有 諸 多 醫 療 或 研 究 機 構 建 立 睡 眠 中 心, 進 行 睡 眠 品 質 的 評 估 以 及 睡 眠 問 題 的 診 斷 與 治 療 在 出 現 睡 眠 問 題 的 案 例 中, 有 若 干 比 例 是 為 鼾 聲 所 困 擾, 導 致 其 本 身 以 及 同 住 者 之 睡 眠 品 質 受 到 直 接 的 影 響 鼾 聲 的 成 因 主 要 有 上 呼 吸 道 的 阻 塞 呼 吸 道 某 些 地 方 的 肌 肉 鬆 弛 咽 喉 黏 膜 出 現 異 常 氣 道 過 於 狹 小 等, 而 發 生 的 時 機 大 多 是 在 睡 覺 的 時 候, 此 時 患 者 往 往 需 要 增 強 他 們 呼 吸 的 強 度 來 獲 得 足 夠 的 氧 氣 當 呼 吸 道 完 全 阻 塞 時, 此 人 已 經 不 再 單 純 只 是 打 鼾, 阻 塞 型 睡 眠 呼 吸 中 止 症 (Obstructive Sleep Apnea Syndrome, OSAS) 的 情 況 也 會 跟 著 產 生 ( 見 圖 一 ), 患 者 常 常 會 因 為 這 樣 的 症 狀 造 成 血 氧 濃 度 過 低, 以 至 於 在 睡 眠 的 過 程 中 需 要 耗 費 更 多 的 力 氣 呼 吸, 此 時 睡 眠 往 往 會 被 打 斷, 患 者 在 夜 間 會 不 斷 的 醒 來 目 前 的 治 療 或 紓 解 方 案, 進 而 使 得 睡 眠 品 質 低 落, 情 況 嚴 重 者 白 天 的 生 活 作 息 將 嚴 重 的 受 到 影 響, 在 工 作 上 無 法 集 中 精 神, 更 2

4 會 對 家 人 甚 至 鄰 居 產 生 甚 多 困 擾 圖 一 (a) 因 呼 吸 道 阻 塞 造 成 嚴 重 鼾 聲 圖 一 (b) 產 生 呼 吸 中 止 現 象 以 國 內 之 醫 療 院 所 而 言, 對 於 鼾 聲 的 診 斷 與 治 療, 目 前 集 中 在 耳 鼻 喉 科 胸 腔 科 與 睡 眠 研 究 中 心, 而 檢 測 的 方 式, 則 多 採 用 多 頻 道 睡 眠 生 理 記 錄 (polysomnography, PSG) PSG 主 要 是 根 據 腦 波 (electroencephalogram, EEG) 眼 電 圖 (electroculogram, EOG) 以 及 下 顎 的 肌 電 圖 (electromyogram, EMG), 將 整 夜 的 睡 眠 區 分 為 階 段 一 至 階 段 四 的 睡 眠, 以 及 快 速 動 眼 睡 眠 (rapid eye movement sleep, REM) 五 個 階 段, 其 中 階 段 三 及 階 段 四 的 睡 眠 又 稱 為 慢 波 睡 眠 (slow wave sleep, SWS) 或 深 度 睡 眠 (deep sleep), 階 段 一 至 階 段 四 的 睡 眠 又 稱 為 NREM(non-rapid eye movement sleep), 整 夜 的 睡 眠 會 在 REM 及 NREM 睡 眠 間 擺 盪, 整 晚 約 五 個 週 期 ( 見 圖 二 ) 國 內 外 針 對 鼾 聲 的 分 析, 多 集 中 醫 學 領 域, 也 因 此 其 研 究 的 重 點 在 於 診 斷 治 療 方 法 與 療 效 之 評 估, 而 聲 音 也 只 是 眾 多 可 能 指 標 中 的 一 項 ( 如 圖 三 ) 近 年 來 由 於 電 腦 化 自 動 分 析 的 成 本 漸 趨 降 低, 因 此 使 用 數 位 化 技 術, 包 含 線 上 監 控 (online monitoring) 與 離 線 分 析 (off-line analysis) 的 工 具 陸 續 推 出 例 如 : SNAP[3] 是 採 取 離 線 分 析 的 方 式, 主 要 是 使 用 氣 體 流 量 與 聲 波 來 判 別 睡 眠 時 的 呼 吸 型 態, 受 測 者 將 儀 器 帶 回 家 中 做 整 晚 紀 錄 後, 再 交 回 SNAP 實 驗 室 作 後 續 的 資 料 分 析 ; 國 內 元 智 大 學 老 人 福 祉 中 心 也 發 展 了 適 用 於 居 家 環 境 的 攜 帶 式 鼾 聲 監 控 系 統 [4], 除 了 即 時 監 控 功 能, 亦 保 留 整 晚 分 析 紀 錄, 但 並 未 儲 存 原 始 聲 音 資 料, 整 體 的 準 確 率 (65%-79%) 也 有 改 善 空 間 圖 三 與 呼 吸 型 態 有 關 的 PSG 測 量 [5] 基 於 以 上 緣 由, 本 計 劃 針 對 鼾 聲 形 成 的 聲 學 模 型, 鼾 聲 聲 波 之 基 本 特 性, 鼾 聲 感 測 裝 置 的 效 能, 整 晚 鼾 聲 型 態 之 分 析, 鼾 聲 種 類 等 議 題, 進 行 一 全 面 性 之 探 討, 並 回 答 下 列 問 題 : 是 否 能 單 純 藉 由 聲 音 訊 號, 判 別 鼾 聲 之 嚴 重 性 與 是 否 患 有 呼 吸 中 止 症? 收 音 之 品 質 與 判 別 的 精 確 度 之 間 關 係 為 何? 家 庭 環 境 中 收 音 效 果 是 否 足 以 提 供 有 效 之 判 別 依 據? 圖 二 睡 眠 週 期 示 意 圖 關 於 人 類 的 發 聲 原 理, 多 數 研 究 集 中 在 語 音 部 分 [6], 對 於 鼾 聲 的 成 因 則 僅 限 於 病 理 的 觀 察 與 解 釋, 而 欠 缺 物 理 模 型 由 3

5 於 鼾 聲 可 能 與 上 呼 吸 道 的 阻 塞 有 關, 與 講 話 時 的 發 聲 方 式 有 顯 著 差 異, 因 此 對 現 有 的 發 聲 模 型 做 適 度 的 修 正, 發 展 一 個 符 合 鼾 聲 發 聲 原 理 之 模 型, 有 助 於 了 解 鼾 聲 聲 波 之 基 本 特 性 鼾 聲 的 感 測 方 式, 大 略 可 分 為 聲 音, 震 動 及 呼 吸 氣 流 三 大 類, 其 中 聲 音 屬 非 接 觸 式, 而 且 儀 器 價 格 相 對 低 廉, 因 此 被 多 數 醫 療 院 所 採 用, 也 有 較 多 研 究 成 果 發 表 然 而 審 視 相 關 論 文, 多 數 侷 限 於 時 域 (time domain) 方 面 的 分 析, 有 的 針 對 振 幅 的 相 對 大 小 進 行 比 較 [7], 有 的 著 重 周 期 或 間 隔 的 規 律 性 [8], 少 數 觸 及 頻 域 (frequency domain) 的 研 究 則 僅 統 計 主 要 頻 率 範 圍 [9], 或 顯 示 手 術 前 後 頻 譜 圖 的 差 異 [10], 缺 乏 量 化 的 分 析, 而 且 前 述 研 究 所 取 樣 本 數 量 均 極 有 限, 亦 甚 少 完 整 利 用 整 夜 監 控 的 資 料 相 較 之 下, 近 來 在 語 音 或 音 樂 訊 號 的 處 理 分 析 與 比 對 技 術 上 有 甚 多 進 展, 鼾 聲 的 發 聲 原 理 雖 然 有 所 不 同, 但 也 屬 音 訊 的 一 種, 應 可 利 用 數 位 訊 號 處 理 的 相 關 技 術, 擷 取 鼾 聲 之 特 徵, 並 比 較 不 同 受 測 者 間 鼾 聲 之 異 同 在 錄 音 設 備 與 收 音 方 式 ( 如 麥 克 風 之 規 格 擺 放 位 置 ) 方 面, 目 前 並 未 制 定 通 用 之 標 準, 因 此 本 計 劃 也 針 對 不 同 規 格 與 等 級 之 收 音 設 備 ( 如 錄 音 筆 一 般 電 腦 用 麥 克 風 微 型 麥 克 風 監 視 型 麥 克 風 麥 克 風 陣 列 等 ), 在 不 同 環 境 ( 包 含 實 驗 室 一 般 住 家 臥 室 ) 方 位 距 離 之 收 音 效 果, 進 行 系 統 化 之 測 試, 以 確 實 評 估 收 音 品 質 對 後 續 信 號 處 理 階 段 之 影 響, 並 藉 此 建 立 一 套 通 用 的 收 音 準 則 (protocol) 同 時 我 們 也 利 用 多 軌 同 步 錄 音 裝 置, 研 究 貼 在 喉 嚨 部 位 的 震 動 感 應 器 (vibration sensor) 所 得 資 訊 與 聲 波 訊 號 之 關 聯 度, 以 評 估 震 動 感 應 器 之 必 要 性 整 晚 睡 眠 的 鼾 聲 分 析, 也 是 先 前 研 究 中 較 少 觸 及 的, 由 於 訊 號 量 龐 大, 因 此 有 賴 於 自 動 化 處 理, 這 個 課 題 牽 涉 到 以 下 步 驟 : (1) 前 處 理 : 雜 訊 之 消 除 聲 音 訊 號 之 偵 測 與 自 動 切 割 (segmentation) (2) 訊 號 過 濾 : 必 須 將 不 屬 於 鼾 聲 的 聲 響 過 濾, 以 免 干 擾 後 續 的 分 析 (3) 鼾 聲 的 分 群 : 必 須 能 辨 識 同 一 個 段 落 (episode) 的 鼾 聲, 加 以 分 群, 並 尋 求 其 共 通 特 性 (4) 鼾 聲 型 態 之 判 別 : 必 須 能 對 整 晚 不 同 段 落 (episode) 之 鼾 聲 進 行 相 似 度 之 比 較, 推 測 鼾 聲 特 性 是 否 因 人 而 異, 或 者 與 睡 眠 階 段 睡 姿 甚 至 其 他 生 理 訊 號 之 關 係 較 為 密 切 目 前 睡 眠 研 究 雖 使 用 近 紅 外 線 攝 影 的 裝 置, 但 極 少 對 影 像 做 後 續 的 分 析 與 處 理, 因 此 目 前 這 方 面 的 文 獻 不 多 2005 年 7 月, 在 加 拿 大 醫 學 協 會 期 刊 (Canadian Medical Association Journal, CMAJ) 發 表 的 教 學 案 例 [11] 中, 運 用 了 PSG 以 及 攝 影 機 等 儀 器 記 錄 下 患 有 睡 眠 呼 吸 疾 病 (Sleeping breathing disorders) 病 患 睡 眠 的 影 像 與 各 項 生 理 測 量 數 據 在 分 析 報 告 中, 諸 多 生 理 數 據 的 分 析 都 是 有 賴 於 PSG 儀 器 的 記 錄, 然 而 影 像 的 分 析, 卻 是 透 過 人 工 調 閱 的 方 法 觀 察 病 患 是 否 有 試 圖 在 睡 眠 中 將 氣 道 打 開 的 舉 動 假 使 能 讓 電 腦 自 動 判 斷 出 病 患 是 否 有 這 些 舉 動, 勢 必 能 降 低 人 工 調 閱 的 麻 煩 除 了 PSG 的 記 錄 之 外, 尚 須 有 聲 音 及 影 像 的 全 程 記 錄, 配 合 病 患 平 常 上 床 的 時 間, 記 錄 病 患 整 晚 的 睡 眠 情 況 直 到 病 患 起 床 為 止 研 究 人 員 再 依 據 PSG 聲 音 與 影 像 的 記 錄 判 斷 病 患 的 病 因, 以 找 出 治 療 之 道 [12] 三 研 究 方 法 與 結 果 3.1 鼾 聲 的 基 本 聲 學 分 析 本 期 之 研 究 主 要 在 實 驗 室 環 境 進 行, 在 此 系 統 發 展 階 段 選 取 若 干 正 常 睡 眠 的 受 試 者 以 及 若 干 有 睡 眠 呼 吸 異 常 (sleep-related breathing disorders) 及 週 期 性 肢 體 運 動 異 常 (periodic limb movement disorder) 的 病 患 至 政 大 心 理 系 睡 眠 研 究 室 進 行 整 晚 的 睡 眠 記 錄 除 標 準 PSG 記 錄 以 及 臨 床 檢 測 所 需 的 肢 體 活 動 呼 吸 氣 流 胸 部 及 腹 部 的 呼 吸 運 動 以 及 由 指 尖 記 錄 4

6 血 氧 濃 度 外, 並 將 執 行 音 訊 ( 分 析 打 鼾 及 呼 吸 的 型 態 ) 視 訊 ( 近 紅 外 線 夜 視 影 像 分 析 活 動 狀 態 ) 活 動 狀 態 (actigram) 體 溫 心 跳 等 非 接 觸 式 的 行 為 及 生 理 記 錄 PSG 資 料 將 依 據 睡 眠 階 段 的 國 際 標 準, 以 每 30 秒 為 一 個 時 段 進 行 分 析 ; 並 根 據 美 國 睡 眠 醫 學 學 會 的 標 準, 分 析 睡 眠 當 中 擾 醒 (arousal) 呼 吸 中 止 或 部 分 中 止 以 及 肢 體 活 動 的 發 生 分 析 結 果 將 與 聲 波 信 號 相 互 參 照, 以 驗 證 單 純 使 用 鼾 聲 型 態 是 否 確 能 評 斷 受 測 者 打 鼾 之 嚴 重 性 在 聲 波 的 分 析 與 處 理 方 面, 比 對 正 常 睡 眠 的 受 試 者 以 及 若 干 有 睡 眠 呼 吸 異 常 患 者 之 呼 吸 型 態 與 產 生 之 聲 響, 以 確 立 鼾 聲 的 操 作 型 定 義 ; 接 著 將 以 人 工 方 式 建 立 包 括 打 鼾 的 次 數 聲 音 的 大 小 每 一 段 落 的 總 和 時 間 與 時 間 間 隔, 段 落 之 間 的 變 異 程 度 等 數 據 庫, 作 為 爾 後 評 估 自 動 化 分 析 效 能 的 參 考 標 準 PSG 試 驗 中, 常 見 在 受 測 者 的 喉 嚨 部 位 貼 上 震 動 感 應 器 ( 見 圖 四 ), 以 測 量 該 處 震 動 的 幅 度, 然 於 此 部 位 量 得 訊 號 與 鼾 聲 之 關 連 性 為 何, 黏 貼 部 位 不 同 是 否 造 成 感 應 結 果 有 明 顯 之 差 異, 甚 至 是 否 可 由 此 處 量 測 之 資 料 反 推 回 阻 塞 的 位 置, 均 欠 缺 相 關 之 研 究, 也 是 本 計 劃 在 此 階 段 欲 探 討 的 重 點 實 際 的 作 法 將 透 過 多 軌 同 步 錄 音 裝 置, 同 時 錄 製 不 同 種 類 之 訊 號 源, 並 與 PSG 的 其 他 資 料 交 叉 比 對, 據 以 評 估 使 用 震 動 訊 號 之 準 確 度 與 必 要 性 圖 四 震 動 偵 測 器 有 了 基 本 的 資 料 後, 下 一 步 我 們 將 針 對 鼾 聲 聲 學 的 基 本 特 性 進 行 探 討, 此 一 階 段 的 研 究 將 著 重 在 兩 個 層 面 : 第 一 個 層 面 是 聲 波 訊 號 的 前 處 理 與 特 徵 抽 取, 第 二 個 層 面 是 鼾 聲 發 聲 成 音 的 建 模 (modeling), 而 此 兩 項 問 題 都 可 借 助 語 音 訊 號 處 理 的 相 關 技 術, 例 如 MPEG-7 中 關 於 音 訊 的 基 本 特 徵 向 量 以 及 語 音 合 成 中 的 source-filter 模 型 下 一 階 段 我 們 將 評 估 錄 音 設 備 與 收 音 方 式 對 收 音 效 果 與 鼾 聲 訊 號 後 續 分 析 的 影 響, 希 望 根 據 實 驗 結 果 訂 定 標 準 的 收 音 程 序 及 建 議 的 硬 體 規 格 我 們 將 先 參 考 相 關 文 獻 中 有 關 量 測 鼾 聲 的 建 議 方 式 擺 設 收 音 裝 置, 並 測 試 比 較 在 不 同 角 度 距 離 方 向 的 收 音 效 果, 為 了 排 除 其 他 可 能 干 擾 因 素 ( 如 不 同 受 測 者 同 一 受 測 者 不 同 時 間 不 同 錄 音 裝 置 等 ), 我 們 將 採 用 同 類 型 的 高 感 度 監 視 用 麥 克 風, 並 使 用 多 軌 同 步 錄 音 卡 進 行 數 位 錄 音, 必 要 之 時 將 參 照 受 測 者 姿 勢 與 肢 體 活 動 情 形, 修 正 相 關 之 數 據 此 外, 由 於 鼾 聲 的 頻 率 集 中 在 低 頻 帶, 因 此 我 們 也 將 就 錄 音 時 的 不 同 取 樣 率 ( 如 8KHz, 16KHz, 22.05KHz, 44.1KHz 等 ) 進 行 紀 錄 與 分 析, 以 決 定 適 當 的 取 樣 率 收 音 效 果 除 了 與 設 備 置 放 位 置 有 關, 與 錄 音 裝 置 本 身 的 規 格 也 有 密 切 關 係, 初 步 實 驗 發 現 具 內 建 訊 號 擴 大 器 的 監 視 用 麥 克 風 收 音 效 果 最 為 理 想, 但 是 由 於 本 計 劃 中 鼾 聲 的 頻 率 集 中 在 較 低 頻 處, 過 度 靈 敏 的 感 應 設 備 是 否 適 得 其 反? 或 者 在 原 始 資 料 收 集 (raw data acquisition) 步 驟 應 該 盡 可 能 保 留 最 多 資 訊, 資 料 的 價 值 應 交 由 後 續 處 理 程 序 來 判 定? 也 因 此 我 們 將 針 對 市 面 上 常 見 收 音 裝 置, 包 含 錄 音 筆 一 般 電 腦 用 麥 克 風 微 型 麥 克 風 監 視 型 麥 克 風, 甚 至 麥 克 風 陣 列 (microphone array) 等 逐 一 進 行 測 試, 並 比 較 其 收 音 效 果 綜 合 以 上 步 驟 分 析 所 得 的 結 果, 我 們 將 制 定 一 套 鼾 聲 收 音 的 標 準 程 序, 針 對 錄 音 裝 置 的 數 量 擺 放 位 置 硬 體 規 格 頻 率 響 應 取 樣 率 等 作 出 明 確 的 規 範, 以 解 決 目 前 在 鼾 聲 聲 波 分 析 研 究 中 各 家 做 法 不 同 所 可 能 造 成 的 問 題 5

7 3.2 一 般 環 境 中 之 人 聲 分 類 第 一 階 段 的 工 作 主 要 在 探 討 鼾 聲 的 基 本 聲 學 特 性, 通 常 在 實 驗 室 中 進 行, 因 此 有 較 理 想 的 收 音 環 境, 或 可 以 藉 由 人 工 方 式 過 濾 不 相 干 的 雜 訊, 但 如 果 要 發 展 適 用 於 居 家 環 境 的 自 動 化 鼾 聲 辨 識 監 控 與 分 析 系 統, 則 須 考 量 實 際 收 音 時 存 在 許 多 可 能 的 干 擾 因 素, 例 如 磨 牙 (bruxism) 咳 嗽 聲 說 話 聲 汽 車 聲 記 錄 儀 器 發 出 的 聲 響 環 境 噪 音 等, 因 此 首 要 的 任 務, 就 是 必 須 能 在 各 種 可 能 出 現 的 聲 音 類 型 中 區 辨 出 哪 些 是 真 正 屬 於 鼾 聲 的 段 落, 哪 些 是 無 關 的 雜 訊, 為 了 達 到 這 個 目 標, 除 了 利 用 第 一 階 段 研 究 中 鼾 聲 的 特 徵 外, 還 要 針 對 所 有 可 能 出 現 的 干 擾 音 源 進 行 訊 號 特 性 的 分 析, 以 找 出 足 以 分 辨 鼾 聲 與 其 他 聲 音 的 特 徵 向 量 我 們 採 用 的 是 階 層 式 的 分 類 法 則 (hierarchical classification), 先 將 聲 音 分 為 人 聲 (human sounds) 與 非 人 聲 (non-human sounds), 再 從 人 聲 的 類 別 中 區 分 語 音 (speech) 及 非 語 音 (non-speech), 最 後 在 非 語 音 的 類 別 中 再 篩 選 出 鼾 聲 的 段 落, 而 每 個 階 層 考 慮 使 用 不 同 組 合 的 特 徵 向 量, 以 簡 化 計 算 的 複 雜 度 選 用 的 特 徵 包 含 基 頻 頻 譜 質 心 音 質 等 在 經 過 越 零 率 等 參 數 分 離 出 人 聲 與 非 人 聲 之 後, 可 利 用 頻 譜 質 心 及 基 頻 等 參 數 加 以 判 斷 是 否 為 鼾 聲, 由 於 鼾 聲 多 集 中 在 低 頻, 且 發 生 部 位 與 說 話 時 不 同, 因 此 頻 譜 質 心 與 基 頻 可 以 幫 助 分 類 人 聲 中 鼾 聲 與 非 鼾 聲, 以 下 就 採 用 的 特 徵 與 其 原 因 做 簡 短 的 說 明 基 頻 (Fundamental frequency): 基 頻 代 表 著 聲 音 發 生 共 振 時 的 最 低 頻 率, 亦 可 稱 為 F0 由 於 基 頻 的 計 算 並 不 複 雜, 也 是 MPEG-7 的 audio descriptor 之 一, 因 此 可 知, 在 某 種 程 度 上 它 對 於 聲 音 訊 號 具 有 一 定 的 代 表 性, 不 同 類 型 的 聲 音 檔 案 其 基 頻 必 定 也 不 相 同 故 本 研 究 採 用 此 特 徵 當 作 分 類 的 參 數 之 一, 將 其 運 用 在 區 分 人 聲 與 非 人 聲 這 個 層 面 越 零 率 (Zero-crossing rate, ZCR): 越 零 率 代 表 著 聲 音 訊 號 通 過 零 點 的 次 數, 在 大 部 分 情 況 雜 訊 的 越 零 率 較 非 雜 訊 的 越 零 率 高, 因 此 有 部 分 的 研 究 是 利 用 這 個 特 徵 來 切 割 出 聲 音 訊 號 的 起 始 與 結 束, 本 計 劃 則 擬 使 用 這 個 特 徵 來 輔 助 區 辨 人 聲 與 非 人 聲 相 關 度 (Autocorrelation): 相 關 度 主 要 是 度 量 訊 號 的 前 後 一 致 性, 因 此 當 訊 號 的 前 後 一 致 性 高 時, 相 關 度 就 會 較 高, 反 之 則 否 家 庭 環 境 中 的 風 扇 聲 或 吹 風 機 的 聲 音, 由 於 訊 號 的 起 伏 變 化 極 小, 相 較 於 人 的 說 話 聲 是 較 為 前 後 一 致 的 本 計 畫 嘗 試 將 人 的 說 話 聲 與 這 類 的 聲 音 訊 號 做 比 較, 其 方 法 是 將 算 出 的 相 關 度 繪 出 得 一 連 續 曲 線, 當 相 關 度 高 時 訊 號 的 變 化 不 大, 曲 線 也 較 為 緩 和, 反 之 曲 線 的 高 低 起 伏 便 會 極 為 明 顯, 因 此 可 以 預 期 的 是, 類 似 風 扇 聲 這 類 訊 號 的 高 低 起 伏 應 該 較 人 聲 的 起 伏 緩 和, 因 此 可 以 訂 出 一 個 公 式, 用 以 量 測 相 關 度 曲 線 的 起 伏 明 顯 程 度 (peak 的 明 顯 程 度 ) 值 越 大 表 示 起 伏 越 明 顯 頻 譜 質 心 (Spectral centroid): 訊 號 的 頻 譜 質 心 是 用 來 描 述 聲 音 檔 案 在 頻 譜 圖 (spectrogram) 中 頻 率 的 質 心, 此 特 徵 亦 屬 於 MPEG-7 的 audio descriptor 之 一 在 一 般 家 庭 環 境 中, 人 聲 除 了 說 話 聲 之 外, 往 往 還 會 夾 雜 著 其 他 各 種 不 同 的 聲 音, 例 如 : 哭 聲 笑 聲 叫 聲 和 鼾 聲, 這 些 聲 音 與 說 話 聲 的 頻 譜 質 心 都 不 盡 相 同, 由 於 笑 聲 與 叫 聲 是 屬 於 較 高 頻 的 聲 音 檔 案, 因 此 計 算 出 來 的 質 心 應 較 說 話 聲 的 值 為 高, 同 理, 鼾 聲 多 集 中 在 低 頻 的 地 方, 故 其 計 算 出 來 的 質 心 會 較 說 話 聲 的 值 為 低 熵 (Entropy): 頻 譜 圖 (spectrogram) 是 用 來 描 繪 頻 率 強 度 的 圖 形 ( 如 圖 五 (a)), 其 橫 軸 為 時 間, 縱 軸 為 頻 率, 深 淺 則 代 表 強 度, 紅 色 代 表 的 強 度 最 強, 依 次 為 橙 黃 綠 藍 紫, 強 度 代 表 能 量 的 多 寡 因 此, 不 6

8 同 的 聲 音 訊 號 在 頻 譜 圖 中 所 呈 現 的 趨 勢 也 就 不 一 樣, 相 對 於 一 些 較 為 低 頻 的 訊 號 ( 如 圖 五 (b)), 人 的 說 話 聲 所 呈 現 的 頻 率 變 化 極 為 明 顯, 頻 率 的 分 布 沒 有 集 中 在 某 範 圍 的 現 象 除 了 說 話 聲 之 外, 也 有 可 能 是 笑 聲 或 哭 聲 等 其 他 聲 音, 而 這 些 聲 音 所 造 成 的 共 振 不 盡 相 同, 因 此 在 本 計 劃 中 則 是 利 用 音 質 的 不 同, 針 對 人 聲 再 加 以 分 類, 判 別 此 人 聲 檔 案 是 否 為 說 話 聲 其 中, 本 研 究 選 用 第 一 個 共 振 頻 率 作 為 代 表, 將 人 的 說 話 聲 與 鼾 聲 的 共 振 頻 率 加 以 比 較 有 了 前 面 的 幾 個 特 徵 作 為 參 數 之 後, 便 可 以 開 始 將 聲 音 檔 案 分 類, 其 類 別 為 : 人 聲 中 的 說 話 聲 人 聲 中 的 非 說 話 聲 非 人 聲 其 分 類 流 程 如 圖 六 所 示 Digital Audio File 圖 五 (a) 為 人 類 說 話 聲 的 頻 譜 圖 Feature Extraction Human/Non-Human Sound Classification Yes Human Sound? No Speech/Non-Speech Sound Classification Non-Human Sound 圖 五 (b) 為 鼾 聲 的 頻 譜 圖 由 於 不 同 的 聲 音 訊 號 在 頻 譜 圖 上 的 分 布 也 不 同, 因 此 可 以 選 用 頻 譜 圖 中 訊 號 強 弱 的 集 中 度 作 為 其 中 一 個 參 數, 也 就 是 頻 譜 圖 的 熵 熵 是 用 來 描 述 亂 度, 當 資 料 的 一 致 性 較 高 時, 則 亂 度 較 小, 反 之 則 亂 度 較 高, 以 圖 五 而 言, 圖 五 (a) 的 亂 度 值 較 圖 五 (b) 的 值 高, 這 是 因 為 圖 五 (b) 的 能 量 多 集 中 在 低 頻 的 地 方, 而 圖 五 (a) 的 能 量 則 幾 乎 在 各 個 頻 率 範 圍 都 有 出 現 亂 度 的 計 算 方 法 為 : H ( X ) P( x)log 2P( x) x 音 質 (Formant frequency): 音 質 的 高 低 與 發 聲 部 位 到 嘴 唇 這 段 距 離 有 關 人 聲 中 Speech? No Yes Non-Speech Speech Cry Laugh Laugh 圖 六 音 訊 分 類 的 流 程 圖 3.3 睡 眠 時 期 的 鼾 聲 監 測 完 成 自 動 分 類 的 工 作 後, 我 們 就 可 以 特 別 鎖 定 鼾 聲 的 段 落 進 行 處 理 與 分 析, 一 般 而 言, 在 單 純 的 實 驗 室 中 錄 製 的 音 訊 干 擾 較 少, 大 致 上 只 有 儀 器 聲 冷 氣 聲 咳 嗽 聲, 以 及 一 開 始 時 的 說 話 聲, 如 果 是 在 7

9 家 庭 環 境 中, 可 能 就 多 了 一 些 狗 吠 聲 和 車 聲, 所 以 處 理 上 面 較 為 複 雜 在 這 一 階 段 所 牽 涉 的 工 作 內 容 包 含 : 聲 音 切 割 鼾 聲 偵 測 與 分 群 鼾 聲 切 割 與 偵 測 : 屬 於 前 處 理 的 部 份, 一 開 始 必 須 將 整 晚 的 聲 音 檔 案 等 分 切 割, 針 對 這 些 檔 案, 在 去 雜 訊 的 處 理 之 後, 必 須 找 出 有 聲 音 的 部 份, 也 就 是 進 行 segmentation 的 步 驟, 所 用 到 的 方 法, 大 致 上 是 利 用 能 量 的 變 化, 找 出 音 訊 的 起 點 與 終 點, 其 結 果 如 圖 七 所 示 圖 七 切 割 過 後 的 聲 音 檔 案, 紅 線 代 表 起 點, 綠 線 代 表 終 點 經 過 上 述 的 步 驟 之 後, 還 要 深 入 去 判 別 這 些 音 訊 是 否 為 鼾 聲 在 錄 製 整 晚 的 聲 音 檔 中, 經 過 前 處 理 去 雜 訊 的 步 驟 之 後, 留 下 來 的 大 多 為 一 開 始 入 睡 之 前 的 說 話 聲, 而 說 話 聲 跟 鼾 聲 有 一 個 很 大 的 區 別, 就 是 說 話 聲 是 沒 有 週 期 性 的, 而 鼾 聲 是 較 具 有 週 期 規 律 的, 也 就 是 說, 在 每 個 鼾 聲 之 間 至 少 要 有 一 秒 左 右 的 間 隔, 並 且 每 個 切 割 出 來 的 鼾 聲 長 度 不 會 超 過 五 秒, 這 樣 的 規 則 可 以 濾 掉 大 部 分 的 說 話 聲, 再 加 上 鼾 聲 大 多 集 中 在 低 頻 的 部 份 ( 如 圖 五 (b)), 因 此 透 過 spectrogram, 我 們 可 以 很 清 楚 的 分 出 哪 些 段 落 是 屬 於 鼾 聲 鼾 聲 的 分 群 : 這 部 分 主 要 是 想 探 討 當 有 打 鼾 的 情 況 產 生 時, 這 樣 的 打 鼾 是 屬 於 一 般 型 (simple snore) 的 或 是 阻 塞 型 (OSA) 的, 一 般 型 的 打 鼾 其 信 號 前 後 的 一 致 性 較 高, 而 阻 塞 型 的 打 鼾 會 伴 隨 呼 吸 中 止 的 現 象, 因 此 可 能 中 間 幾 秒 會 完 全 沒 有 鼾 聲, 或 者 會 有 幾 個 鼾 聲 音 量 特 別 大, 這 是 因 為 阻 塞 發 生 時, 受 試 者 需 要 用 更 大 的 力 氣 去 獲 得 足 夠 的 氧 氣 所 造 成, 藉 由 這 樣 的 分 類 方 法 便 可 以 把 鼾 聲 作 簡 單 的 分 群 分 類 的 依 據 主 要 是 照 鼾 聲 信 號 中 的 差 異 度, 先 將 頻 譜 圖 在 時 域 和 頻 域 上 做 切 割, 時 間 軸 切 割 成 n 等 分 頻 域 切 割 成 m 等 分, 針 對 每 等 份 算 出 頻 譜 圖 中 強 度 的 總 和, 由 於 頻 譜 圖 中 的 數 值 為 複 數 型 態, 所 以 必 須 取 絕 對 值 以 表 示 其 大 小 經 過 上 述 步 驟 之 後, 便 可 得 到 n*m 個 數 值 ( 以 A ij 表 示 ), 將 這 些 數 值 正 規 化, 使 得 這 n*m 個 A ij 數 值 總 和 為 1, 也 就 是 A ij =A ij /sum(a), 如 此 便 可 將 頻 譜 圖 轉 為 一 個 機 率 分 布 (p.d.f), 稱 之 為 p(x) 若 要 判 斷 兩 個 鼾 聲 訊 號 的 相 似 度, 則 可 透 過 上 述 的 方 法, 得 到 兩 個 近 似 機 率 分 布 的 函 數 p 1 (x) p 2 (x), 計 算 差 異 的 方 法 擬 採 用 K-L distance, 定 義 如 下 : p (x) D (p (x),p (x)) 1 KL 1 2 p 1(x) ln dx p (x) 由 於 D KL (P 2 (x),p 2 (x)) 與 D KL (P 2 (x),p 1 (x)) 並 非 對 稱, 因 此 p 1 (x) 與 p 2 (x) 的 距 離 將 取 DKL (p1(x),p2 (x)) 與 DKL (p2(x),p1(x)) 兩 者 的 平 均 來 計 算 至 於 要 如 何 定 出 鼾 聲 之 間 的 差 異, 主 要 可 以 分 為 兩 個 層 面 : 時 域 (time domain) 和 頻 域 (frequency domain) 在 時 域 上 的 作 法, 主 要 是 找 出 鼾 聲 是 否 有 忽 大 忽 小 的 情 況 產 生, 一 般 的 鼾 聲 其 聲 音 較 為 規 律 ( 如 圖 八 (a)), 大 小 較 為 一 致, 有 呼 吸 中 止 症 的 病 人 其 鼾 聲 大 小 會 有 所 差 異 ( 如 圖 八 (b)), 因 此 在 一 開 始 的 時 候 要 先 選 定 檔 案 中 的 第 一 個 鼾 聲 片 段 (snoring episode) 作 為 基 準, 分 別 算 出 後 續 的 鼾 聲 與 這 個 基 準 的 音 量 相 差 多 少, 若 差 異 變 化 很 大, 便 可 得 知 這 個 時 段 之 內 可 能 有 呼 吸 中 止 症 的 產 生 2 8

10 在 頻 域 上, 由 於 呼 吸 中 止 症 的 病 人 阻 塞 情 形 較 為 嚴 重, 因 此 在 鼾 聲 中 會 夾 雜 很 多 的 氣 音, 氣 音 在 頻 率 上 的 分 佈 較 鼾 聲 廣 泛, 而 單 純 的 鼾 聲 卻 只 會 集 中 在 低 頻 的 頻 帶, 且 呼 吸 中 止 症 的 患 者 會 有 特 定 幾 個 鼾 聲 比 較 長, 為 要 得 到 足 夠 的 氧 氣 因 此 在 頻 譜 圖 (spectrogram) 中, 一 般 打 鼾 者 的 亂 度 (entropy) 會 比 較 小, 且 每 個 鼾 聲 之 間 在 頻 譜 圖 上 的 差 異 度 較 低, 也 就 是 K-L distance 會 較 小, 相 反 的, 呼 吸 中 止 症 患 者 在 頻 譜 圖 中 的 亂 度 較 大, 每 個 鼾 聲 片 段 之 間 的 差 異 度 也 較 大, 以 下 兩 張 圖 是 兩 種 鼾 聲 在 頻 譜 圖 上 的 表 現, 圖 九 (a) 是 一 般 鼾 聲 的 頻 譜 圖, 圖 九 (b) 是 呼 吸 中 止 症 患 者 的 頻 譜 圖 結 合 時 域 與 頻 域 特 性 是 必 要 的, 由 於 受 試 者 並 非 整 晚 固 定 睡 姿, 因 此 不 同 方 向 的 側 睡 可 能 會 導 致 不 同 的 收 音 結 果, 所 以 在 聲 波 的 振 幅 上 必 定 會 有 大 小 的 差 別, 但 如 果 是 屬 於 同 一 段 落 的 鼾 聲, 則 在 頻 譜 圖 上 的 表 現 會 較 為 相 似, 綜 合 時 域 與 頻 域 特 徵 的 結 果, 應 可 以 較 準 確 地 判 斷 出 受 試 者 此 時 鼾 聲 上 的 差 異 是 否 源 自 於 睡 姿 上 的 改 變, 或 是 確 有 呼 吸 中 止 現 象 產 生 圖 九 (a) 為 一 般 鼾 聲 的 頻 譜 圖 圖 九 (b) 為 呼 吸 中 止 症 患 者 的 頻 譜 圖 以 上 的 討 論 是 針 對 音 訊 訊 號, 受 試 者 在 專 業 的 實 驗 室 或 者 醫 療 院 所 中 受 測, 再 配 合 上 其 他 的 生 理 訊 號 做 對 照, 受 試 者 配 有 鼾 聲 偵 測 器 ( 平 貼 在 喉 嚨 上 偵 測 因 打 鼾 發 出 的 震 動 ), 因 此 可 以 進 一 步 去 比 較 有 鼾 聲 的 同 時 也 有 振 動 的 相 關 度 配 合 上 腦 波 圖 找 出 睡 眠 階 段 (sleep stage), 亦 可 以 比 較 鼾 聲 的 大 小 是 否 與 睡 眠 階 段 有 關, 以 及 睡 眠 呼 吸 中 止 症 患 者 在 哪 個 睡 眠 階 段 比 較 容 易 造 成 阻 塞, 經 過 其 他 生 理 訊 號 的 交 叉 比 對, 或 許 可 以 提 供 更 多 的 資 訊 與 研 究 方 向 圖 八 (a) 為 單 純 的 打 鼾 情 況, 也 就 是 所 謂 的 simple snoring 圖 八 (b) 為 睡 眠 呼 吸 中 止 症 病 人 的 鼾 聲, 可 以 看 出 兩 者 間 (a) 較 有 規 律 3.4 睡 姿 和 鼾 聲 的 關 係 本 研 究 的 場 景 為 睡 眠 環 境, 故 影 像 中 只 包 含 單 一 物 件 人 體 此 外, 影 像 的 背 景 固 定 為 床 的 範 圍, 且 翻 身 範 圍 也 有 限, 只 侷 限 於 床 的 範 圍 實 驗 中, 由 於 受 試 者 若 在 中 途 起 來 上 廁 所, 會 導 致 拍 攝 環 境 的 改 變, 例 如 : 場 景 中 的 人 物 突 然 增 多 減 少 以 及 光 線 增 多 導 致 紅 外 線 攝 影 機 轉 成 彩 色 模 式 等 情 況 因 此 我 們 將 區 分 出 因 外 界 因 素 影 響 的 範 圍, 排 除 此 異 常 時 段 不 與 PSG 作 對 照, 以 確 保 資 料 分 析 的 正 確 性 考 慮 受 測 者 的 隱 私, 以 及 睡 眠 實 驗 室 空 間 上 的 限 制, 故 無 法 將 攝 影 機 裝 置 在 天 花 板 上 ( 此 實 驗 低 畫 質 的 拍 攝 -640*480), 以 理 想 的 角 度 拍 攝 實 驗 場 景 在 經 過 多 種 角 度 的 試 驗 後, 我 們 選 出 放 置 攝 影 機 最 適 9

11 當 的 角 度 為 床 頭 ( 此 實 驗 高 畫 質 的 拍 攝 -160*120) 實 驗 中, 我 們 以 PSG 監 控 各 種 生 理 訊 號, 並 使 用 近 紅 外 線 攝 影 機 紀 錄 睡 眠 活 動 計 算 移 動 量 和 方 向 將 睡 眠 影 片 中 每 秒 的 畫 面 細 分 成 數 個 畫 格 (frame), 再 利 用 時 間 (t-1) 的 frame 和 時 間 (t) 的 frame 互 相 做 影 像 相 減, 藉 此 得 到 每 個 frame 間 的 差 異, 累 加 出 每 秒 的 差 異 量 後, 即 可 得 知 在 每 個 時 間 點 的 移 動 量 判 斷 出 睡 眠 影 片 中 移 動 的 物 件 或 是 人 物 之 後, 將 最 近 發 生 移 動 的 部 份 設 定 為 最 高 值, 而 相 對 於 較 早 移 動 的 部 份 則 設 為 較 低 值, 直 到 超 出 我 們 所 要 找 出 最 近 移 動 的 時 間 範 圍 以 後, 其 餘 的 階 設 為 零, 以 此 類 推, 產 生 階 層 式 的 運 動 歷 史 圖 像 (Motion History Image,MHI) 如 圖 十 : 圖 十 左 圖 為 方 向 預 計 向 上 的 剪 影, 所 產 生 的 MHI 為 右 圖 得 到 運 動 歷 史 圖 像 之 後, 利 用 Sobel 將 移 動 的 部 分 作 邊 緣 化 處 理, 而 Sobel 邊 緣 偵 測 原 理 就 是 對 於 一 張 暗 色 背 景 下 有 亮 條 紋 的 影 像, 由 水 平 掃 描 線 的 灰 階 剖 面 圖 及 其 一 階 導 數 圖 可 發 現 一 個 邊 緣 得 知 Sx(x,y) Sy(x,y), 再 算 出 物 件 移 動 的 方 向 和 大 小 ( 圖 十 一 左 ) 方 向 : arctan(sy(x,y)/sx(x,y)) 大 小 : (Sx2(x,y) + Sy2(x,y)) 1/2 將 具 有 方 向 和 大 小 的 部 份 整 理 出 方 向 的 統 計 圖, 計 算 方 向 之 間 的 最 小 差 異, 最 後 統 計 出 結 果, 找 出 最 多 的 方 向, 配 合 最 小 差 異, 算 出 整 體 方 向 global motion( 圖 十 一 右 ) [13] 圖 十 一 左 圖 算 出 大 小 方 向 右 圖 算 出 整 體 運 動 方 向 門 檻 值 與 角 度 設 定 由 於 處 理 影 像 的 畫 質 不 一, 所 以 必 須 依 照 輸 入 影 片 的 不 同 解 析 度 來 調 整 threshold 睡 眠 影 片 中, 就 算 是 場 景 不 變, 但 每 張 frame 多 多 少 少 會 受 雜 訊 的 影 響 而 有 差 異, 設 定 threshold 的 目 的 即 是 過 濾 移 差 異 較 小 的 部 份, 省 略 不 必 要 的 計 算, 找 出 真 正 有 效 的 移 動 部 份 此 實 驗 為 例, 所 輸 入 資 料 分 別 為 640*480 和 160*120 的 整 晚 睡 眠 影 片, 利 用 opencv 之 函 式 庫, 先 對 低 畫 質 的 影 片 調 成 與 高 畫 質 相 同 的 大 小, 再 將 高 畫 質 的 threshold 調 為 60, 低 畫 質 調 為 6 此 外, 也 注 意 判 定 翻 身 的 角 度, 攝 影 機 架 設 位 置 會 影 響 到 我 們 所 定 義 的 左 翻 或 右 翻 因 此 角 度 依 照 攝 影 機 的 架 設 位 置 判 定 並 由 人 工 設 定 此 實 驗 的 高 畫 質 影 片 將 正 負 45 度 的 方 向 定 義 為 右 翻,135 度 至 225 度 的 方 向 定 義 為 左 翻 ; 低 畫 質 的 影 片 由 於 受 試 者 所 躺 位 置 非 水 平, 將 50 度 至 140 度 定 義 為 右 翻,220 度 至 320 度 定 義 為 左 翻 ( 圖 十 二 ) 圖 十 二 左 圖 為 640*480, 右 圖 為 160* 實 驗 結 果 一 般 環 境 中 之 人 聲 分 類 10

12 我 們 收 集 了 許 多 不 同 類 型 的 聲 音 來 測 試 所 提 出 分 類 方 法 的 正 確 性 和 準 確 度, 說 話 聲 部 分 包 含 男 女 聲 且 錄 製 的 時 間 長 度 不 固 定, 人 聲 部 分 包 含 笑 聲 哭 聲 尖 叫 聲 鼾 聲 和 哈 欠 聲, 環 境 聲 音 則 包 含 電 風 扇 冷 氣 電 話 除 草 機 微 波 爐 和 吹 風 機 運 作 時 發 出 的 聲 音 第 一 階 段 先 進 行 人 聲 和 非 人 聲 分 類, 結 果 如 表 一 所 示 : Result Sound Type Total Human Environm Number Sound ent Sound Human Sound Environment Sound 表 一 人 聲 和 環 境 聲 音 分 類 第 二 階 段 更 進 一 步 將 人 聲 分 類 為 語 音 和 非 語 音 部 分, 假 若 經 分 類 器 運 算 後 的 特 徵 值 結 果 未 落 在 語 音 或 非 語 音 的 範 圍, 則 我 們 將 其 歸 類 為 環 境 聲 音, 分 類 結 果 如 表 格 二 所 示, 值 得 注 意 的 是 其 中 有 一 個 語 音 訊 號 被 誤 判 為 非 語 音 訊 號 是 由 於 該 檔 案 的 基 頻 範 圍 並 未 落 在 一 般 正 常 語 音 的 範 圍 內, 推 測 可 能 的 原 因 為 測 試 者 說 話 時 用 雙 手 托 住 下 巴 Sound Type Total Number Speech Result Non-Spee ch Speech Non-Speec h Environme nt Sound 表 二 語 音 和 非 語 音 訊 號 的 分 類 表 三 列 出 表 一 和 表 二 合 併 後 的 分 類 結 果 : Result Sound Speech Non-Speech Environm Type ent Sound Speech 96.67% 3.33% 0% Non-Spee 3.33% 86.67% 10% ch Environm ent Sound 0% 3.33% 96.67% 表 格 三 最 後 分 類 結 果 睡 眠 時 期 的 鼾 聲 分 類 我 們 收 集 了 整 晚 睡 眠 的 錄 音 來 驗 證 所 提 出 分 鼾 聲 分 類 方 法 的 正 確 性 和 準 確 性, 資 料 的 時 間 長 度 約 為 7 小 時 4 分 鐘, 我 們 以 17 個 非 鼾 聲 片 段 和 18 個 鼾 聲 片 段 做 為 訓 練 資 料, 測 試 資 料 方 面 則 有 80 個 非 鼾 聲 片 段 和 1213 個 鼾 聲 片 段 第 一 階 段 先 將 鼾 聲 從 整 個 晚 上 的 錄 音 檔 中 擷 取 出 藉 由 上 個 章 節 所 討 論 的 特 徵 值, 我 們 給 予 不 同 的 權 重 和 門 檻 值 即 可 以 訂 出 兩 階 段 式 分 類, 透 過 該 階 層 式 分 類 將 聲 音 資 料 先 分 為 人 聲 和 非 人 聲, 再 更 進 一 步 將 人 聲 分 類 為 鼾 聲 和 非 鼾 聲, 分 類 的 結 果 如 表 格 四 所 示 : Sound Type Snoring sounds Non-snori ng sounds No sounds Result Snoring Non-snorin No sounds sounds g sounds 96.5% 3.5% 0% 16.7% 83.3% 0% 0% 0% 100% 表 四 鼾 聲 和 非 鼾 聲 的 分 類 將 訊 號 分 類 為 鼾 聲 和 非 鼾 聲 後, 我 們 可 以 將 其 再 細 分 為 有 呼 吸 中 止 (apnea) 和 無 呼 吸 中 止 (Non-apnea) 症 狀 的 鼾 聲, 我 們 以 50 個 具 有 呼 吸 中 止 症 狀 的 鼾 聲 片 段 和 61 個 不 具 呼 吸 中 止 症 狀 的 鼾 聲 片 段 做 為 訓 練 資 料, 能 量 和 頻 譜 亂 度 的 KL divergence 為 特 徵 值, 並 分 別 給 予 兩 特 徵 值 不 同 的 權 重, 權 重 的 選 定 可 來 自 於 訓 練 其 他 鼾 聲 資 料 求 得, 最 後 根 據 兩 特 徵 值 的 總 和 我 們 可 得 到 一 個 門 檻 值, 在 測 試 階 段, 假 若 該 鼾 聲 片 段 的 分 數 低 於 門 檻 值 則 歸 類 為 不 具 呼 吸 中 止 症 狀 的 鼾 聲, 反 之 則 歸 類 為 具 呼 吸 中 止 症 狀 的 鼾 聲, 分 類 結 果 如 表 五 所 示 : Sound Type # Data Segments Apnea Result Non-apne a Apnea 50 94% 6% Non-apnea 61 18% 82% 11

13 表 五 鼾 聲 的 分 類 睡 姿 和 鼾 聲 的 關 係 解 決 影 片 大 小 不 一 和 角 度 問 題 之 後, 分 別 對 高 解 析 度 和 低 解 析 度 的 影 片 執 行 運 算 實 驗 結 果 顯 示 利 用 高 解 析 度 的 影 片, 可 以 正 確 判 斷 大 致 上 受 試 者 移 動 的 方 向, 並 可 局 部 的 動 作 分 析 紅 色 圈 出 的 地 方 代 表 移 動 的 部 位, 紅 圈 裡 的 半 徑 角 度 代 表 移 動 的 方 向 由 圖 四 可 知, 此 位 受 試 者 試 圖 向 右 翻 身, 但 也 有 例 外 發 生, 如 圖 四 右 圖 的 頭 部 移 動 方 向 為 向 上, 但 實 際 上 影 片 中 的 受 試 者 頭 部 並 沒 有 出 現 向 上 的 移 動, 因 此 可 能 為 光 線 影 響 到 計 算 移 動 量 的 程 度 ( 圖 十 三 ): 圖 十 三 左 圖 找 出 大 致 上 方 向 後 右 圖 仍 有 例 外 圖 十 三 例 外 放 大 圖 低 解 析 度 的 影 片, 所 偵 測 出 的 移 動 部 分 較 少, 降 低 threshold 的 目 的 就 是 更 容 易 找 到 細 微 變 化 的 部 份, 實 驗 結 果 發 現, 判 定 出 連 續 的 同 方 向 中, 偶 爾 會 出 現 不 同 方 向 的 情 況 發 生, 扣 除 受 試 者 本 身 的 移 動, 可 能 是 雜 訊 的 影 響, 因 此 可 利 用 規 則 判 斷 出 左 翻 還 是 右 翻 例 如 連 續 幾 個 左 翻 身 之 中 若 有 單 一 的 右 翻 身 出 現, 則 自 動 忽 略 此 右 翻, 直 接 判 斷 此 時 段 受 試 者 為 左 翻 身 部 分 數 據 如 圖 十 四 : 圖 十 四 : 紅 色 標 示 角 度 為 91 度 在 低 畫 質 中 判 定 為 右 翻 身, 可 是 其 前 後 之 角 度 均 在 左 翻 身 的 範 圍 內, 因 此 可 直 接 省 略 四 結 論 本 研 究 著 重 於 人 聲 的 分 類, 首 先 我 們 提 出 了 新 的 方 法 去 分 類 一 般 環 境 中 的 人 聲, 目 標 希 望 將 聲 音 訊 號 自 動 分 類 成 語 音 非 語 音 和 環 境 聲 音, 我 們 正 確 地 找 出 合 適 的 特 徵 值 達 成 聲 音 訊 號 的 分 類, 實 驗 的 結 果 明 確 的 顯 示 出 我 們 所 提 出 的 演 算 法 是 有 效 的 目 前 所 收 集 的 環 境 聲 音 侷 限 於 機 器 所 產 生 的 聲 音, 在 未 來 我 們 將 試 著 加 入 更 多 類 型 的 環 境 聲 音, 例 如 : 將 數 種 聲 音 混 合 在 一 起, 另 外 希 望 更 進 一 步 細 分 非 語 音 人 聲 部 分, 使 其 能 分 辨 哭 聲 笑 聲 尖 叫 聲 等 聲 音 藉 由 合 併 基 本 的 生 理 訊 號 例 如 : 皮 膚 電 流 反 應 (Galvanic skin response, GSR) 呼 吸 率 和 心 跳 率, 將 有 效 提 升 分 類 的 程 度 和 準 確 率 在 睡 眠 時 期 的 鼾 聲 分 類 部 分, 我 們 著 重 於 鼾 聲 訊 號 的 分 析, 目 標 希 望 可 由 整 晚 的 聲 音 訊 號 中 自 動 分 類 出 鼾 聲 和 非 鼾 聲, 我 們 已 經 正 確 地 找 出 合 適 的 特 徵 值 達 成 鼾 聲 分 類, 實 驗 的 結 果 也 顯 示 我 們 所 提 出 的 演 算 法 是 有 效 的 在 睡 姿 和 鼾 聲 的 關 係 的 研 究 部 分, 目 前 睡 眠 研 究 中 的 影 像 資 料 雖 極 少 被 用 來 做 後 續 的 分 析 與 處 理, 然 而 根 據 此 資 料 仍 可 提 供 有 用 的 資 訊 提 供 專 業 人 員 參 考 利 用 自 動 化 分 析 影 像 資 訊, 比 起 人 工 判 讀 不 但 可 以 更 省 時 省 力, 亦 可 增 加 精 確 度 由 目 前 的 實 驗 數 據, 我 們 可 推 知 睡 眠 處 於 睡 或 12

14 醒 的 階 段 與 睡 眠 時 翻 身 的 程 度 等 移 動 量 有 相 當 大 程 度 的 關 聯, 在 腦 波 處 於 清 醒 階 段 時, 翻 身 程 度 相 當 顯 著 次 數 也 明 顯 增 加 ; 而 腦 波 若 處 於 睡 眠 階 段, 無 論 是 階 段 一 階 段 二 階 段 三 或 階 段 四, 其 翻 身 程 度 都 較 低 為 了 驗 證 以 上 的 假 設, 必 須 再 收 集 更 多 的 實 驗 資 料, 或 與 Acti-watch 計 算 移 動 量 的 手 錶 型 計 數 器 做 比 較, 以 更 精 確 的 分 析 睡 眠 狀 態 和 做 更 進 一 步 的 資 料 分 析 總 結 而 言, 本 計 畫 的 執 行 除 了 加 強 與 本 校 心 理 系 睡 眠 實 驗 室 的 跨 領 域 研 究, 建 立 合 作 關 係, 並 已 開 始 學 術 論 文 的 協 同 撰 寫, 具 體 產 出 的 成 果 為 一 篇 碩 士 論 文 [14], 兩 篇 國 內 會 議 論 文 [15,16] 與 一 篇 國 際 會 議 論 文 [17], 目 前 仍 有 一 篇 期 刊 論 文 投 稿 中 五 參 考 文 獻 [12] 葉 世 彬, 睡 眠 檢 查, [13] OpenCV documentation: /docs/ [14] 蘇 以 暄, Analysis and Classification of Human Sounds, 碩 士 論 文, 國 立 政 治 大 學 資 訊 科 學 系,2006. [15] 黃 思 瑜 廖 文 宏, 睡 眠 研 究 中 的 視 訊 處 理, Multimedia and Networking Systems Conference, Dec [16] 黃 思 瑜 廖 文 宏 楊 建 銘 蔡 明 潔 : 睡 眠 研 究 中 的 視 訊 分 析 : 與 Actiwatch 的 比 較, 台 灣 睡 眠 醫 學 學 會 年 會,Mar [17] Wen-Hung Liao, Yi-Syuan Su, "Classification of Audio Signals in All-Night Sleep Studies," pp , 18th International Conference on Pattern Recognition (ICPR'06) Volume 4, 2006 六 計 畫 成 果 自 評 [1] 醫 療 快 訊 2/today-m1.htm [2] 黃 席 珍 : 睡 眠 忠 告, 睡 一 個 好 覺, 商 周 出 版 [3] SNAP laboratories: [4] 陳 明 周, 鼾 聲 與 呼 吸 中 止 症 監 測 裝 置 設 計 與 製 作, 元 智 大 學 機 械 工 程 研 究 所 碩 士 論 文, 民 國 93 年 [5] Hattori H.; Kawakatsu K.; Hattori C.; Nishimura Y.; Suzuki K.; Yagisawa M.; Nishimura T. Acoustic Analysis of Pediatric Snoring, International Congress Series Vol. 1257, pp , [6] Vocal tract acoustics: [7] K. Wilson, R. A. Stoohs, T. F. Mulrooney, L. J. Johnson, C. Guilleminault, Z. Huang, The Snoring Spectrum, Chest, March 1, 115(3): , [8] R. Beck, M. Odeh, A. Oliven, N. Gavriely, The Acoustic Properties of Snores, European Respiratory Journal, 8, pp , [9] A.R.A. Sovijärvi, L.P. Malmberg, G. Charbonneau, J. Vanderschoot, F. Dalmasso, C. Sacco, M. Rossi, J.E. Earis, Characteristics of Breath Sounds and Adventitious Respiratory Sounds,European Respiratory Review,10: 77, , [10] T. M. Jones, A. C. Swift, P. M. A. Calverley, M. S. Ho and J. E. Earis, Acoustic Analysis of Snoring Before and After Palatal Surgery, European Respiratory Journal, 25: , [11] CMAJ: 就 研 究 內 容 與 原 計 畫 相 符 程 度 來 評 估, 廣 度 部 分 超 越 了 原 先 的 設 定, 特 別 是 在 視 訊 處 理 的 部 分 有 更 多 的 著 墨, 至 於 深 度 部 分 也 大 抵 符 合 原 來 設 定 的 目 標, 對 於 主 要 的 議 題 均 有 相 對 的 研 究, 唯 一 較 需 加 強 的 是 樣 本 收 集 的 數 量 與 在 醫 療 院 所 實 際 的 個 案 研 究 由 於 整 晚 睡 眠 資 料 蒐 集 部 分 程 序 較 為 繁 複, 雖 然 我 們 著 重 在 音 訊 處 理 的 部 分, 但 為 了 與 其 他 生 理 訊 號 作 參 考 比 對 參 考, 仍 需 同 時 進 行 多 重 生 理 紀 錄 儀 實 驗, 因 此 相 當 耗 時 耗 力, 所 得 樣 本 數 目 與 原 先 規 劃 稍 有 差 距, 但 是 分 析 結 果 仍 有 一 致 性, 不 致 影 響 研 究 結 論 此 外, 多 數 資 料 仍 在 政 大 心 理 系 睡 眠 實 驗 室 收 集, 或 許 有 不 夠 多 樣 性 的 問 題, 若 將 目 前 技 術 推 廣 至 實 際 應 用, 仍 需 在 醫 療 院 所 多 蒐 集 個 案 來 驗 證 可 行 性 研 究 之 部 分 成 果 部 分 已 經 發 表 至 國 內 外 會 議, 目 前 正 持 續 整 理 中, 準 備 投 稿 相 關 的 期 刊 此 外, 我 們 也 針 對 演 算 法 的 強 健 性 (robustness) 進 行 測 試, 並 準 備 導 入 實 務 之 應 用 13

15 附 件 一 行 政 院 國 家 科 學 委 員 會 補 助 專 題 研 究 計 畫 成 果 報 告 期 中 進 度 報 告 睡 眠 研 究 中 鼾 聲 之 聲 學 分 析 Acoustic Analysis of Snoring Sounds in Sleep Studies 計 畫 類 別 : 個 別 型 計 畫 整 合 型 計 畫 計 畫 編 號 :NSC E 執 行 期 間 : 95 年 8 月 1 日 至 96 年 7 月 31 日 計 畫 主 持 人 : 廖 文 宏 共 同 主 持 人 : 楊 建 銘 計 畫 參 與 人 員 : 林 裕 凱 紀 煜 豪 成 果 報 告 類 型 ( 依 經 費 核 定 清 單 規 定 繳 交 ): 精 簡 報 告 完 整 報 告 本 成 果 報 告 包 括 以 下 應 繳 交 之 附 件 : 赴 國 外 出 差 或 研 習 心 得 報 告 一 份 赴 大 陸 地 區 出 差 或 研 習 心 得 報 告 一 份 出 席 國 際 學 術 會 議 心 得 報 告 及 發 表 之 論 文 各 一 份 國 際 合 作 研 究 計 畫 國 外 研 究 報 告 書 一 份 處 理 方 式 : 除 產 學 合 作 研 究 計 畫 提 升 產 業 技 術 及 人 才 培 育 研 究 計 畫 列 管 計 畫 及 下 列 情 形 者 外, 得 立 即 公 開 查 詢 涉 及 專 利 或 其 他 智 慧 財 產 權, 一 年 二 年 後 可 公 開 查 詢 執 行 單 位 : 國 立 政 治 大 學 資 訊 科 學 系 中 華 民 國 96 年 10 月 31 日 14

16 附 件 二 可 供 推 廣 之 研 發 成 果 資 料 表 可 申 請 專 利 可 技 術 移 轉 日 期 :96 年 10 月 31 日 計 畫 名 稱 : 睡 眠 研 究 中 鼾 聲 之 聲 學 分 析 國 科 會 補 助 計 畫 計 畫 主 持 人 : 廖 文 宏 計 畫 編 號 :NSC E 學 門 領 域 : 資 訊 技 術 / 創 作 名 稱 發 明 人 / 創 作 人 睡 眠 研 究 中 鼾 聲 之 分 析 與 分 類 廖 文 宏 中 文 : 我 們 提 出 了 睡 眠 研 究 中 鼾 聲 的 自 動 分 類 方 法 此 項 技 術 的 主 要 目 標 是 將 整 晚 的 錄 音 中 分 出 鼾 聲 與 非 鼾 聲 的 片 段, 並 就 鼾 聲 的 段 落 再 進 行 分 析 我 們 使 用 階 層 分 類 法, 利 用 基 礎 聲 學 特 徵 將 錄 音 區 分 為 人 聲 與 非 人 聲, 再 用 更 多 的 特 徵 將 人 聲 的 部 分 分 為 鼾 聲 與 非 鼾 聲, 接 著 並 就 鼾 聲 的 特 性 再 細 分 為 正 常 與 睡 眠 呼 吸 終 止 症 的 鼾 聲, 實 驗 結 果 驗 證 了 所 提 出 方 法 的 效 能 與 準 確 性 技 術 說 明 可 利 用 之 產 業 及 可 開 發 之 產 品 技 術 特 點 英 文 : We developed an automatic process for the classification of audio signals recorded in all-night sleep studies. Our objective is to separate the episodes into snoring sounds and non-snoring sounds. To begin with, we employ hierarchical classification schemes to classify sounds into human sounds and non-human sounds. We then attempt to organize human sounds into snore and non-snore segments based on their acoustic properties. We perform further analysis of the extracted snoring sounds to check if the testee has apnea. Experimental results have validated the efficacy of the proposed method. 醫 療 院 所 之 睡 眠 檢 驗 室 研 究 機 構 之 睡 眠 實 驗 室 一 般 患 者 之 自 我 檢 測 利 用 電 腦 自 動 分 析 並 分 類 鼾 聲, 加 速 處 理 的 程 序 與 增 加 準 確 度 所 使 用 之 技 術 可 處 理 一 般 廉 價 錄 音 筆 所 錄 製 之 音 訊 檔, 減 低 成 本 推 廣 及 運 用 的 價 值 相 較 於 多 重 生 理 紀 錄 儀 (polysomnogram, PSG), 睡 眠 研 究 中 的 音 訊 分 析 屬 於 簡 易 非 接 觸 式 且 成 本 低 廉 的 技 術, 可 有 效 應 用 於 患 者 的 自 我 篩 檢 或 前 測 15

17 1. 每 項 研 發 成 果 請 填 寫 一 式 二 份, 一 份 隨 成 果 報 告 送 繳 本 會, 一 份 送 貴 單 位 研 發 成 果 推 廣 單 位 ( 如 技 術 移 轉 中 心 ) 2. 本 項 研 發 成 果 若 尚 未 申 請 專 利, 請 勿 揭 露 可 申 請 專 利 之 主 要 內 容 3. 本 表 若 不 敷 使 用, 請 自 行 影 印 使 用 16

18 出 席 國 際 學 術 會 議 心 得 報 告 計 畫 編 號 計 畫 名 稱 出 國 人 員 姓 名 服 務 機 關 及 職 稱 NSC E 睡 眠 研 究 中 鼾 聲 之 聲 學 分 析 廖 文 宏 國 立 政 治 大 學 資 訊 科 學 系 助 理 教 授 會 議 時 間 地 點 Hong Kong, 8/20/2006-8/24/2006 會 議 名 稱 發 表 論 文 題 目 18 th International Conference on Pattern Recognition 1. Classification of Audio Signals in All-Night Sleep Studies( 睡 眠 研 究 之 音 訊 分 類 ) 2. A CAPTACHA Mechanism by Exchanging Image Blocks( 植 基 於 圖 像 內 涵 之 自 動 化 人 機 區 辨 機 制 ) 一 參 加 會 議 經 過 及 與 會 心 得 2006 年 8/20-24 日 在 香 港 國 際 會 議 中 心 舉 行 的 國 際 圖 型 識 別 研 討 會 (International Conference on Pattern Recognition), 每 兩 年 舉 辦 一 次, 至 今 已 是 第 十 八 屆, 邁 入 三 十 六 年, 是 圖 形 識 別 領 域 歷 史 最 為 悠 久, 也 是 最 重 要 的 會 議 之 ㄧ, 本 次 會 議 分 為 五 大 主 題 (tracks), 共 有 超 過 兩 千 篇 投 稿, 接 受 的 比 例 在 五 成 上 下, 實 際 與 會 的 人 數 達 一 千 多 人, 可 以 說 規 模 盛 大, 而 報 告 內 容 也 是 包 羅 萬 象, 吸 引 來 自 不 同 領 域 與 國 家 的 研 究 學 者 此 次 會 議 的 五 大 主 題 為 : 1. Computer Vision and Image Analysis 2. Pattern Recognition and Basic Technologies 3. Signal, Speech and Image Processing 4. Systems, Robotics and Applications (with Associated Theme : Biometrics) 5. Cognitive Approaches & Soft Computing 由 於 有 五 場 論 文 發 表 同 步 進 行, 加 上 海 報 部 份 也 在 相 鄰 場 地 展 示, 因 此 實 際 參 與 的 場 次 以 個 人 發 表 ( 兩 個 場 次 ) Keynote 演 講 以 及 1,3,5 類 與 個 人 研 究 相 關 者 為 主 第 一 場 Keynote 是 由 本 屆 K. S. Fu Prize 得 主 Prof. Josef Kittler 發 表 的 演 講, 題 為 On Context, Modeling, Dimensionality and Small SampleSize in Patern Recognition, 主 要 在 於 回 顧 得 獎 者 在 圖 型 識 別 領 域 之 研 究 成 果, 特 別 是 在 training sample 數 目 不 多 或 者 每 個 類 別 的 sample 數 不 均 衡 時 的 解 決 方 案, 溫 故 知 新 之 餘, 也 對 Kittler 教 授 與 其 實 驗 室 的 研 究 有 了 更 深 入 的 了 解 第 二 場 Keynote 由 Michigan State University 的 Anil Jain 教 授 報 告 指 紋 辨 識 方 面 的 最 新 進 展 ( 於 下 載 簡 報 ),

19 Prof. Jain 是 生 物 辨 識 (biometrics) 方 面 的 專 家, 在 指 紋 辨 識 領 域 有 卓 越 的 研 究 成 果, 因 此 報 告 內 容 豐 富, 理 論 與 實 際 並 重, 任 何 對 此 一 領 域 有 興 趣 的 讀 者, 都 不 應 錯 過 另 外 一 個 頗 有 意 思 的 演 講 為 來 自 MIT 的 Alex Pentland 教 授 報 告 的 A Computational Model of Social Signaling, 利 用 人 類 不 自 覺 的 聲 音 與 姿 態 上 細 微 變 化, 來 觀 察 並 推 估 特 定 情 境 下 的 決 策 模 式, 與 Picard 教 授 的 情 意 運 算 (affective computing) 有 本 質 上 的 差 異, 卻 有 著 十 分 有 趣 的 應 用 由 於 本 人 亦 參 與 另 一 國 科 會 的 智 慧 生 活 空 間 跨 領 域 研 究 計 畫, 對 於 新 型 態 的 人 機 介 面, 如 Attentive UI, Affective UI 的 發 展 保 持 密 切 的 注 意, 因 此 此 一 觀 點 勢 將 引 起 團 隊 成 員 的 熱 烈 討 論 其 餘 參 加 的 場 次 由 於 論 文 數 目 繁 多, 因 此 不 再 一 一 詳 述, 論 文 光 碟 作 成 可 搜 尋 的 形 式, 可 以 很 方 便 的 檢 索 值 得 一 提 的 是 今 年 大 會 新 增 了 Aggarwal award, 表 揚 圖 型 識 別 領 域 的 年 輕 學 者, 而 Dr. Aggarwal 正 是 個 人 博 士 班 的 指 導 教 授, 在 香 港 再 度 見 面, 格 外 令 人 興 奮 ; 而 我 也 藉 此 機 會 探 詢 Aggarwal 教 授 到 本 校 進 行 短 期 訪 問 之 可 能 性, 並 得 到 正 面 的 回 應, 因 此 將 透 過 系 上 進 行 正 式 的 邀 請 攜 回 資 料 名 稱 與 內 容 18 th ICPR Proceedings 光 碟