聽 覺 系 統 auditory system Sound, the auditory system, and pitch perception 壓 力 波 ( 聲 波 ) 與 知 覺 ( 聽 覺 ) 耳 朵 構 造 外 耳 中 耳 內 耳 耳 蝸 (cochlea): 音 高 知 覺 pitch perception Place theory Timing theory Cortex level processing 聽 覺 的 物 理 刺 激 : 聲 波 (acoustic stimulus) 由 震 動 (vibration) 引 起 的 壓 力 波 聲 波 (sound wave) 的 各 種 特 性 : 速 度 : 空 氣 中 :340 m/s 水 中 :1500 m/s 波 形 (wave): 決 定 音 調 (tone) 或 音 色 純 音 調 (Pure tone): sine wave 振 幅 (amplitude): 決 定 音 量 (loudness) 頻 率 (frequency): 決 定 音 高 (pitch) Fig. 11-1, p. 235 純 音 (pure tone) 的 波 形 :Sine-wave 振 幅 越 大, 感 受 到 的 聲 響 (loudness) 越 大 Fig. 11-2, p. 236
Amplitude ( 振 幅 ) 變 化 的 範 圍 極 大 (threshold=1 語 音 =10 3, 飛 機 起 降 =10 7 ) 採 用 分 貝 (decibel) 為 單 位 db=20 log (p/p 0 ) Sound pressure level (SPL) p 0 =20 micropascals (the absolute threshold of a 1000 Hz pure tone) 每 增 加 10 倍 壓 力, 增 加 20 分 貝 每 增 加 10 分 貝, loudness ( 知 覺 上 的 強 度 ) 約 增 加 2 倍 Table 11-1, p. 236 Loudness of a 1000-Hz tone as a function of intensity 頻 率 越 高, 知 覺 到 的 音 高 (pitch) 越 高 每 增 加 10 分 貝, loudness ( 知 覺 上 的 強 度 ) 約 增 加 2 倍 p. 265 鋼 琴 鍵 盤 與 聽 覺 刺 激 可 聽 度 曲 線 (The audibility curve) 鋼 琴 鍵 盤 最 低 音 為 27.5 Hz; 最 高 音 為 4186 Hz 相 同 英 文 字 母 的 鍵 盤 有 一 樣 的 音 調 (tone), 但 音 高 (pitch) 不 同 A1 的 頻 率 是 A0 的 ㄧ 倍, 以 此 類 推 兩 個 相 同 字 母 之 間 相 差 一 個 八 度 音 階 (octave) 符 合 差 異 閾 偉 伯 定 律 : 低 音 兩 鍵 之 間 頻 率 差 異 小 ; 高 音 大
等 音 量 曲 線 (Equal loudness curve) 頻 率 不 同 的 音, 相 同 分 貝, 聽 覺 上 的 響 度 不 同! 下 圖 中 用 1000Hz 40 及 80dB 當 作 標 準 刺 激, 畫 出 兩 條 等 音 量 曲 線 隨 著 強 度 上 升, 曲 線 漸 平 緩 音 色 (Timbre) 相 同 響 度 ( 由 振 福 決 定 ) 和 音 高 ( 由 頻 率 決 定 ) 的 音, 音 色 可 能 不 同 : 如 直 笛 vs. 低 音 簧 Fundamental frequency (1st harmonic) 2nd harmonic 3rd harmonic 音 色 由 不 同 個 數 和 振 幅 的 harmonic 泛 音 決 定! Complex tone 音 色 由 不 同 個 數 和 振 幅 的 harmonic 決 定! Frequency spectrum +440 +440 3 個 harmonic 組 合 成 一 個 complex tone 聽 覺 系 統 auditory system 壓 力 波 ( 聲 波 ) 與 知 覺 ( 聽 覺 ) 耳 朵 構 造 外 耳 中 耳 內 耳 耳 蝸 (cochlea): 音 高 知 覺 pitch perception Place theory Timing theory Cortex level processing
聽 覺 系 統 ( 結 構 與 功 能 ) 將 聽 覺 刺 激 ( 音 波 ) 傳 送 到 receptor 將 物 理 能 量 ( 壓 力 ) 轉 成 電 能 需 要 處 理 的 訊 息 : 音 高 (Pitch) 音 量 (Loudness) 音 質 (Timbre) 聲 源 (Location) 耳 殼 ( 廓 ) 聽 道 The ear 槌 骨 鼓 膜 砧 骨 鐙 骨 卵 圓 窗 半 規 管 圓 窗 聽 神 經 耳 蝸 M 外 耳 耳 殼 聽 道 ( 約 3cm) 最 佳 共 振 (resonance) 頻 率 : 2000-5000Hz ( 剛 好 是 人 類 語 音 範 圍 ) 鼓 膜 (eardrum/ tympanic membrane) 中 耳 三 塊 小 聽 骨 ossicles 槌 骨 (malleus) 砧 骨 (incus) 鐙 骨 (stapes) 聲 壓 變 大 的 機 制 (22 倍 ) 面 積 改 變 (17 倍 ) 槓 桿 原 理 (1.3 倍 ) 中 耳 肌 肉 ( 人 體 最 小 的 骨 骼 肌, 附 著 在 聽 骨 上 ): 具 保 護 作 用 S 內 耳 充 滿 耳 蝸 液 (cochlear fluid) 壓 力 從 氣 體 傳 輸 到 液 體 : transmit 3% 所 以 需 要 三 小 聽 骨 放 大 訊 號 三 小 聽 骨 讓 聲 壓 變 大 (22 倍 ) 的 機 制 : 面 積 改 變 (17 倍 ) 槓 桿 原 理 (1.3 倍 ) Fig. 11-13, p. 242
內 耳 : 耳 蝸 cochlea 33mm long 直 徑 2 mm 卵 圓 窗 聽 神 經 基 部 鐙 骨 圓 窗 卵 圓 窗 鼓 腔 前 庭 腔 耳 蝸 隔 板 頂 端 鐙 骨 基 底 膜 ( 窄 寬 ) 圓 窗 鼓 腔 耳 蝸 隔 板 前 庭 腔 Fig. 11-15a, p. 243 耳 蝸 中 的 Organ of corti 前 庭 腔 覆 蓋 膜 纖 毛 cilia 鼓 腔 基 底 膜 inner hair cell 數 目 較 少, 約 3500 個, 但 是 有 95% 的 聽 覺 細 胞 接 受 來 自 此 的 訊 息 ; outer hair cell 數 目 約 12000 個, 但 只 處 理 約 5% 的 訊 息 基 底 膜 鐙 骨 In-and-out 隔 板 up-and-down 覆 蓋 膜 back-and-forth inner hair cells 彎 曲 纖 毛 的 震 動 (Vibration of the cilia) 極 細 微 的 運 動 (100 picometer) 即 可 引 發 neurotransmitter 的 釋 放 音 高 的 知 覺 Pitch perception 音 高 知 覺 由 音 波 頻 率 (frequency) 決 定 place code vs. time code
Hair cell 如 何 表 徵 頻 率? Place theory (von Bekesy, 1928): 特 定 位 置 hair cells 表 徵 特 定 頻 率 Frequency theory (timing theory): Hair cells 反 應 頻 率 的 型 態 表 徵 特 定 頻 率 窄 (4 倍 ) 硬 (100 倍 ) Place theory (von Bekesy, 1928): 特 定 hair cells 表 徵 特 定 頻 率 寬 軟 ( 頻 率 與 弦 長 成 反 比 ) the envelope of the traveling wave Traveling waves 不 同 的 聲 音 頻 率, 對 應 不 同 的 最 大 位 移 位 置 最 大 振 幅 頻 率 較 低 的 波, 頂 點 接 近 Apex; 頻 率 較 高 的 波, 頂 點 接 近 Base 振 動 是 一 種 traveling wave, 由 於 basilar membrane 構 造 上 的 差 異, 每 個 頻 率 的 波 在 振 動 時 會 有 一 處 最 大 位 移 (envelope of the traveling wave), 此 位 置 hair cell 反 應 最 激 烈, 聽 神 經 也 送 出 最 強 的 訊 號 與 鐙 骨 的 距 離 Place Theory 的 生 理 證 據 (1): Tonotopic maps on the cochlea Culler et al.(1943) Single cell recording tonotopic map Frequency tuning curve 發 現 依 序 從 base 到 apex, 神 經 喜 歡 從 高 頻 到 低 頻 的 刺 激 Place Theory 的 生 理 證 據 (2&3): frequency tuning curve of inner hair cells and auditory nerve fibers
Place Theory 的 心 理 物 理 證 據 : auditory masking 聽 覺 遮 蔽 效 果 Egan & Hake (1950) mask 只 影 響 特 定 範 圍 的 頻 率, 且 對 高 頻 的 影 響 較 對 低 頻 大 Results of Egan and Hake s (1950) auditory masking experiment mask 只 影 響 相 同 頻 率 聲 音 的 threshold, 表 示 聽 覺 神 經 各 自 表 徵 不 同 頻 率 高 頻 音 比 較 容 易 被 影 響 Fig. 11-26, p. 249 高 頻 音 比 較 容 易 被 影 響 的 原 因 : Mask 與 高 頻 音 重 疊 的 部 分 較 多 (500 Hz) Updating von Bekesy s place theory 400 和 405 Hz 在 basilar membrane 上 所 造 成 的 震 動 幾 乎 完 全 一 樣, 為 何 我 們 仍 然 可 以 區 分 這 兩 個 音? Basilar membrane 不 同 音 高 造 成 basilar membrane 的 震 動 (envelope of traveling wave) 是 不 對 稱 的 : mask 與 高 頻 音 的 重 疊 較 大, 所 以 在 噪 音 下 要 聽 到 高 頻 的 test tone, 需 要 較 高 強 度 Ans: Outer hair cell 的 促 進 效 果! ( 僅 在 活 體 上 被 發 現 ) Cochlear amplifier: outer hair cell 藉 由 改 變 長 度 ( 稱 為 motile response) 來 增 加 tectorial membrane 移 動 的 幅 度 覆 蓋 膜 Inner hair cell 與 outer hair cell 的 合 作 纖 毛 cilia 壓 力 進 入 耳 蝸 基 底 膜 震 動 彎 曲 內 側 髮 細 胞 的 纖 毛 轉 成 電 能 傳 送 到 聽 覺 神 經 基 底 膜 鐙 骨 In-and-out 隔 板 up-and-down 覆 蓋 膜 back-and-forth inner hair cells 彎 曲 強 化 基 底 膜 的 震 動 改 變 外 側 髮 細 胞 的 長 度 外 側 髮 細 胞 的 促 進 效 果 彎 曲 外 側 髮 細 胞 的 纖 毛 Motile response of outer hair cells 參 考 : p.277 & p.278
耳 蝸 是 頻 率 分 析 器 耳 蝸 如 何 處 理 複 合 聲 波? 頻 率 分 析 Frequency analysis 傅 立 葉 分 析 harmonic Harmonic ( 泛 音 ) Hair cell 如 何 表 徵 頻 率? Place theory (von Bekesy, 1928): 特 定 位 置 hair cells 表 徵 特 定 頻 率 Frequency theory (timing theory): Hair cells 激 發 頻 率 的 型 態 表 徵 特 定 音 頻 Timing Theory 主 張 : 500Hz 的 聲 音 就 由 500Hz 的 神 經 激 發 速 度 來 表 徵 ;1000Hz 的 聲 音 就 由 1000Hz 的 神 經 激 發 速 度 來 表 徵, 以 此 類 推 ( 如 右 圖 ) 生 理 證 據 : 相 位 鎖 定 (Phase locking) ( 參 考 p.278) 然 而, 神 經 最 快 只 能 到 1000Hz 左 右, 人 們 如 何 表 徵 高 於 1000Hz 的 聲 音 呢? 齊 發 原 則 (volley principle): 一 群 聽 覺 神 經 一 起 表 徵 高 頻 率 的 音 3 個 聽 神 經 細 胞 的 反 應 : 耳 蝸 上 的 Hair cell 如 何 表 徵 頻 率? 兩 種 理 論 都 正 確, 相 輔 相 成! Place theory (von Bekesy, 1928): 特 定 位 置 的 hair cells 表 徵 特 定 音 頻 ; 較 適 用 高 頻 音 (1000 Hz 以 上 的 音 ) Frequency theory (timing theory): Hair cells 的 反 應 激 發 頻 率 表 徵 特 定 音 頻 ; 適 用 較 低 頻 的 音 (5000 Hz 以 下 的 音 ) 1000 Hz 以 上 採 用 齊 發 原 則 (volley principle) 的 神 經 團 隊 合 作 方 式 解 決 了 神 經 不 反 應 期 (refractory period) 的 難 題, 因 此 可 以 表 徵 高 頻 率 刺 激 5000 Hz 以 下 1000 ~ 5000 Hz = 對 人 類 生 活 最 重 要 的 聲 音
年 齡 與 聽 覺 喪 失 從 耳 蝸 到 cortex 失 聰 的 不 同 原 因 : Conductive hearing loss: 聲 音 無 法 抵 達 受 器 所 造 成 的 失 聰 Damage to the hair cell: hair cell 損 傷 Sensorineural hearing loss: 聽 覺 神 經 傳 達 到 大 腦 的 路 經 受 損 Presbycusis: 隨 著 年 紀 增 長 而 對 於 高 頻 音 較 不 敏 感, 男 性 的 比 例 比 女 性 高 ( 上 圖 ) Noise-induced hearing loss: 噪 音 造 成 對 於 hair cell 的 損 傷 除 了 暴 露 於 噪 音 的 人 容 易 有 這 問 題 外, 使 用 高 音 量 聆 聽 耳 機 也 容 易 造 成 此 狀 況 The auditory pathways A1 (MGN)@ Thalamus (IC) @ Midbrain (SON) @ Pons 中 腦 : SC: 視 覺 IC: 聽 覺 Sub-cortical structure 視 丘 thalamus LGN ( 視 ) MGN ( 聽 ) VL ( 觸 ) VPM ( 味 ) MD ( 嗅 ) 嗅 視 MD ( 嗅 ) VPM ( 味 ) LGN ( 視 ) MGN ( 聽 ) 聽 味
Hierarchical process (monkey & human): A1 core area: pure tone Belt area: complex stimuli Parabelt area: complex stimuli Two streams of hearing: what / where pathway 紫 色 : 同 時 對 視 聽 刺 激 有 反 應 的 腦 區 腦 傷 區 域 : Two streams of hearing 的 生 理 證 據 (2): 腦 造 影 實 驗 Two streams of hearing 的 生 理 證 據 (1): 腦 傷 病 人 double dissociation 的 病 例 Core area of the monkey tonotopic map in A1: 依 照 頻 率 高 低 排 列 的 特 性 ( 視 覺 V1: retinotopic map: 依 據 外 界 空 間 位 置 排 列 ) A1 和 音 高 (pitch) 知 覺 有 關 的 生 理 證 據 (1): 單 音 (2500 Hz) 訓 練 效 果 ( 展 現 神 經 可 塑 性 plasticity) 訓 練 後 :A1 表 徵 2500 Hz 的 神 經 變 多! Characteristic frequencies (CF) of neurons (K Hz) 推 論 A1 和 音 高 (pitch) 知 覺 有 關 Tonotopic map of an owl monkey that was trained to discriminate between frequencies near 2,500 Hz.
A1 和 音 高 (pitch) 知 覺 有 關 的 生 理 證 據 (2): A1 腦 傷 病 人 無 法 判 斷 音 高 改 變 方 向 和 音 高 差 異 ( 聲 音 長 短 和 線 段 方 位 的 判 斷 則 不 受 影 響 ) 經 驗 造 成 auditory cortex 改 變 (experience-dependent plasticity) 長 期 : 音 樂 家 vs. 生 手 聽 覺 皮 層 會 增 加 短 期 ( 下 圖 ):ferret( 雪 貂 ) one cell s response 8000Hz tone Training tone 6000Hz 3000Hz tone (Fritz et al., 2003) 比 起 人 類 : 海 豚 聽 得 到 更 低 頻 聲 音 貓 聽 得 到 更 高 頻 的 聲 音 同 一 物 種 的 能 力 範 圍 較 相 近 : 哺 乳 類 魚 鳥 Missing fundamental 現 象 去 掉 複 合 音 中 的 Fundamental frequency (1st harmonic): 音 色 (timbre) 改 變, 卻 不 影 響 音 高 (pitch) 知 覺 無 法 被 place code 理 論 解 釋 higher order processing 兩 耳 分 別 呈 現 400 & 500Hz, 得 100Hz pitch 的 知 覺 RH-damaged patients no periodicity pitch 生 理 證 據 :Bendor & Wang (2005) pitch neurons (p.284 Fig. 11.43) Periodicity pitch 週 期 音 高 Demo: http://www.phon.ucl.ac.uk/courses/spsci/c315_99_3/sld008.htm Periodicity pitch( 週 期 音 高 ) 的 應 用 便 宜 音 響 也 能 讓 我 們 感 受 到 低 頻 音 ( 只 是 音 色 不 佳 ) 人 工 耳 Cochlear implant 包 含 以 下 構 造 1.The microphone: 接 收 聲 音 訊 息 2.The sound processor: 將 聽 覺 刺 激 分 析, 根 據 頻 率 將 聲 音 分 類 3.The transmitter: 將 processer 的 訊 息 傳 入 皮 膚 內 的 receiver. 4.The receiver: 植 在 皮 膚 內, 將 訊 息 轉 成 可 被 電 極 接 收 的 訊 息. 5.Electrodes: 可 在 耳 蝸 內 刺 激 不 同 的 聽 神 經
Next: sound localization (Chapter 12)