大 綱 語 言 與 閱 讀 李 佳 穎 副 研 究 員 中 央 研 究 院 語 言 學 研 究 所 大 腦 與 語 言 實 驗 室 介 紹 心 理 與 神 經 語 言 學 如 何 進 行 閱 讀 研 究 閱 讀 的 認 知 模 型 口 語 與 文 字 的 關 係 文 字 特 性 的 影 響 閱 讀 障 礙 的 語 音 與 文 字 處 理 能 力 對 教 學 與 早 期 療 育 的 可 能 貢 獻 甚 麼 是 心 理 語 言 學 閱 讀 的 訊 息 處 理 模 式 心 理 語 言 學 : 探 討 語 言 處 理 的 內 在 認 知 歷 程 ( 描 述 語 言 行 為 的 各 種 現 象 並 提 出 理 論 解 釋 ) 如 何 辨 識 詞 彙 如 何 將 詞 彙 儲 存 於 心 理 辭 典 中 如 何 理 解 句 子, 如 何 習 得 閱 讀, 語 言 或 文 字 特 性 如 何 影 響 詞 彙 處 理 的 歷 程. 如 何 進 行 實 徵 研 究 如 何 提 取 心 理 辭 典 心 理 語 言 學 : 以 行 為 的 測 量 為 主 ( 例 如 : 反 應 時 間, 正 確 率, 眼 球 追 蹤 等 ) Behavioral Data: Reaction Time dog Categories (n/million): 1: 700 2: 140 3: 30 4: 6 5: 1 6:.2 1 2 3 4 5 6 Frequency Category (Frequent -- Infrequent) 1
常 見 的 文 字 辨 識 議 題 如 何 辨 識 字 詞 及 其 組 成 結 構 ( 字 母 與 部 件 ) 字 詞 辨 識 歷 程 是 自 動 化 的 嗎 心 理 辭 典 的 組 織 架 構 詞 彙 辨 識 的 各 個 階 段, 鄰 項 多 寡 的 影 響 閱 讀 的 模 型 (PDP model and Dual-route model for word recognition) 玩 兩 個 小 遊 戲 遊 戲 一 : 如 何 辨 識 字 詞 及 其 組 成 結 構 ( 字 母 / 部 件 ) 在 接 下 來 的 投 影 片 中, 你 將 看 到 快 速 閃 過 的 詞, 然 後 會 看 到 兩 個 字 母 一 上 一 下 陳 列 請 猜 猜 看 哪 個 字 母 確 實 出 現 在 剛 才 的 詞 中 的 該 位 子 上 XXXXXX JBDVLM ----B- XXXXXX ----L- XXXXXX 2
SOKDHR --K--- XXXXXX --R--- XXXXXX FATHER 遊 戲 二 : 數 數 看 在 第 一 個 句 子 裡 頭 有 幾 個 t s ---T-- XXXXXX ---H-- 3
剛 剛 玩 的 兩 個 小 遊 戲 詞 優 效 應 (Word Superiority effect) 字 母 搜 尋 作 業 (Letter Search Task) 詞 的 辨 識 等 同 於 辨 識 一 個 個 組 成 的 字 母 嗎? (bottom-up) 詞 的 辨 識 會 使 詞 中 字 母 的 辨 識 變 得 容 易 嗎? (top-down) 在 這 些 作 業 中, 由 上 到 下 與 由 下 到 上 的 認 知 處 理 歷 程 扮 演 了 什 麼 角 色? Ruling out the letter-by-letter hypothesis 小 結 Reicher s study (1969) word superiority effect Task: choose which of the two probe letters was exposed in the target stimulus. 字 母 在 詞 裡 頭 比 在 非 詞 裡 頭 容 易 被 辨 識 詞 在 句 子 裡 也 比 較 容 易 被 辨 識 > = Words are not processed letter-by-letter (bottom-up). 詞 彙 辨 識 的 自 動 化 歷 程 字 念 得 很 快, 就 表 示 詞 彙 辨 識 是 自 動 化 的 嗎? 測 量 反 應 時 間 的 實 驗 證 據 Stroop task ( 叫 色 作 業 ) Semantic Priming paradigm ( 語 意 促 發 ) 自 動 化 " 的 定 義 是 什 麼? 沒 辦 法 察 覺 ; 一 旦 開 始 就 沒 辦 法 用 你 的 意 識 停 止 該 歷 程. 4
字 的 意 義 會 自 動 處 理 嗎 叫 色 作 業 : 請 儘 速 也 盡 可 能 正 確 的 把 每 個 符 號 的 顏 色 唸 出 來 預 期 的 結 果 這 些 字 所 代 表 的 意 義 假 如 與 其 所 呈 現 的 顏 色 不 相 同 時, 念 的 比 較 慢 也 比 較 不 正 確 (stroop effect: 叫 色 的 干 擾 效 果 ) 文 字 熟 悉 度 的 自 動 化 差 異 這 個 干 擾 效 果 從 何 而 來? 紅 藍 語 意 促 發 的 實 驗 作 業 : 請 盡 快 依 序 念 下 列 這 些 詞 列 表 1 列 表 2 紅 藍 字 的 意 義 會 被 自 動 處 理 與 提 取 如 果 作 業 是 唸 字, 則 無 此 干 擾 效 果 地 板 椅 子 沙 發 鐵 鎚 汽 車 圖 片 地 板 硬 碟 沙 發 駕 照 汽 車 圖 片 語 意 促 發 的 實 驗 The Lexicon View of Semantics and Priming 作 業 : 請 盡 快 依 序 念 下 列 這 些 詞 列 表 1 列 表 2 地 板 地 板 椅 子 硬 碟 沙 發 沙 發 鐵 鎚 駕 照 汽 車 汽 車 圖 片 圖 片 卡 車 駕 照 汽 車 檯 燈 椅 子 沙 發 躺 椅 桌 子 床 床 單 紅 色 的 詞 會 比 藍 色 的 念 得 快 5
心 理 辭 典 的 表 徵 與 組 成 文 字 辨 識 的 認 知 歷 程 字 義 在 字 彙 判 斷 作 業 中, 相 鄰 字 或 詞 如 有 語 意 關 連, 則 反 應 速 度 會 加 快 醫 生 促 發 護 士 心 理 辭 典 以 語 意 的 組 織 為 基 礎 有 無 其 他 的 組 織 方 式? 形, 音, 義? 不 同 的 心 理 辭 典 在 不 同 的 層 次? 構 字 / 字 形 層 次 部 件 結 合 度 毓 疏 梳 琉 流 硫 流 -flow 流 -style 次 字 彙 的 形 音 對 應 liu2 su1 yu4 字 音 層 次 對 教 育 與 學 習 的 應 用? 部 件 單 位 流 流 Print 形 音 對 應 的 一 致 性 /l/ /i/ /u/ tone2 Speech 次 字 音 單 位 閱 讀 習 得 的 過 程 不 同 文 字 系 統 的 字 形 與 字 音 對 應 情 況 語 意 表 徵 Languages vary in the degree to which letters have a 1:1 mapping to sound A B 字 形 表 徵 文 字 的 視 覺 輸 入 C D 字 音 表 徵 Learning to read is thus fundamentally a process of matching distinctive visual symbols to units of sound (phonology). The process of learning and applying these mappings has been called phonological recoding. 形 音 對 應 一 致 Finnish German Italian Spanish Swedish Dutch Icelandic Norwegian French Portuguese Danish English 形 音 對 應 不 一 致 Japanese Chinese 形 音 對 應 一 致 的 拼 音 文 字 形 音 對 應 不 一 致 的 拼 音 文 字 義 大 利 文 或 西 班 牙 文 的 音 節 結 構 相 當 簡 單, 對 多 數 的 詞 而 言, 音 首 與 韻 尾 等 同 於 音 素 (onsets and rimes = phonemes) 孩 童 所 經 驗 的 語 彙 中, 相 同 的 字 母 總 是 對 應 到 相 同 的 音 素, 因 此 很 容 易 掌 握 形 音 的 對 應 的 原 則 e.g. casa (house) mama /c/ /a/ /s/ /a/ /m/ /a/ /m/ /a/ 形 音 對 應 相 對 不 一 致 的 文 字 系 統, 大 幅 增 加 了 解 決 對 應 問 題 的 難 度 音 首 與 韻 尾 的 切 割 不 等 同 於 音 素 同 一 個 字 母 或 形 素 (grapheme) 可 以 對 應 到 不 同 的 音 素 e.g. ball /b/ /al/ B - ALL hand /h/ /and/ H - AND garden /g/ /ar/ /d/ /en/ G - AR - D - EN 然 而,However, 以 英 文 為 例, 字 形 與 字 音 的 對 應 在 音 首 與 韻 尾 的 切 割 的 對 應 層 次 上, 似 乎 可 以 得 到 比 較 好 的 對 應 原 則 (e.g., -ake for cake, take, fake, lake, make...etc). 6
在 字 形 字 音 對 應 比 較 不 好 的 文 字 系 統 中, 讀 者 要 花 更 長 的 時 間, 才 能 摸 索 出 該 文 字 系 統 的 形 音 對 應 方 式 Phonological Grain Size Theory Ziegler and Goswami, 2005 語 言 習 得 Words are not neatly segmented 口 語 詞 彙 視 覺 ( 文 字 ) 詞 彙 Thought / High-level understanding Reading Semantics meaning Speech perception Orthography text Phonology speech 辨 識 音 素 (phoneme) 的 兩 大 困 難 1. Coarticulation = consecutive speech sounds blend into each other due to mechanical constraints on articulators 2. Speaker differences; pitch affected by age and sex; different dialects, talking speeds etc. 如 何 處 理 所 輸 入 聽 覺 訊 息 的 模 糊 性 (ambiguity) Word context ( 脈 絡 訊 息 ) affects phoneme identification Perceptual boundary shift Semantic context E.g. phonemic restoration effect Cross-modal context e.g., use of visual cues: McGurk effect 7
聽 覺 理 解 的 工 作 : 理 解 語 句, 需 要 從 連 續 的 語 音 訊 號 中 斷 出 句 子, 子 句, 詞, 音 節, 以 及 音 素 (phonemes)( 在 一 個 語 言 中 具 有 區 辨 意 義 的 最 小 語 音 單 位 ) 音 素 具 有 語 言 的 特 定 性 e.g., r/l is a phonemic contrast in English but not in Japanese 語 音 解 碼 孩 子 們 需 要 獲 取 並 可 區 辨 該 語 言 的 語 音 表 徵 知 識, 才 能 順 利 發 展 口 語 詞 彙 理 解 big vs. pig Lisa = Risa for some of my Japanese friends 不 同 語 言 的 語 音 系 統 與 語 音 知 覺 每 個 語 言 的 語 音 都 可 以 用 國 際 音 標 (IPA, International Phonetic Alphabet ) 進 行 標 記, 但 並 非 所 有 的 語 言 都 具 有 相 同 的 語 音 對 比 (contrastive sounds) 嬰 兒 需 要 從 周 遭 環 境 中 獲 取 語 音 經 驗, 對 該 語 言 的 語 音 系 統 形 成 表 徵, 以 進 行 更 高 層 次 的 語 言 理 解 meaningful sounds in the language: contrastive sounds or phonemic contrasts Phonemic Constructed Acoustic Innate 語 音 的 類 別 知 覺 Categorical perception occurs when a range of stimuli that differ continuously are perceived as belonging to only a few categories with no degrees of difference within a given category. Language sounds Timing: Voicing Acoustic-Level Information 實 際 聽 覺 刺 激 物 理 特 性 的 連 續 變 化 對 聽 覺 刺 激 在 心 理 向 度 上 的 類 別 區 分 Acoustic-Level Information Language sounds Timing: Voice Onset Time (VOT, 嗓 音 起 始 時 間 ) English VOT production Not uniform - there are 2 categories (distribution is bimodal) Perception of stimuli: 2 categories 60 ms 8
Perceiving VOT Discrimination Task Are these two sounds the same or different? Categorical Perception : dq vs. tq More uncertainty/ error at category boundary Longer decision time at category boundary Same/Different 0ms 60ms Same/Different 0ms 10ms Decision between d/t Identification task: Is this sound dq or tq? Time to make decision Same/Different 40ms 40ms 區 辨 作 業 請 判 斷 兩 個 聲 音 是 否 相 同? 區 辨 作 業 請 判 斷 兩 個 聲 音 是 否 相 同? Same/Different 0ms 60ms D D 0ms 20ms 20ms 40ms D T Same/Different 0ms 10ms Same/Different 40ms 40ms Why is this pair difficult? (i) Acoustically similar? (ii) Same Category? T 40ms 60ms Across-Category Discrimination is Easy Within-Category Discrimination is Hard T McGurk effect McGurk.wmv 看 著 這 個 人, 你 聽 到 他 說 什 麼? 並 上 眼 睛, 你 覺 得 他 在 說 什 麼? McGurk effect in video: lip movements = ga speech sound = ba speech perception = da (for 98% of adults) Demonstrates parallel & interactive processing: speech perception is based on multiple sources of information, e.g. lip movements, auditory information. Brain makes reasonable assumption that both sources are informative and fuses the information. 9
跨 語 言 的 差 異 跨 語 言 的 差 異 R L 辨 識 作 業 (Identification task): 英 語 母 語 者 對 /r/ and /l/ 的 辨 識 呈 現 類 別 知 覺 的 型 態 R -----------------------> L R L 區 辨 作 業 : 跨 語 言 的 差 異 英 語 母 語 者 對 /r/ and /l/ 的 區 辨 也 呈 現 類 別 知 覺 的 型 態 但 日 語 母 語 者 的 區 辨 表 現 很 差 (at chance),, 無 類 別 知 覺 的 型 態 適 用 於 嬰 幼 兒 的 測 量 方 法 轉 頭 的 偏 好 (Head Turn Preference Procedure) 不 匹 配 負 波 Mismatch Negativity (MMN) MMN is a component of the auditory ERPs, which is elicited by an infrequent change in a repetitive sound (oddball task). 10
MMN and vowel categorical perception for Estonian only S e e/ö ö õ o For Estonian, the MMN amplitude increases with an increasing acoustic (F2) difference between deviant and standard stimuli. For Finish adults, the MMN amplitude was smaller for /õ/ than /ö/, possibly because /õ/ is not a vowel in Finnish. Näätänen et al. (1997) MMN and vowel categorical perception The language-specific speech-sound memory traces develop between 6 and 12 months of age for Estonian only e e/ö ö õ o For Finish, the native phoneme /ö/ elicits a much larger brain activity in the left than in the right auditory cortex, whereas nonnative /õ/ responses in both hemispheres are small and quite similar in amplitude. for Estonian only Cheour et al., 1998 Näätänen et al. (1997) 嬰 幼 兒 發 展 出 特 定 使 用 語 言 的 語 音 知 覺 能 力 for Estonian only 正 常 孩 子 能 從 牙 牙 學 語 中 發 現 自 己 的 語 言 所 用 到 的 音 素, 而 且 對 其 特 別 敏 感, 最 後 會 逐 漸 降 低 母 語 中 不 存 在 音 素 的 敏 感 度, 也 就 是 孩 子 母 語 中 沒 有 的 音 素, 其 與 生 俱 來 的 辨 識 能 力 會 逐 漸 消 失 此 現 象 稱 作 語 音 類 別 知 覺 的 變 化 音 素 區 辨 的 能 力 6-12m 左 右, 形 成 特 性 語 言 的 語 音 表 徵, 對 母 語 語 音 知 覺 與 區 辨 能 力 增 加, 但 對 非 母 語 的 語 音 處 理 則 遞 減 雙 語 學 習 越 早 越 好? 11
神 經 的 可 塑 性 與 外 語 學 習 Leaning a foreign language is associated with neural sensory changes which is reflected by the MMN amplitude. Winkler et al., 1999 音 素 (phoneme) 音 素 是 一 個 語 言 中 最 小 具 區 辨 語 意 的 語 音 知 覺 單 位 例 如 :pin /p/ -/i/ -/n/ 在 拼 音 文 字 中, 根 據 這 個 音 素 對 應 到 字 形 ( 字 母 ) 的 規 則, 讀 者 可 以 把 字, 甚 至 是 實 際 不 存 在 的 假 字 唸 出 來 但 是 閱 讀 障 礙 者 就 特 別 有 困 難 閱 讀 障 礙 的 表 現 與 原 因 在 拼 音 文 字 中, 字 形 ( 字 母 ) 與 字 音 之 間 具 有 對 應 的 關 係, 閱 障 的 孩 子 經 常 表 現 出 音 素 覺 識 (phoneme awareness) 有 困 難 沒 有 辦 法 念 假 字, 或 是 發 音 不 規 則 的 字 音 素 或 聲 韻 覺 識 MMN 與 學 習 障 礙 BAT, 數 數 看 這 裡 頭 有 幾 個 音 素? 我 說 CAT, 妳 說 -AT? CAT and BAT 是 否 押 韻? 閱 障 兒 童 在 此 類 作 業 中 的 表 現 明 顯 比 較 差, 因 此 認 為 閱 讀 障 礙 和 語 音 知 覺 的 缺 陷, 以 致 於 在 字 音 跟 字 型 的 對 應 上 面 發 生 困 難 Normal LD (6-15 yrs) /da/ presented alone /da/ presented as oddball Children with learning problems often find it difficult to discriminate rapid changes in speech Kraus et al, 1996 12
有 閱 障 家 族 史 之 新 生 兒, 到 兩 個 月 時, 仍 看 不 到 對 語 音 區 辨 的 大 腦 反 應 (MMN) 用 新 生 兒 時 所 量 得 之 大 腦 語 音 區 辨 反 應, 可 以 預 測 兩 歲 半 和 五 歲 時 的 語 言 能 力 新 生 兒 所 測 得 的 腦 波, 可 預 測 八 年 後 學 齡 期 的 閱 讀 表 現 語 音 刺 激 材 料 Bishop(2007) /da/ vs /ga/ strongest effect /ba/ vs /da/ weakest effect children who process language information more quickly from birth have advantages in learning language and, later, in learning to read. Molfese, 2000 小 結 閱 讀 有 困 難, 可 能 不 只 是 視 覺 層 次 的 問 題, 也 跟 語 音 的 知 覺 / 操 弄 / 形 成 語 音 表 徵 等 能 力 有 關 此 困 難 跟 基 因 / 家 族 史 有 關 連 性 不 同 語 言 中, 具 代 表 性, 可 穩 定 預 測 該 語 言 閱 讀 能 力 的 語 音 對 比 不 見 得 相 同, 是 語 言 特 性 而 異 例 如 : 中 文 的 聲 調? 芬 蘭 文 的 母 音 長 短. First genome-wide association scan on neurophysiological endophenotypes points to trans-regulation effects on SLC2A3 in dyslexic children. Roeske et al., (2009) Molecular Psychiatry 13