高 客 体 的 三 维 属 性 (e.g. 山 脉 的 阴 影 ) Movement-produced cues 1. Motion parallax( 运 动 视 差 ): 当 我 们 移 动 时, 近 处 的 物 体 迅 速 闪 过, 而 远 处 的 物 体 运 动 相 对 缓 慢 ( 解 释

Transcription

1 感 觉 与 知 觉 - 期 末 复 习 Chap8-Chap10 为 wsadlxx 所 整 理, 下 划 线 为 wisliyao 所 加 Chap11 Chap12 为 wsadlxx 所 整 理,Chap16 为 wisliyao 所 整 理 Chap_8 Perceiving depth and size 深 度 知 觉 Oculomotor cues 眼 球 运 动 线 索 : 基 于 我 们 感 知 眼 睛 位 置 以 及 眼 肌 紧 张 程 度 的 线 索, 由 汇 聚 和 顺 应 形 成 汇 聚 (Convergence): 当 我 们 看 较 近 的 物 体 时 眼 睛 向 内 运 动 顺 应 (accommodation): 当 我 们 聚 焦 于 不 同 远 近 的 物 体 时 晶 状 体 形 状 的 改 变 Pictorial cues( 图 画 线 索 ): 从 图 片 或 视 网 膜 上 的 图 像 提 取 的 深 度 信 息 线 索 1. Occlusion 遮 挡 : 被 部 分 遮 挡 的 物 体 更 远 2. Relative height: 越 靠 近 水 平 面 越 远 ( 天 空 :lower; 地 面 :higher) 3. Relative size: 先 前 的 经 验 中 两 个 相 同 大 小 的 客 体, 远 的 会 占 据 更 小 的 视 网 膜 图 像 大 小 4. Perspective convergence 透 视 汇 聚 : 图 画 中 某 些 线 条 延 伸 后 会 聚 到 一 点, 产 生 深 度 知 觉 ; 距 离 会 聚 点 越 近, 距 离 越 远 5. Familiar size 熟 悉 大 小 : 先 前 的 经 验 中 两 个 不 同 大 小 的 客 体, 如 果 在 视 网 膜 上 的 成 像 大 小 一 致, 则 小 客 体 会 被 看 作 更 近 6. Atmospheric perspective 空 气 透 视 : 在 空 气 质 量 较 差 的 情 况 下, 站 在 高 处 远 眺, 模 糊 的 内 容 更 远, 清 晰 的 内 容 更 近 7. Texture gradient 纹 理 梯 度 : 对 于 均 匀 排 列 的 元 素 的 知 觉 过 程 中, 距 离 越 远, 元 素 看 起 来 更 密 集 8. Shadows: 阴 影 能 够 帮 助 我 们 确 定 对 应 客 体 的 位 置 (e.g. 平 面 or 悬 浮 ); 还 可 以 提

2 高 客 体 的 三 维 属 性 (e.g. 山 脉 的 阴 影 ) Movement-produced cues 1. Motion parallax( 运 动 视 差 ): 当 我 们 移 动 时, 近 处 的 物 体 迅 速 闪 过, 而 远 处 的 物 体 运 动 相 对 缓 慢 ( 解 释 : 客 体 在 视 网 膜 上 对 应 的 点 的 运 动 轨 迹 长 度 离 自 己 近 的 物 体, 于 retina 上 的 移 动 较 大 ; 相 反 的, 离 自 己 较 远 的 物 体, 于 retina 上 的 移 动 较 小 ) 2. Deletion and accretion( 遮 挡 与 显 示 ): 举 例 说 明, 左 右 手 伸 直, 左 手 稍 在 前, 右 手 稍 在 后, 左 右 手 均 不 动 观 察 者 向 左 移 动, 则 将 对 远 处 客 体 的 遮 挡 称 为 Deletion; 观 察 者 向 右 移 动, 则 将 对 远 处 客 体 的 未 遮 挡 成 为 accretion 在 远 物 被 近 物 遮 蔽 一 部 分 的 情 况 下, 移 动 时 会 有 部 分 的 表 面 消 除 (surface deletion) 及 表 面 重 现 (surface accretion), 此 线 索 也 可 带 来 的 深 度 知 觉 Binocular disparity 双 眼 视 差 : 左 右 视 网 膜 上 成 像 的 差 异 corresponding point: 单 眼 视 网 膜 上 的 每 一 个 点, 和 另 一 隻 眼 睛 视 网 膜 都 有 一 个 对 应 点 Horopter 同 视 点 : 当 注 视 某 一 客 体 时, 所 有 能 够 使 左 右 视 网 膜 上 成 像 的 位 置 与 各 自 中 央 凹 位 置 之 间 距 离 ( 夹 角 ) 一 致 的 客 体 的 位 置 所 构 成 的 面 Crossed and uncrossed disparity( 交 叉 与 未 交 叉 视 差 ): Crossed: 相 对 于 corresponding retinal point( 对 应 视 网 膜 点 ) 朝 外, 距 离 观 察 者 更 近 uncrossed: 相 对 于 corresponding retinal point( 对 应 视 网 膜 点 ) 朝 里, 距 离 观 察 者 更 远 Angle of disparity( 视 差 角 ): 左 视 网 膜 成 像 的 对 应 视 网 膜 点 与 右 视 网 膜 的 成 像 位 置 的 角 度 差 random-dot stereogram ( 随 机 点 立 体 图 ):Bela Julesz(1971) 创 造 的 刺 激, 试 图 排 除 其 他 单 眼 线 索 的 影 响, 以 证 明 双 眼 视 差 的 确 可 以 产 生 3-D 视 觉 当 将 该 刺 激 ( 两 个 部 分 ) 分 别 呈 现 给 被 试 的 左 右 眼 后, 被 试 可 以 知 觉 到 一 个 悬 浮 于 背 景 之 上 的 矩 形 The correspondence problem( 对 应 问 题 ): 即 视 觉 系 统 匹 配 两 个 ( 立 体 ) 图 形 的 相 似 部 分, 计 算 它 们 之 间 的 差 异, 然 后 产 生 深 度 知 觉 然 而, 视 觉 系 统 如 何 解 决 这 一 问 题 是 研 究 者 关 注 的 问 题 例 如 随 机 点 立 体 图, 不 需 要 形 状 依 然 可 以 完 成 匹 配 ; 立 体 电 视 : 液 晶 眼 镜 Liquid crystal shuttered glasses/ 红 蓝 眼 镜 / 快 速 切 换 显 示 器 屏 幕 Disparity-selective neurons( 又 叫 双 眼 深 度 神 经 元 ): 当 刺 激 产 生 特 定 的 绝 对 视 差 时, 某 神 经 元 反 应 最 强 烈 也 存 在 对 于 图 片 深 度 反 应 的 神 经 元, 它 们 也 对 视 差 反 应 Neurons in the parietal cortex respond pictorial depth, also to disparity depth. Blake and Hirsch s selective rearing experiment: 在 猫 出 生 6 个 月 期 间, 每 次 一 只 眼, 左 右 交 替 观 察 世 界 ( 交 替 周 期 :1 天 ) 结 果 : 双 眼 神 经 元 较 少 ; 不 能 使 用 双 眼 线 索 知 觉 深 度 DeAngelis s micro-stimulation experiment: 在 猴 子 看 某 一 深 度 的 物 体 时, 使 用 微 刺 激 技 术 刺 激 对 另 一 深 度 绝 对 视 差 敏 感 的 群 体 神 经 元, 猴 子 的 深 度 知 觉 发 生 改 变

3 大 小 知 觉 The Holway and Boring experiment: 持 有 不 同 大 小 的 客 体 可 以 拥 有 相 同 的 视 角 他 们 操 弄 了 深 度 线 索 的 多 寡, 测 量 受 试 者 对 物 体 大 小 的 判 断 测 试 刺 激 为 远 近 大 小 不 等 但 视 角 固 定 为 1 度 的 圆, 受 试 者 依 据 测 试 刺 激 的 大 小, 来 调 整 比 较 刺 激 的 直 径 结 果 发 现 在 具 有 深 度 线 索 及 单 眼 观 看 的 情 况 下, 受 试 者 所 调 整 的 直 径 与 测 试 刺 激 的 大 小 一 致 ; 但 若 受 试 者 透 过 针 孔 观 看 或 在 黑 暗 中, 为 缺 乏 深 度 线 索 的 情 况 下, 受 试 者 比 较 倾 向 于 依 赖 网 膜 上 的 成 像 大 小 来 做 判 断 比 较 刺 激 vs. 不 同 距 离 的 测 试 刺 激 四 种 条 件 ( 依 次 减 少 深 度 线 索 ): 正 常 观 察 ( 暗 含 双 眼 视 差 运 动 视 差 阴 影 );good 单 眼 观 察 ( 取 消 双 眼 视 差 );good 小 孔 观 察 ( 取 消 运 动 视 差 ); bad 增 加 幕 布 ( 取 消 阴 影 );very bad 说 明 : 双 眼 线 索 单 眼 线 索 对 我 们 知 觉 深 度 的 重 要 性 Emmert s law / Size constancy function 大 小 恒 常 性 公 式 S=K(R*D) S 是 感 知 的 大 小,K 是 常 数,R 是 视 网 膜 成 像 大 小,D 是 感 觉 到 的 距 离. Fang(2008) 和 Sperandio(2012) 的 实 验, 使 用 后 效 在 视 网 膜 上 成 一 个 环 形 的 不 变 像 改 变 深 度 线 索, 发 现 初 级 视 皮 层 V1 上 激 活 区 域 改 变, 有 明 显 的 环 形 区 域 视 错 觉 : The Muller-Lyer illusion: 利 用 1 解 释 (distance 的 不 同 ); The Ponzo illusion: 利 用 1 解 释 (distance 的 不 同 ) The Ames room: 导 致 2 个 同 样 大 小 的 人 看 起 来 不 一 样 大 ( 知 觉 到 的 距 离 一 样, 而 visual angle 不 同 ) The Moon illusion; 感 觉 位 于 水 平 面 附 近 的 月 亮 比 在 高 空 中 的 月 亮 大 ( 视 角 始 终 没 有 变 化 ) 利 用 34 解 释 视 错 觉 理 论 解 释 : 1misapplied size constancy scaling( 误 用 的 大 小 恒 常 性 标 尺 ): 大 小 恒 常 性 通 常 通 过 将 距 离 考 虑 在 内, 以 帮 助 我 们 保 持 对 客 体 的 稳 定 知 觉 2Conflicting cues theory( 矛 盾 线 索 理 论 ): 我 们 对 于 线 长 的 知 觉 取 决 于 2 点 ( 以 The Muller-Lyer illusion 为 例 ): 线 段 的 实 际 长 度 ; 图 形 的 总 体 长 度 将 2 条 线 索 综 合 起 来 形 成 折 中 的 长 度 知 觉 3Apparent distance theory( 视 距 理 论 ): 水 平 面 附 近 的 月 亮 之 所 以 大, 是 因 为 在 看 向 它 时 能 够 看 到 填 满 空 间 的 具 有 深 度 信 息 的 地 形 ( 即 远 ), 而 看 向 天 空 中 的 月 亮 则 是 通 过 不 具 有 深 度 信 息 的 空 荡 荡 的 空 间 ( 即 近 ) 4Angular size-contrast theory( 角 度 的 大 小 - 对 比 理 论 ): 当 月 亮 被 更 大 的 物 体 包 围 时 会 看 起 来 更 小 天 空 中 的 月 亮 被 广 阔 的 天 空 包 围 所 以 小, 而 水 平 线 附 近 的 月 亮 被 部 分 天 空 包 围 所

4 以 相 对 较 大 Chap_9 Perceiving movement motion agnosia 运 动 失 认 症 一 切 视 觉 的 体 验 都 是 静 止 的, 跳 跃 的 静 止 像 斑 马 线 四 周 的 汽 车, 他 或 她 再 也 看 不 到 汽 车 连 续 的 运 动, 而 只 剩 下 来 汽 车 位 置 跳 跃 式 的 静 止, 相 当 于 从 一 个 位 置 直 接 空 降 到 另 一 个 位 置 上 四 种 运 动 知 觉 : 1. Real motion: 客 体 的 实 际 运 动 ; 2. Apparent motion: 一 种 illusory motion, 即 真 实 刺 激 没 有 发 生 移 动, 但 知 觉 到 运 动 ; 刺 激 在 不 同 位 置 上 快 速 地 出 现, 但 出 现 的 时 间 间 隔 必 须 适 当 才 会 有 似 动 现 象 我 们 平 常 看 到 电 视 电 影 中 的 动 作, 都 是 似 动 运 动 和 视 觉 运 动 相 似, 刺 激 皮 肤 产 生 似 动 运 动 时,somatosensory cortex 之 神 经 元 也 产 生 反 应 大 脑 皮 层 处 理 感 官 讯 息 时, 不 论 何 种 感 官, 均 倾 向 将 连 续 的 刺 激 连 结 起 来 3. Induced motion 诱 发 运 动 : 某 客 体 ( 通 常 是 大 的 ) 导 致 附 近 的 不 动 客 体 ( 通 常 是 小 的 ) 看 起 来 发 生 了 运 动 有 真 实 运 动 的 刺 激 同 时 引 发 无 真 实 运 动 刺 激 的 运 动 知 觉 例 如, 我 们 坐 在 静 止 的 火 车 上, 看 到 旁 边 轨 道 的 火 车 开 了, 会 以 为 是 自 己 这 列 火 车 开 了 4. Motion aftereffect: 当 长 时 间 注 视 一 个 运 动 物 体 (30~60s) 后 再 看 静 止 物 体, 感 觉 静 止 物 体 向 反 方 向 发 生 了 运 动 如 瀑 布 错 觉 (waterfall illusion), 即 如 果 你 看 瀑 布 30~60s( 其 只 占 据 你 的 部 分 视 野 ), 然 后 将 视 线 转 移 至 其 他 不 动 的 客 体 上, 会 发 现 这 些 客 体 看 起 来 向 上 运 动 了 几 秒 运 动 知 觉 的 功 能 1. 帮 助 我 们 理 解 环 境 中 发 生 的 事 件, 如 人 们 在 做 什 么, 是 否 发 生 了 任 务 的 变 化 等 ; 2. 使 我 们 能 够 在 环 境 中 穿 行 3. 提 供 线 索, 帮 助 我 们 继 续 或 停 止 某 动 作 (e.g. 沏 茶 )( 生 存 意 义 ) 4. 运 动 诱 发 的 注 意 捕 获 5. 知 觉 客 体 ( 鸟 飞 入 草 丛 中 ) Kinetic depth effect( 运 动 深 度 效 应 ): 某 客 体 的 二 维 阴 影 的 运 动 能 改 变 我 们 的 知 觉, 即 把 阴 影 的 知 觉 改 变 为 三 维 客 体 的 知 觉 三 维 物 体 的 结 构 在 运 动 时 能 被 识 别 在 没 有 深 度 线 索 的 情 况 下, 这 可 能 是 人 们 可 以 识 别 物 体 形 状 的 唯 一 感 知 机 制 对 于 三 维 视 觉 的 形 成, 广 义 上 有 两 个 解 释 第 一 个 解 释 与 视 网 膜 有 关, 三 维 物 体 在 视 网 膜 上 的 成 像 模 式 或 许 与 二 维 平 面 不 同 另 一 个 推 测 有 关 于 过 去 对 物 体 的 经 历, 但 这 没 有 解 释 过 去 的 经 历 对 现 在 的 视 觉 感 知 有 什 么 具 体 的 关 系 (from wiki) structure-from-motion( 从 运 动 恢 复 结 构 ): 指 的 是 运 动 如 何 产 生 知 觉 结 构 ( 指 由 平 面

5 运 动 信 息 诱 发 的 深 度 知 觉 ) 如 kinetic depth effect, 鸟 飞 入 草 丛 中 The corollary discharge theory( 推 论 放 电 理 论 ): 有 三 种 讯 息 会 和 运 动 知 觉 有 关, 这 三 种 讯 息 包 括 了 物 体 移 动 及 眼 动 : 控 制 动 眼 的 讯 息 (motor signal,ms), 而 MS 会 产 生 一 个 副 本 推 论 放 电 信 号 (corollary discharge signal,cds), 以 及 网 膜 上 的 影 像 位 移 (image displacement signal,ids) 根 据 此 理 论, 我 们 对 运 动 知 觉 取 决 于 CDS 和 IDS 是 否 送 讯 息 到 比 较 器 comparator 当 仅 有 其 中 一 种 讯 息 送 至 comparator 时, 就 会 引 发 运 动 知 觉 ; 但 当 两 者 同 时 送 讯 号 到 comparator, 就 会 造 成 彼 此 取 消 而 使 运 动 知 觉 不 会 产 生 例 如, 即 使 视 网 膜 上 成 像 没 有 变, 也 能 感 知 运 动 Motion is perceived under (a) and (b), but not under (c). Corollary Discharge Theory 生 理 证 据 一 位 medial superior temporal area(mst) 损 伤 的 病 人, 若 在 静 止 的 空 间 中 动 眼, 就 会 觉 得 整 个 空 间 在 动, 且 速 率 与 眼 动 的 速 率 一 致 MST 是 负 责 运 动 知 觉 的 重 要 区 域, 此 区 损 伤 可 能 就 阻 断 了 CDS 的 讯 息 在 猴 子 的 extrastriate cortex 中, 可 以 找 到 对 物 体 运 动 敏 感 的 细 胞 这 类 细 胞 在 眼 睛 不 动 物 体 运 动 时 反 应, 但 当 眼 睛 转 动 而 物 体 不 动 时 却 不 反 应 由 于 这 两 物 种 情 况 在 网 膜 上 的 投 影 是 相 同 的, 因 此 此 类 细 胞 应 该 也 考 量 了 眼 球 运 动 的 讯 息, 并 针 对 真 实 运 动 的 物 体 反 应, 称 为 real-motion neuron The aperture problem( 孔 径 问 题 ): 当 通 过 小 孔 观 察 较 大 刺 激 ( 如 bar) 的 运 动 而 判 断 其 运 动 方 向 时, 会 产 生 误 导 性 信 息 MT 通 过 整 合 来 自 V1 神 经 元 的 信 息 来 解 决 孔 径 问 题 确 定 dot motion 的 方 向 (MT & 运 动 知 觉 )Newsome 的 研 究 随 着 运 动 一 致 性 的 增 加,MT 神 经 元 的 发 放 强 度 增 加, 猴 子 的 反 应 正 确 率 增 加 (12.8% 已 基 本 达 到 正 确 率 上 限 ) MT 损 伤 后, 猴 子 的 正 确 率 下 降 (1~2% 刚 刚 能 够 探 测 到 运 动 信 息, 损 伤 后 需 要 10~20%)

6 微 刺 激 某 一 运 动 方 向 感 知 功 能 柱, 行 为 上 的 运 动 方 向 判 断 会 与 被 刺 激 到 的 细 胞 所 喜 好 的 方 向 所 影 响 Biological motion( 生 物 运 动 ): 一 例 structure-from-motion 颞 上 回 (STS) 接 受 来 自 腹 侧 通 路 (what,it 区 ) 和 背 侧 通 路 (where,mt 区 ) 的 信 号, 用 于 对 生 物 运 动 的 知 觉 Grossman 等 人 (2005) 使 用 TMS 于 受 试 者 的 STS(superior temporal sulcus), 使 STS 暂 时 失 能, 然 后 给 受 试 者 看 如 图 8.26 的 刺 激 图 A 图 为 biologically motion,b 图 为 scrambled stimulus,c 图 和 D 图 是 将 A 图 的 biological motion 加 上 noise 来 控 制 作 业 的 难 度 结 果 显 示,STS 暂 时 失 能 的 观 察 者, 其 对 于 biological motion 的 作 业 表 现 变 差 而 MT 失 能 者 却 不 会 有 这 状 况 Grossman 结 论 为 STS 为 知 觉 biological motion 的 必 要 区 域 许 多 证 据 也 显 示,biological motion 是 一 种 特 别 的 运 动 知 觉, 而 非 单 纯 的 "motion" Apparent Motion Ramachandran 与 Anstis(1986) 呈 现 如 8.30 的 图 若 先 呈 现 上 下 各 一 个 光 点, 然 后 在 上 方 再 呈 现 一 个 光 点, 观 察 者 会 觉 得 下 方 的 点 运 动 到 上 方 然 而, 如 果 在 下 方 呈 现 一 个 方 型, 受 试 者 觉 得 两 个 光 点 都 往 右 边 移 动 Ramachandran 与 Anstis(1986) 认 为 这 样 的 效 果 来 自 于 过 去 经 验 Implied motion( 暗 含 的 运 动 ): 从 静 止 的 图 片 中 感 知 到 运 动 信 息 1. representational momentum 表 征 动 量 : 静 止 的 图 片 所 表 达 出 的 运 动 讯 息, 图 片 在 人 脑 中 的 持 续 旅 行 ( 与 人 们 对 客 体 的 经 验, 以 及 对 客 体 运 动 的 期 望 有 关 ) 序 列 缓 慢 呈 现 3 张 图 片, 再 呈 现 测 试 图 片 而 受 试 者 所 要 做 的 作 业 是 比 较 测 试 图 片 中 的 物 体 是 否 跟 记 忆 图 片 中 的 物 体 位 置 一 样 结 果 显 示, 如 果 所 用 的 刺 激 是 火 箭 刺 激, 相 较 于 比 较 没 有 运 动 讯 息 的 重 物 刺 激, 受 试 者 倾 向 将 略 高 于 记 忆 图 片 的 测 试 图 片, 认 为 其 与 记 忆 图 片 位 于 相 同 的 位 置 显 示 火 箭 图 片 有 较 高 的 representational momentum 2. 运 动 后 效 :implied motion 引 发 的 运 动 后 效 看 过 implied motion 图 片 后, 将 静 止 的 点 知 觉 为 运 动 的 ( 方 向 是?) 3. MT 激 活 :fmri 研 究, 比 较 四 种 图 片 (IM 运 动 员 图 non-im 运 动 员 图 休 息 图 房 子 图 ) 对 于 implied motion 图 片 的 MT 的 BOLD 信 号 变 化 强 于 其 他 图 片 Chap_10 Perception and action The ecological approach to perception( 研 究 知 觉 的 生 态 学 方 法 ): 研 究 自 然 环 境 中 的 知 觉, 强 调 知 觉 与 个 体 在 环 境 中 如 何 探 索 之 间 的 联 系 (by J.J.Gibson) Gibson 提 出 Optic Array 的 概 念, 认 为 环 境 中 的 刺 激 本 身 的 排 列 就 会 提 供 相 当 丰 富 的 知 觉 讯 息 ; 当 观 察 者 移 动,optic array 也 跟 著 改 变, 观 察 者 就 可 从 中 抽 取 出 丰 富 的 讯 息 在 观 察 者 移 动 的 过 程 中, 週 遭 的 环 境 会 形 成 一 个 流 动 的 讯 息, 称 为 optic flow optic flow

7 的 特 性 是 越 周 边 的 刺 激 有 越 大 的 运 动 向 量, 这 种 运 动 向 量 随 著 跟 自 己 的 距 离 越 近 而 越 大 的 现 象 称 为 gradient of flow 然 而, 运 动 的 目 标 位 置 是 没 有 optic flow 的, 称 为 focus of expansion (FOE) 因 此 optic flow 可 以 提 供 运 动 方 向 及 速 度 的 讯 息 Optic flow( 光 流 ): 小 车 向 前 运 动 时, 前 方 视 野 中 的 事 物 向 后 ( 迎 面 而 来 ) 的 运 动 距 离 小 车 越 近, 流 速 越 快 Gradient of flow( 流 速 梯 度 ): 由 于 距 离 导 致 的 流 速 差 异 其 提 供 有 关 观 察 者 运 动 速 度 的 信 息 Focus of expansion (FOE, 延 伸 焦 点 ): 观 察 者 运 动 的 目 的 地 没 有 流 动, 该 点 称 为 FOE Optic flow 的 特 点 : Self-produced information( 自 生 信 息 ): 观 察 者 本 身 的 移 动 会 产 生 optic flow, 同 时 也 造 成 观 察 者 知 觉 的 改 变, 而 此 知 觉 的 改 变 又 进 一 步 影 响 观 察 者 的 动 作 方 式, 此 称 为 self-produced information 因 此, 知 觉 与 动 作 是 一 个 循 环 的 圈 Invariant information( 不 变 性 信 息 ): (1) 自 身 的 不 变 性 : 无 论 如 何 运 动,optic flow 始 终 存 在 (2)FOE: 其 始 终 位 于 个 体 目 的 地 的 中 心 (3)texture gradients( 纹 理 梯 度 ): 不 管 向 哪 里 运 动, 纹 理 梯 度 始 终 在 提 供 有 关 深 度 和 大 小 的 知 觉 Affordance( 功 能 可 见 性 ): 由 刺 激 形 成 的 模 式 提 供 的 功 能 信 息, 其 表 明 刺 激 的 用 途 (by Gibson: 我 们 不 仅 知 觉 客 体, 还 知 觉 客 体 的 用 途 ) 例 如, 我 们 能 辨 识 出 是 一 张 椅 子, 是 因 为 我 们 知 觉 到 它 有 供 人 坐 在 上 面 的 讯 息 对 Optic flow 的 使 用 : Warren (1995) 由 计 算 机 产 生 的 运 动 点 表 示 optic flow 刺 激, 让 被 试 判 断 前 进 方 向 ( 直 道 & 弯 道 ), 受 试 者 利 用 optic flow 中 FOE 的 讯 息, 判 断 出 正 确 的 前 进 方 向, 而 误 差 只 有 0.5 到 1 度 视 角 现 实 场 景 中, 被 试 进 行 驾 驶 使 用 眼 动 仪 记 录 被 试 的 注 视 位 置 结 果 发 现 被 试 的 注 视 点 并 不 是 FOE, 说 明 被 试 可 能 使 用 除 Optic flow 之 外 的 信 息 以 确 定 其 前 进 方 向 ( 问 题 在 于, 注 视 注 意 ) 也 有 一 些 证 据 说 明,optic flow 不 是 提 供 前 进 方 向 的 充 分 必 要 条 件 在 弯 道 上 行 进 时,FOE 并 非 一 个 定 点, 而 是 持 续 在 变 化 著, 因 此 受 试 者 还 会 看 弯 道 的 切 线 方 向 来 修 正 前 进 方 向 以 避 免 碰 撞 对 于 近 距 离 的 目 标, 我 们 可 以 闭 眼 走 过 去, 甚 至 过 程 中 必 须 转 弯, 都 不 需 仰 赖 任 何 视 觉 讯 息 视 觉 与 平 衡 视 觉 提 供 参 考 系, 帮 助 人 们 通 过 调 整 肌 肉 来 保 持 平 衡 Lee and Aronson (1974) s toddler experiment: 视 觉 如 此 强 大, 以 至 于 覆 盖 了 传 统 的 平 衡 信 息 ( 由 内 耳 肌 肉 及 联 结 内 的 感 受 器 ) 一 间 牆 壁 会 前 后 移 动 的 房 间, 当 牆 壁 向 我 们 靠 近 或 是 远 离 时, 会 呈 现 不 同 的 flow pattern 当 牆 壁 远 离, 呈 现 如 汇 聚 的 flow pattern, 受 试 者 会 以 为 此 flow pattern 是 因 为 自 己 身 体 往 后 倾 斜 所 造 成

8 的, 因 此 会 将 身 体 往 前 倾 以 维 持 平 衡 不 论 是 大 人 或 一 岁 大 的 小 孩, 都 会 因 应 这 些 视 觉 讯 息, 摆 动 身 体 以 维 持 平 衡 导 航 的 生 理 基 础 (the physiology of navigation) Optic flow neuron:mst 中 的 一 些 神 经 元 对 向 外 延 伸 的 点 (expansion flow) 反 应, 但 对 旋 转 的 点 不 反 应 ; 另 一 些 对 rotation flow 反 应 训 练 猴 子 判 断 optic flow 指 示 的 运 动 方 向 ( 左 前 右 ), 使 用 微 刺 激 技 术 对 其 进 行 刺 激, 会 增 强 猴 子 的 判 断, 在 行 为 上 对 optic flow 的 判 断 会 与 被 刺 激 到 的 神 经 细 胞 所 负 责 的 反 应 一 致 导 航 相 关 脑 区 : 导 航 网 络 (navigation network): 右 侧 海 马 部 分 顶 叶 ( 导 航 正 确 相 对 于 导 航 错 误, 激 活 更 强 );( 虚 拟 现 实 熟 悉 环 境, 给 予 从 A 到 B 的 任 务, 进 行 PET 扫 描 ) 对 地 标 的 使 用 :(fmri 研 究, 要 求 受 试 者 学 习 在 虚 拟 美 术 馆 中 如 何 走 出 来, 对 于 对 地 标 的 再 认 记 忆 中, 该 转 弯 时 附 近 的 地 标 比 起 不 必 转 弯 的 地 标, 受 试 者 的 右 侧 海 马 旁 回 PPA 会 有 较 高 的 反 应, 且 即 使 受 试 者 主 观 报 告 不 记 得 此 地 标, 生 理 上 仍 会 有 此 结 果 也 就 是 说,PPA 能 自 动 区 分 道 航 地 标 Linear optical trajectory (LOT) strategy( 线 性 光 学 轨 迹 策 略 ): 接 球 者 在 跑 动 的 过 程 中, 看 到 的 球 的 轨 迹 是 一 条 直 线, 而 实 际 的 球 总 是 在 这 条 线 的 下 面, 所 以 当 球 落 地 的 时 候, 接 球 员 正 好 到 位 Optic ataxia ( 视 觉 性 共 济 失 调 ): 顶 叶 受 损, 特 征 是 够 取 物 体 缓 慢 不 准 确, 经 常 不 能 为 匹 配 客 体 形 状 而 改 变 抓 取 的 手 形 顶 叶 对 于 避 免 障 碍 物 的 重 要 性 Bisection task & reaching task 顶 叶 内 神 经 元 特 性 : Visual-dominant neuron: 当 猴 子 看 按 钮 或 在 光 照 下 按 键 时 反 应, 而 对 黑 暗 中 按 键 不 反 应 Motor-dominant neuron: 当 猴 子 按 键 ( 光 照 或 黑 暗 条 件 下 ) 时 反 应, 而 看 时 不 反 应 Intention neuron: 在 猴 子 想 要 抓 取 客 体 前 进 行 反 应, 其 预 示 着 猴 子 抓 取 客 体 的 意 图 Parietal reach region( 位 于 后 顶 叶 ): 包 含 许 多 以 上 所 述 的 神 经 元, 该 区 域 向 前 运 动 区 (PM) 传 递 信 号, 而 PM 区 包 含 的 神 经 元 不 仅 对 行 为 的 进 行 反 应, 还 对 看 到 由 别 人 发 起 的 同 样 的 行 为 而 反 应 (vision) 镜 像 神 经 元 : 位 于 前 运 动 皮 层, 当 猴 子 抓 取 客 体 时 反 应, 当 猴 子 看 别 人 ( 通

9 常 是 实 验 者 ) 做 同 样 的 动 作 也 反 应 特 性 : 对 特 定 的 行 为 反 应 ; 帮 助 理 解 他 人 行 为, 从 而 以 适 当 的 方 式 回 应 帮 助 模 仿 看 到 的 行 为 Audiovisual mirror neurons( 视 听 镜 像 神 经 元 ): 当 猴 子 进 行 hand-related 行 为 时 反 应, 当 听 到 与 之 相 联 系 的 声 音 也 反 应 看 听 别 人 破 花 生 ; 看 别 人 破 花 生 ; 听 破 花 生 的 声 音 ; 自 己 破 花 生 Chap_11 Sound, the auditory system, and pitch perception 响 度 : 响 度 就 是 声 音 的 大 小, 与 振 幅 成 正 比 如 果 以 能 听 到 的 最 小 声 音 作 为 1, 根 据 振 幅 的 比 例, 那 么 我 们 可 听 到 的 最 大 声 响 则 约 为 一 千 万, 此 范 围 太 大 了, 因 此 音 量 改 以 分 贝 (decibels) 表 示 大 小 db=20 log( 刺 激 振 幅 / 标 准 振 幅 ) 声 压 : 声 音 在 媒 介 中 引 起 的 附 加 压 强, 表 示 声 压 大 小 的 量 称 为 声 压 级 别 (sound pressure level,spl) 某 声 音 的 声 压 (p) 与 基 本 声 压 值 (p0) 之 比 的 常 用 对 数 的 20 倍 来 表 示, 即 20lgP/P0, 单 位 为 db 声 波 每 增 加 10 倍 压 力, 音 量 会 增 加 20 分 贝 振 幅 频 率 : 纯 音 (pure tone) 为 例, 纯 音 的 声 波 以 数 学 的 方 程 式 来 表 示 是 十 分 规 律 的 正 弦 波 波 的 振 动 大 小 称 为 振 幅 (amplitude); 一 个 完 整 的 波 长 (one cycle) 包 括 一 个 波 峰 和 一 个 波 谷, 每 秒 包 含 多 少 个 完 整 的 波 称 为 频 率 (frequency), 一 般 称 为 " 赫 "(Hertz,Hz) 人 类 听 觉 约 可 听 到 Hz 的 声 波 等 响 曲 线 : 描 述 等 响 条 件 下 声 压 级 与 声 波 频 率 的 关 系 曲 线 称 为 等 响 曲 线, 是 重 要 的 听 觉 特 征 之 一 即 在 不 同 频 率 下 的 纯 音 需 要 达 到 何 种 声 压 级, 才 能 获 得 对 听 者 来 说 一 致 的 听 觉 响 度 其 中, 最 下 的 一 条 线 称 为 Audibility Curve 可 听 曲 线, 是 能 听 到 的 最 小 响 度 的, 声 音 听 觉 的 阈 限 Threshold of hearing; 最 上 面 一 条 也 是 听 觉 阈 限, 是 能 忍 受 的 最 大 响 度 这 之 中 的 区 域 被 称 为 Auditory response area 听 觉 反 应 区 基 频 ; 复 杂 声 音 周 期 的 倒 数, 复 合 振 动 或 波 形 ( 如 声 波 ) 的 谐 波 成 分, 它 具 有 最 低 频 率, 且 通 常 具 有 最 大 振 幅 亦 称 基 谐 波 可 听 曲 线 (audibility curve): 即 听 觉 阈 限 曲 线, 指 的 是 在 不 同 频 率 条 件 下, 我 们 能 听 到 的 最 低 分 贝 听 觉 反 应 区 (auditory response area): 位 于 可 听 度 曲 线 上 方 的 区 域, 在 该 区 域 的 声 音 我 们 都 能 听 到, 其 上 限 是 感 觉 阈 限 ( 声 音 强 到 我 们 能 够 感 觉, 破 坏 听 觉 系 统 ) 频 谱 图 : 对 声 音 进 行 傅 里 叶 分 析 后 频 率 与 声 强 的 关 系 图 耳 朵 的 主 要 构 成 及 功 能 外 耳 ( 组 成 及 功 能 ) 组 成 :

10 耳 廓 : 帮 助 声 音 来 源 定 位 外 耳 道 : 保 护 鼓 膜, 维 持 鼓 膜 和 中 耳 的 温 度 恒 定 鼓 膜 功 能 : 保 护 中 耳 ; 保 持 中 耳 的 温 度 ; 共 振, 提 高 声 强 透 过 外 耳 的 共 振 作 用 可 以 提 高 2000~5000Hz 声 音 的 强 度 中 耳 : 组 成 : 2 块 听 小 骨 : 锤 骨 (malleus) 砧 骨 (incus) 镫 骨 (stapes) 空 气 振 动 液 体 振 动 增 大 声 音 强 度 的 2 个 方 法 :(1) 大 鼓 膜 vs. 小 卵 圆 窗 ;(2) 杠 杆 卵 圆 窗 震 动 传 递 : 由 鼓 膜 振 动 开 始 传 到 三 小 听 骨 ( 槌 骨 malleus 砧 骨 incus 镫 骨 stapes), 再 传 至 卵 圆 窗 (oval window), 最 后 进 入 内 耳 外 耳 与 中 耳 都 充 满 空 气, 而 内 耳 是 充 满 液 体 ; 声 波 振 动 从 空 气 传 入 液 体 时 会 造 成 传 送 不 佳, 这 时 候 三 小 听 骨 便 能 解 决 这 个 问 题 : 当 振 动 由 鼓 膜 传 入 到 镫 骨 输 出 时, 可 增 加 单 位 面 积 压 力 17 倍 ; 其 次, 根 据 杠 杆 原 理 三 小 听 骨 可 增 加 约 1.3 倍 的 振 动 ; 功 能 : 在 中 耳 的 传 送 过 程 可 增 加 振 动 约 22.1 倍, 解 决 声 波 振 动 从 空 气 传 入 内 耳 液 体 时 造 成 的 传 送 不 佳 中 耳 的 三 小 听 骨 上 附 有 身 体 最 小 的 骨 骼 肌, 当 有 非 常 强 大 的 巨 响 传 入 时, 它 会 收 缩 以 减 低 三 小 听 骨 的 振 动, 可 保 护 耳 朵 内 耳 耳 蜗 : 柯 蒂 氏 器 (organ of Corti) 毛 细 胞 基 底 膜 basiler membrane 盖 膜 tectorial membrane 听 觉 受 器 hair cell 又 可 分 为 两 种 :inner hair cell 与 outer hair cell 前 者 数 目 较 少, 约 3500 个, 但 是 有 95% 的 听 觉 细 胞 接 受 来 自 此 的 讯 息 ; 后 者 数 目 约 个, 但 只 处 理 约 5% 的 讯 息 当 镫 骨 敲 击 使 耳 蜗 内 液 体 压 力 的 改 变 时, 基 底 膜 会 随 之 上 下 振 动 ; 此 振 动 造 成 柯 蒂 氏 器 上 下 振 动 及 盖 膜 前 后 移 动,inner hair cell 上 的 纤 毛 因 而 弯 曲, 在 细 胞 内 产 生 电 流 讯 号, 讯 号 传 送 到 大 脑 的 听 觉 接 受 区, 使 我 们 听 到 声 音 outer hair cell 另 有 一 项 功 能 是 藉 由 改 变 其 长 度 ( 称 为 motile response) 来 增 加 tectorial membrane 移 动 的 幅 度 物 理 信 号 电 信 号 ( 通 过 结 构 的 改 变 ) Bekesy s place theory of hearing(bekesy 地 点 理 论 ): 刺 激 耳 蜗 基 底 膜 振 动 内 毛 细 胞 弯 曲 听 觉 神 经 纤 维 产 生 电 信 号 基 底 膜 振 动 形 成 包 络, 声 音 的 频 率 由 耳 蜗 中 神 经 发 放 最 强 烈 的 place( 即 包 络 最 高 点 ) 所 决 定 越 靠 近 底 部 (base), 越 远 离 顶 端 (apex), 频 率 越 高

11 地 点 学 说 证 据 1. Tonotopic map: 在 猪 的 耳 蜗 基 底 膜 上 放 置 电 极, 测 量 对 不 同 频 率 的 电 信 号 反 应 说 明 的 确 是 越 靠 近 底 部 (base), 越 远 离 顶 端 (apex), 频 率 越 高 2. Neural frequency tuning curves( 神 经 频 率 调 谐 曲 线 ): 测 量 猫 的 耳 蜗 和 听 觉 神 经 中 的 不 同 位 置 每 个 内 毛 细 胞 对 不 同 频 率 的 声 强 阈 限 就 最 敏 感 频 率 来 说, 符 合 地 点 学 说 3. Auditory masking: 增 加 某 频 段 的 听 觉 mask 前 后 测 量 听 觉 阈 限 ( 不 同 频 率 ), 发 现 mask 对 高 频 的 影 响 大 于 对 低 频 的 影 响 从 basilar membrane 的 振 动 来 看, 因 其 振 动 感 应 形 成 的 envelope of traveling wave 是 不 对 称 的, 造 成 mask 与 高 频 音 的 重 叠 较 大, 所 以 要 听 到 高 频 的 test tone 需 要 强 度 更 强 Update Bekesy: 原 理 论 无 法 解 释 人 类 对 邻 近 频 率 的 辨 别 敏 感 性 修 正 基 底 膜 的 振 动 : 外 毛 细 胞 的 伸 长 和 缩 短 增 强 基 底 膜 的 振 动, 使 对 特 定 频 率 的 反 应 更 敏 锐 基 底 膜 的 作 用 : 频 率 分 析 器, 即 耳 蜗 的 工 作 原 理 是 其 包 含 许 多 过 滤 器, 每 个 过 滤 器 加 工 有 限 的 频 段 相 当 于 对 复 杂 声 音 进 行 傅 里 叶 分 析 证 据 : 1. Psychophysical tuning curve( 心 理 物 理 调 谐 曲 线 ): 呈 现 测 试 刺 激 ( 某 频 率 ), 用 其 他 的 各 种 频 率 的 掩 蔽 刺 激 进 行 掩 蔽 结 果 发 现, 能 够 影 响 测 试 刺 激 知 觉 的 频 段 很 窄, 继 而 说 明 由 测 试 刺 激 对 应 的 基 底 膜 位 置 能 够 加 工 的 频 段 有 限 2. 对 复 杂 音 的 反 应 ( 生 理 学 证 据 ): 由 多 个 频 率 合 成 的 复 杂 音 引 起 基 底 膜 振 动, 振 动 幅 度 大 的 位 置 对 应 这 些 频 率 Phase locking( 相 位 锁 定 ): 神 经 发 放 模 式 表 示 频 率 的 方 法 即 神 经 元 总 是 在 声 音 的 同 样 时 间 点 或 相 处 进 行 神 经 发 放 尽 管 每 个 神 经 元 不 会 在 一 段 声 音 的 所 有 时 间 点 发 放, 但 在 每 一 时 间 点 上 总 有 一 个 神 经 元 在 发 放 因 此, 一 群 神 经 元 一 起 就 能 够 提 供 有 关 声 音 频 率 的 信 息 听 觉 传 导 路 : 蜗 神 经 核 上 橄 榄 核 下 丘 内 侧 膝 状 体 A1, 从 上 橄 榄 核 superior olivary nucleus 开 始 才 是 双 耳 讯 息 听 觉 区 域 : 大 脑 的 听 觉 区 主 要 位 于 颞 叶 (temporal lobe) 的 几 个 区 域 听 觉 讯 息 先 传 至 包 括 A1 的 核 心 区 core area, 接 著 传 到 围 绕 在 core area 周 围 的 belt area 带 状 区, 最 后 传 到 旁 边 的 旁 带 状 区 parabelt area ( 图 11.37) 这 三 个 区 域 在 处 理 听 觉 刺 激 上 呈 现 由 简 至 繁 的 阶 层 性 :core area 处 理 较 简 单 的 声 音 ( 如 pure tone), 但 其 他 区 域 则 处 理 更 複 杂 的 声 音 ( 如 乐 音 或 人 声 ) What & where pathway for hearing What: 辨 别 声 音, 核 心 区 与 带 状 区 的 前 部 ( 颞 叶 ) 前 额 叶 Where: 定 位 声 音, 核 心 区 与 带 状 区 的 后 部 ( 颞 叶 ) 顶 叶 前 额 叶 证 据 : 1. 核 心 区 和 带 状 区 前 部 对 声 音 刺 激 的 pattern 反 应, 而 后 部 对 位 置 反 应

12 2. 脑 损 伤 病 人 的 双 分 离 证 据 :( 1) 颞 叶 损 伤 ;(2) 顶 叶 和 前 额 叶 损 伤 3. 脑 成 像 :(1) 再 认 声 音 ;(2) 定 位 声 音 听 觉 皮 层 与 知 觉 : 对 猴 子 的 训 练 (tonotopic map): 训 练 猴 子 对 2500Hz 左 右 的 频 率 辨 别 能 力, 发 现 被 训 练 过 的 猴 子 有 更 多 区 域 更 多 神 经 元 对 2500Hz 反 应 强 烈 脑 损 伤 病 人 : 双 侧 听 皮 层 损 伤, 对 频 率 音 调 的 辨 别 能 力 严 重 受 损 一 位 侧 叶 受 损 的 病 人 在 判 断 声 音 长 短 及 线 段 方 向 的 作 业 与 一 般 人 无 异, 但 在 判 断 声 调 的 改 变 方 向 及 声 调 高 低 的 区 辨 作 业 便 表 现 相 当 差 这 些 证 据 都 显 示 A1 与 声 调 知 觉 是 息 息 相 关 的 脑 成 像 : 核 心 区 对 纯 音 更 敏 感, 而 其 他 区 域 对 复 杂 音 更 敏 感 missing fundamental 基 频 缺 失 效 应 : 去 掉 某 复 杂 音 的 基 频 和 其 他 较 低 频 的 谐 波, 不 会 改 变 我 们 对 声 音 的 音 调 知 觉 我 们 对 后 者 知 觉 到 的 音 调 称 为 periodicity pitch( 周 期 性 音 调 ) 听 觉 皮 层 的 可 塑 性 : 对 猴 子 的 训 练 ( 如 上 ); 对 雪 貂 的 训 练 : 通 过 训 练, 之 前 不 敏 感 的 频 率 开 始 变 得 敏 感, 反 应 增 强 Chap_12 Sound localization and the auditory scene 双 耳 线 索 : interaural time difference,itd 时 间 差 异 : 对 低 频 声 音 更 敏 感 ; interaural level difference,ild 强 度 差 异 : 对 高 频 声 音 更 敏 感 ; 单 耳 线 索 : 听 觉 刺 激 进 入 耳 道 前, 经 过 头 的 反 射, 以 及 在 耳 道 内 的 反 复 反 射 来 自 不 同 角 度 的 声 音 产 生 的 HRTF 不 同 HRTF: 通 过 比 较 实 际 声 音 的 频 率 与 耳 朵 内 实 际 接 收 到 的 频 率 ( 通 过 在 耳 朵 内 安 装 微 型 耳 机 采 集 ), 二 者 的 差 值 得 到 HRTF(head-related transfer function) 曲 线 耳 廓 反 射 声 音 进 入 耳 道, 随 著 不 同 频 率, 反 射 率 也 不 同, 所 以 可 以 藉 此 判 断 声 源 垂 直 方 向 上 的 位 置 听 觉 刺 激 呈 现 方 式 Free-field presentation: 在 相 对 于 被 试 头 部 的 不 同 位 置 呈 现 声 音 刺 激 通 常 通 过 移 动 被 试 位 置, 在 黑 暗 中 测 试 被 试 被 试 指 出 声 音 方 向, 或 指 出 角 度 坐 标 海 拔 坐 标 Headphone presentation: 通 过 耳 机 呈 现 刺 激, 可 以 精 确 控 制 时 间 进 程 强 度, 但 减 少 了 单 耳 线 索 Virtual auditory space(vas): 在 声 音 刺 激 中 加 入 被 试 的 HRTF 特 征, 使 被 试 由 体 验 internalization 变 为 externalization, 就 像 在 真 实 场 景 中 一 样

13 线 索 的 利 用 判 断 azimuth 位 置 ; 1. 通 过 耳 机 呈 现 的 声 音 刺 激 包 含 不 同 位 置 声 音 的 HRTFs,ITD,ILD, 被 试 能 够 准 确 判 断 声 音 的 位 置 2. 而 将 所 有 位 置 的 声 音 的 ITD 固 定 后, 被 试 的 判 断 就 只 由 ITD 决 定 ( 该 结 果 只 针 对 低 频 ); 3. 而 将 所 有 位 置 的 声 音 的 ILD 固 定 后, 被 试 的 判 断 就 只 由 ILD 决 定 ( 该 结 果 只 针 对 高 频 ) 线 索 的 利 用 判 断 elevation 位 置 贴 耳 膜 改 变 HRTF 可 以 建 立 多 套 HRTF 系 统 ( 戴 上 耳 膜 后 适 应 & 原 有 系 统 ) 听 觉 空 间 的 生 理 表 征 1. ITD detectors 神 经 元 : 猴 子 的 听 觉 皮 层 中 的 某 种 神 经 元, 对 特 定 ITD 的 声 音 反 应 2. Topographic maps: 神 经 结 构 的 不 同 位 置 点 与 声 音 刺 激 位 置 的 对 应 在 猫 头 鹰 的 MLD(mesencephalicus lateralus dorsalis) 区 域 存 在 这 种 对 应 关 系 3. Panoramic neurons( 全 景 神 经 元, 位 于 皮 层 ): 通 过 发 放 的 模 式 标 志 声 音 位 置 对 不 同 位 置 的 声 音 发 放 不 同, 而 多 个 神 经 元 集 合 起 来 就 可 以 精 确 定 位 4. Where pathway: 从 核 心 区 到 前 额 叶, 开 始 有 调 谐 曲 线 的 趋 势 ( 尽 管 tuning curve 仍 然 很 宽 ), 对 复 杂 声 音 的 空 间 位 置 反 应 更 好 听 觉 场 景 分 析 (auditory scene analysis): 环 境 中 各 种 声 源 的 融 合 称 为 听 觉 场 景 (auditory scene), 分 析 并 区 分 由 不 同 声 源 产 生 的 声 音, 从 而 产 生 各 自 的 知 觉 的 过 程 叫 听 觉 场 景 分 析 听 觉 组 织 原 则 : 1. 位 置 : 声 源 的 位 置 变 化 是 连 续 的 而 非 跳 跃 的 ; 某 来 自 特 定 声 源 的 声 音, 声 源 的 空 间 位 置 通 常 是 基 本 不 变 的 2. 相 似 性 : 音 色 :Wessel effect, 两 种 音 色 的 声 音 ( 慢 速 交 替 vs. 快 速 交 替 ) 快 速 交 替 时 不 同 音 色 为 不 同 的 声 音 流 音 调 : (1) 高 低 频 交 替, 慢 速 快 速 :one stream two stream Two stream 为 高 频 低 频 (2) 对 频 率 差 异 的 判 断 : 先 是 单 独 呈 现 2 个 不 同 频 率 (XY) 的 刺 激 (easy to perceive); 但 在 2 个 刺 激 之 前 和 之 后 增 加 1 个 干 扰 刺 激 后, 难 以 判 断 XY 的 顺 序 而 如 果 在 2 个 刺 激 之 前 增 加 多 个 相 同 的 干 扰 刺 激 后, 容 易 判 断 ( 原 因 :XY 为 one stream;distractors 为

14 another stream) (3)scale illusion 规 模 错 觉 (or melodic channeling) 双 耳 同 时 听 两 串 音 符 ( 如 图 a, 左 耳 :blue; 右 耳 :red), 可 以 看 到, 进 入 每 只 耳 朵 的 音 符 都 是 高 - 低 - 高 - 低 - 高, 但 被 试 的 知 觉 是 左 耳 是 低 音 ( 从 低 音 开 始 ), 另 一 只 耳 朵 是 高 音 ( 从 高 音 开 始 )( 如 图 b) 3. 时 间 上 的 邻 近 性 : 高 低 频 交 替 ( 慢 速 时 ) 4. 连 续 性 : (1) 音 乐 片 段 : 该 音 乐 片 段 包 含 两 部 分, 上 面 的 是 一 串 重 复 音 符, 下 面 是 先 上 升 后 下 降 的 音 符 ( 图 a) 即 使 2 个 流 有 交 叉, 但 不 影 响 将 其 知 觉 为 2 个 听 觉 流 ( 图 b) (2) 当 tone burst 被 无 声 间 隔 分 开, 知 觉 到 无 声 时 声 音 中 断 ; 当 无 声 间 隔 变 为 噪 声, 知 觉 为 有 噪 声 的 连 续 声 音

15 5. 经 验 : 研 究 者 让 被 试 听 一 段 由 两 段 为 人 熟 知 的 旋 律 交 错 产 生 的 声 音 刺 激 时, 被 试 听 到 的 东 西 是 无 意 义 的 音 符 变 化 然 而, 当 被 告 知 歌 曲 的 名 字, 他 们 就 能 够 听 到 每 首 曲 子 听 觉 流 分 割 (auditory stream segregation): 将 进 入 耳 朵 的 声 音 刺 激 划 分 成 不 同 的 知 觉 流 ; Precedence effect( 优 先 效 应 ): 右 边 的 speaker 是 lead speaker; 左 边 的 speaker 是 lag speaker; 1. 同 时 发 声 : 被 试 听 到 的 声 音 来 自 2 个 speaker 之 间 ( 该 现 象 称 为 融 合 fusion) 2. Delay 0.1~1ms, 声 源 向 lead speaker 偏 移 3. Delay 1~5ms, 感 觉 声 音 是 从 lead speaker 发 出 这 种 情 况 称 为 优 先 效 应 4. Delay 5ms, 感 觉 先 后 发 声 当 两 个 声 音 刚 好 不 再 融 合, 即 刚 好 听 到 2 个 声 音 时 对 应 的 delay 时 间 称 为 echo threshold( 回 音 阈 限 )

16 建 筑 声 学 (Architectural acoustics): 研 究 声 音 如 何 在 房 间 中 反 射 传 播, 关 注 间 接 的 声 音 如 何 改 变 我 们 听 到 的 声 音 的 质 量 影 响 间 接 声 音 的 因 素 墙 壁 天 花 板 地 板 对 声 音 的 吸 收 ( 主 要 因 素 ) 如 果 大 部 分 被 吸 收, 则 几 乎 没 有 反 射, 也 就 没 有 间 接 声 音 反 之, 则 很 多 反 射, 很 多 间 接 声 音 房 间 的 大 小 和 形 状 其 决 定 了 声 音 的 传 播 及 反 射 的 方 向 Reverberation time( 混 响 时 间 ): 在 声 音 反 射 的 过 程 中, 声 音 强 度 降 为 原 先 的 1/1000 所 用 的 时 间 设 计 房 间 时 考 虑 的 问 题 : (a) intimacy time: 从 舞 台 上 直 接 传 来 的 声 音 与 第 一 次 反 射 传 来 的 声 音 的 时 间 差 (b) bass ratio( 低 音 比 ): 从 墙 壁 和 其 他 表 面 反 射 来 的 声 音 中, 低 频 与 中 频 的 比 率 (c) spaciousness factor( 宽 广 因 素 ) 听 者 接 收 到 的 的 所 有 间 接 声 音 碎 片 Ventriloquism effect (visual capture 视 觉 捕 获 ): 演 员 在 中 央 表 演, 而 对 话 是 由 演 员 右 边 几 米 远 的 讲 话 者 产 生 在 这 种 情 况 下, 我 们 知 觉 到 的 声 音 来 源 是 看 到 的 地 方 ( 舞 台 中 央 ), 而 不 是 实 际 产 生 的 位 置 ( 舞 台 右 边 ) 该 效 应 称 为 视 觉 捕 获 听 觉 对 视 觉 感 知 的 影 响 :

17 两 球 以 图 a 中 方 式 运 动, 在 中 间 会 交 汇 88% 的 被 试 将 该 运 动 知 觉 为 2 球 以 先 前 方 向 前 进 至 对 侧 ( 如 图 a) 剩 下 12% 的 被 试 知 觉 为 2 球 相 碰, 变 化 方 向 前 进 ( 如 图 b) 然 而,2 球 交 汇 时, 加 入 碰 撞 声 音 ( click ), 63% 的 被 试 知 觉 为 2 球 相 碰, 变 化 方 向 前 进 不 考 Chap_13 Speech perception Phonemes; Speech spectrogram; Segmentation problem; Variability problem: phoneme s context; different speakers; Invariant acoustic cues: running spectral display; Categorical perception:vot;phonetic boundary; McGurk effect; Speech perception:

18 top-down & bottom-up; Phonemic restoration effect; Shadowing; Indexical characteristics; 失 语 症 : Broca 失 语 症 ; Wernicke 失 语 症 ; 依 赖 经 验 的 可 塑 性 ; Chap_16 Perceptual development 基 础 视 知 觉 能 力 Basic visual capacities Visual acuity 对 于 空 间 频 率 的 视 觉 敏 锐 度, 使 用 PL 和 VEP 技 术 都 发 现, 婴 幼 儿 出 生 时 视 觉 敏 锐 度 低, 在 六 到 九 个 月 大 时 则 快 速 发 展, 接 下 来 趋 于 平 缓 其 中, 使 用 VEP 检 测 的 视 敏 锐 度 高 于 PL 技 术, 但 变 化 趋 势 一 致, 真 实 的 视 敏 锐 度 应 该 介 于 二 者 之 间 preferential looking technique 视 觉 偏 好 法 : 这 是 由 于 婴 幼 儿 偏 好 于 某 些 类 型 的 刺 激, 且 对 于 偏 好 的 刺 激 会 注 视 较 长 的 时 间 若 给 予 婴 幼 儿 看 单 调 与 条 纹 的 刺 激, 婴 幼 儿 会 偏 好 于 条 纹 的 刺 激 ( 图 16.1); 当 条 纹 刺 激 的 密 度 高 于 婴 幼 儿 的 解 析 度, 则 对 二 者 婴 幼 儿 而 言 都 是 单 调 刺 激, 也 就 观 察 不 到 偏 好 的 反 应 visual evoked potential,vep: 视 觉 诱 发 电 位, 在 婴 幼 儿 头 的 后 方 ( 相 对 于 枕 叶 ) 的 位 置 贴 上 电 极, 当 婴 幼 儿 看 到 的 刺 激 改 变 了, 便 可 由 电 极 记 录 到 脑 电 位 的 变 化 婴 幼 儿 视 觉 敏 锐 度 较 差 的 原 因, 在 于 生 理 上 的 结 构 尚 未 成 熟 皮 层 神 经 元 及 其 联 结 的 发 展 : 观 察 刚 出 生 三 个 月 大 及 六 个 月 大 的 婴 儿 视 觉 皮 质, 可 看 到 出 生 时 仅 仅 是 部 分 发 育, 而 在 3-9 个 月, 也 就 是 视 敏 锐 度 突 飞 猛 进 地 发 展 时, 神 经 也 发 展 逐 渐 发 展 婴 幼 儿 视 网 膜 上 的 锥 状 细 胞 较 短 较 粗, 即 影 响 光 线 的 吸 收 率 以 及 分 布 的 密 度 由 于 outer segments 较 短, 含 有 视 色 素 更 少, 因 此 吸 收 光 线 效 率 较 差 inner segments 较 粗, 接 收 器 排 列 较 为 稀 疏, 许 多 进 入 中 央 凹 的 光 线 损 失 了 Contrast sensitivity 对 比 敏 感 度 : 对 光 栅 亮 暗 的 绝 对 阈 可 视 为 敏 感 度 (sensitivity) 的 指 标 对 成 人 而 言, 不 同 空 间 频 率 的 光 栅 有 不 同 的 敏 感 度, 可 画 出 contrast sensitivity function (CSF) 比 较 婴 幼 儿 的 CSF 发 现, 婴 幼 儿 仅 看 得 到 低 频 的 光 栅, 极 限 为 2~3 cpd, 且 敏 感 度 远 低 于 成 人 由 婴 幼 儿 的 CSF 我 们 可 以 推 论 婴 幼 儿 刚 开 始 仅 看 得 见 大 且 高 对 比 的 物 体, 后 来 渐 渐 可 以 看 清 楚 物 体, 且 可 由 此 资 料 进 一 步 模 拟 ( 空 间 滤 波 ) 婴 幼 儿 所 看 到 的 世 界

19 但 是 3-4 个 月 后 就 能 够 可 以 分 辨 开 心 愤 怒 和 中 性 的 表 情 了 颜 色 知 觉 ; 实 验 时 要 注 意 控 制 色 调 和 亮 度, 色 彩 至 少 可 由 色 调 及 亮 度 两 个 向 度 加 以 界 定, 改 变 其 中 一 项 都 可 改 变 彩 Bornstein 等 人 以 习 惯 性 化 程 序 对 婴 幼 儿 进 行 色 彩 知 觉 实 验, 控 制 了 亮 度 改 变 色 调, 结 果 发 现 四 个 月 大 的 婴 幼 儿 便 具 有 与 成 人 相 同 的 区 辨 色 调 能 力 对 于 510nm 的 绿 色 光 适 应 后,4 个 月 的 婴 儿 对 于 480nm 的 蓝 色 光 去 习 惯 化 ; 540nm 的 绿 色 光 没 有 说 明 婴 儿 和 成 人 的 颜 色 分 类 是 一 样 的 习 惯 性 化 (habituation): 由 于 婴 幼 儿 偏 好 于 新 奇 刺 激, 对 于 看 过 的 刺 激 会 逐 渐 适 应 ; 若 给 予 新 的 刺 激, 便 会 有 去 习 惯 化 (dishabituation) 的 反 应, 藉 此 观 察 婴 幼 儿 是 否 可 区 辨 两 种 不 同 的 刺 激 深 度 知 觉 : 可 依 赖 单 眼 线 索 及 双 眼 线 索, 这 两 种 线 索 在 发 展 上 的 时 序 不 同 双 眼 线 索 必 须 依 赖 双 眼 凝 视 著 空 间 上 的 相 同 位 置, 三 个 月 大 的 小 孩 便 可 跟 随 著 凝 视 物 体 的 远 近 以 调 整 双 眼 的 辐 辏 然 而, 以 随 机 点 立 体 图 进 行 研 究 发 现, 大 约 在 三 个 月 大 至 六 个 月 大 之 间 才 真 正 具 有 双 眼 立 体 视 觉 单 眼 深 度 线 索 涉 及 经 验 的 累 积, 因 此 在 时 序 上 较 晚 才 出 现 藉 由 物 体 大 小 达 成 的 深 度 知 觉, 大 约 是 在 五 至 七 个 月 大 之 间 发 展, 此 时 婴 幼 儿 的 记 忆 也 已 发 展 至 一 定 的 程 度, 才 可 记 得 物 体 的 大 小 形 状 等 特 征 实 验 首 先 是 熟 悉 阶 段,5 个 月 和 7 月 大 的 婴 儿 先 玩 木 制 玩 具 10 分 钟,a( 大 ) b( 小 ) 1 分 钟 后 进 入 测 试 阶 段 然 后 在 同 样 深 度 上 摆 放 相 同 形 状 不 同 大 小 的 A( 小 )B( 大 ),7 个 月 婴 儿 会 去 抓 B 而 不 是 A, 因 为 能 明 白 B 更 近 5 个 月 的 不 行 Face perception 面 孔 识 别 Bushnell 等 人 以 视 觉 偏 好 法 研 究 出 生 后 两 天 的 婴 儿, 发 现 婴 儿 对 母 亲 脸 孔 的 偏 好, 可 超 过 对 新 奇 刺 激 的 偏 好 Pascalis 等 人 推 测 婴 儿 之 所 以 能 够 辨 识 出 妈 妈 的 脸, 大 部 分 是 辨 认 妈 妈 的 髮 型 与 脸 孔 的 轮 廓 对 比, 而 不 是 特 殊 动 作 或 者 气 味 线 索, 因 为 看 妈 妈 的 视 频 也 能 有 这 种 偏 好 面 孔 识 别 机 制 的 存 在 性 : 支 持 证 据 1. Morton 与 Johnson 研 究 刚 出 生 一 小 时 内 的 婴 儿, 发 现 婴 儿 视 线 追 随 似 脸 孔 刺 激 的 比 率 高 于 其 他 两 种 刺 激 ( 无 五 官 脸 五 官 错 位 的 脸 ) 2. 一 个 出 生 一 天 即 患 脑 膜 炎 的 个 案, 成 长 后 出 现 脸 孔 失 认 症 (prosopagnisia) 的 症 状 这 些 证 据 都 说 明 出 生 时 似 乎 已 有 专 司 脸 孔 辨 识 的 机 制 不 支 持 证 据 1. Turati 等 人 对 出 生 1~4 天 的 婴 儿 使 用 抽 象 的 眼 睛 嘴 巴 脸, 发 现 婴 儿 不 是 偏 好 脸, 而 是 偏 好 头 重 脚 轻 的 刺 激 说 明 Morton 与 Johnson 的 实 验 结 论 有 误 2. Bushnell 研 究 出 生 三 天 后 的 婴 儿, 发 现 他 们 对 母 亲 脸 孔 的 偏 好 与 观 看 母 亲 脸 孔 的 时 间 长 度 成 正 相 关 婴 儿 喜 欢 看 的 时 间 更 长 的 脸, 负 责 脸 孔 辨 识 的 脑 区 FFA 具 有 知 觉 可 塑 性, 意 味 著 经 验 似 乎 也 是 相 当 重 要 的 因 素

20 Perceiving object unity grouping & segregation 客 体 同 一 性 的 知 觉 : 组 织 ; 分 割 ; Modal completion 形 式 补 完, 没 有 边 界, 完 全 是 根 据 幻 觉 产 生 的, 如 下 图 白 色 三 角 形 Amodal completion 非 形 式 补 完, 有 部 分 边 界, 但 是 边 界 被 遮 挡 只 有 部 分 结 构 呈 现 也 能 知 觉 为 整 体 ; 如 下 图 黑 色 边 线 三 角 形 使 用 习 惯 化 范 式,Kellman 与 Spelke 发 现 四 个 月 大 的 婴 儿 对 于 中 间 被 遮 住 左 右 移 动 的 棒 子 会 知 觉 为 完 整 的 一 根 棒 子, 而 非 两 根 ;Slater 等 人 研 究 新 生 儿 时 却 发 现 他 们 缺 乏 这 样 的 能 力 Johnson 与 Aslin 发 现 利 用 共 同 运 动 完 成 知 觉 组 织 的 能 力 约 在 2 个 月 大 时 出 现 追 踪 三 个 月 大 婴 儿 眼 动 的 轨 迹, 可 看 出 完 成 知 觉 组 织 的 一 群 (perceiver) 与 未 完 成 的 一 群 (non-perceiver) 具 有 不 同 行 为 表 现 perceiver 多 注 视 棒 子 的 部 份, 且 较 多 上 下 移 动 的 轨 迹 ;non-perceiver 则 多 注 视 中 央 遮 蔽 物 的 部 份 听 觉 听 觉 阈 限 ; 通 过 记 录 眼 动 表 情 变 化 头 动, 分 辨 声 音 ; 辨 识 妈 妈 的 声 音 :DeCasper 与 Fifer 发 现, 出 生 两 天 的 婴 儿 就 已 经 能 调 整 吸 吮 奶 嘴 的 频 率 以 听 到 妈 妈 的 声 音, 显 示 他 们 已 经 认 得 出 妈 妈 的 声 音 了 他 们 还 能 偏 好 听 到 的 故 事 中 常 见 的 词 汇 (cat/hat vs. dog/fog) 以 及 母 语 可 能 是 在 怀 孕 的 时 期, 子 宫 内 的 胎 儿 就 一 直 听 到 母 亲 的 声 音, 因 此 对 于 妈 妈 的 声 音 有 所 偏 好 语 音 知 觉 Phoneme discrimination:eimas 等 人 (1971) 研 究 婴 幼 儿 的 语 音 知 觉 时, 以 吸 吮 奶 嘴 的 频 率 当 做 习 惯 化 适 应 的 指 标 : 当 吸 吮 的 速 率 下 降 时, 表 示 婴 儿 对 此 刺 激 已 适 应 了 ; 换 一 个 新 刺 激 后, 若 吸 吮 的 速 率 升 高, 代 表 去 习 惯 化 出 现, 亦 即 婴 儿 可 区 辨 新 旧 两 种 刺 激 以 此 方 法 研 究 一 个 月 大 婴 儿 对 音 素 的 知 觉, 发 现 他 们 对 不 同 的 VOT 的 语 音 亦 有 categorical perception 的 现 象 ( 图 16.21), 与 成 人 相 同 几 个 月 大 的 婴 儿 几 乎 可 区 辨 所 有 的 语 音, 但 到 一 岁 大 的 时 候 便 只 能 区 辨 母 语 的 语 音, 这 种 现 象 便 是 经 验 的 影 响, 仅 保 留 对 自 身 环 境 重 要 的 能 力 感 官 间 的 整 合 跨 通 道 知 觉 ; Kaye 与 Bower 发 现, 出 生 一 天 的 婴 儿 会 调 整 吸 吮 的 频 率, 使 口 中 吸 吮 的 物 体 与 视 觉 上 看 到 的 物 体 一 致 ; Kuhl 与 Meltzoff 也 发 现 四 个 半 月 大 的 婴 儿 会 盯 著 与 听 到 语 音 一 致 的 嘴 型 感 官 间 的 整 合 也 是 使 婴 儿 得 以 辨 识 母 亲 脸 孔 的 因 素 之 一 由 于 母 亲 的 声 音 与 脸 孔

21 常 常 伴 随 出 现, 而 婴 儿 在 出 生 前 即 已 熟 悉 母 亲 的 声 音 了, 因 此 母 亲 声 音 与 脸 孔 的 相 整 合 后, 婴 儿 便 可 藉 此 帮 助 辨 识 母 亲 Sai 的 研 究 说 明 此 方 式 的 可 行 性 : 当 母 亲 说 话 时, 出 生 12 小 时 的 婴 儿 便 对 母 亲 脸 孔 有 较 高 的 偏 好, 但 母 亲 不 说 话 时 此 偏 好 便 消 失 嗅 觉 与 味 觉 Steiner 给 初 生 婴 儿 闻 不 同 的 气 味, 婴 儿 也 会 有 不 同 的 表 情 ; 例 如 闻 到 香 蕉 或 香 草 的 气 味 则 婴 儿 会 露 出 微 笑 的 表 情, 而 闻 到 腐 坏 蛋 的 气 味 则 露 出 噁 心 的 表 情, 显 现 他 们 已 经 具 有 嗅 觉 在 味 觉 方 面,Beauchamp 等 人 给 婴 儿 尝 甜 酸 苦 等 味 道, 发 现 他 们 也 会 显 露 出 不 同 的 表 情 ; 但 对 于 咸 味 则 无 反 应, 需 要 长 大 一 些 后 才 可 品 嚐 到 咸 味