并非没有必要的一些宏观思考

Transcription

1 第 一 章 引 论 第 一 章 引 论 1.1 课 题 的 提 出 1 本 课 题 的 研 究 工 作 是 尝 试 在 句 法 和 语 义 两 个 层 级 上 归 纳 现 代 汉 语 短 语 结 构 的 组 合 规 则, 解 决 计 算 机 分 析 现 代 汉 语 短 语 时 碰 到 的 结 构 歧 义 问 题 有 别 于 以 往 主 要 是 面 向 人 的 语 法 研 究, 本 课 题 的 研 究 是 面 向 计 算 机 的 语 法 研 究 的 应 用 对 象 由 过 去 主 要 是 面 向 人 发 展 到 现 在 还 面 向 计 算 机, 而 且 后 一 个 面 向 显 得 越 来 越 迫 切 和 重 要, 这 是 计 算 机 科 学 技 术 飞 速 发 展 以 及 信 息 社 会 对 信 息 自 动 化 处 理 的 要 求 不 断 提 高 的 必 然 结 果 而 目 前 的 信 息 处 理 技 术, 越 来 越 多 地 需 要 对 自 然 语 言 进 行 深 层 分 析, 比 如 机 器 翻 译, 自 动 文 摘 等, 就 是 如 此 开 发 这 类 应 用 系 统, 要 求 计 算 机 掌 握 尽 可 能 多 的 有 关 自 然 语 言 的 知 识 2 和 非 语 言 知 识, 前 者 又 包 括 句 法 知 识 ( 含 跟 句 法 现 象 有 关 的 语 音 韵 律 知 识 ) 语 义 知 识 乃 至 语 用 知 识 等 等 下 面 这 个 简 图 可 以 用 来 大 致 说 明 自 然 语 言 处 理 的 知 识 需 求 情 况 不 同 层 级 的 语 言 处 理 对 象 不 同 性 质 的 语 言 知 识 音 位 韵 律 图 1-1: 自 然 语 言 处 理 所 需 知 识 语 素 句 法 知 简 要 示 意 图 词 语 义 说 明 : 短 语 语 用 识 箭 头 表 示 作 用 于 句 子 实 线 箭 头 表 示 直 接 作 用 篇 章 百 科 知 识 + 常 识 虚 线 箭 头 表 示 间 接 作 用 衡 量 一 个 自 然 语 言 处 理 系 统 的 水 平, 可 以 看 它 处 理 到 语 言 单 位 中 的 哪 个 层 级, 同 时 也 要 看 它 对 不 同 性 质 的 语 言 知 识 掌 握 到 了 一 个 什 么 样 的 水 平 无 论 是 比 较 传 统 的 基 于 规 则 的 处 理 策 略, 还 是 90 年 代 以 来 方 兴 未 艾 的 基 于 统 计 的 方 法, 在 对 语 言 知 识 的 需 求 这 一 点 上 实 际 上 都 是 共 同 的 所 不 同 者, 是 走 规 则 路 线 的 研 究 者 一 般 诉 诸 于 专 家 的 理 性 知 识, 由 人 来 对 语 言 知 识 进 行 抽 象 ( 比 如 以 带 有 合 一 条 件 的 规 则 形 式 给 出 ), 而 走 统 计 路 线 的 研 究 者 一 般 求 助 于 3 计 算 机 对 大 规 模 语 料 库 的 统 计 分 析, 由 计 算 机 来 抽 象 出 语 言 知 识 ( 比 如 以 一 定 的 数 据 结 构 记 录 的 统 计 结 果 等 ) 两 种 路 线 孰 优 孰 劣, 不 能 笼 统 判 断, 只 能 跟 具 体 的 应 用 目 标 结 合 起 来, 由 实 践 结 果 来 评 价 统 计 方 法 已 经 在 像 语 音 识 别 自 动 分 词 和 词 性 标 注 这 样 相 对 浅 层 的 自 然 语 言 处 理 中 有 不 俗 表 现, 但 在 深 层 分 析 方 面 ( 比 如 分 析 句 子 的 树 结 构 或 者 句 中 成 分 间 语 义 关 系 等 ) 也 还 没 有 显 出 特 别 的 优 势 于 是 又 有 学 者 提 倡 把 两 种 方 法 结 合 起 来 使 用 4 ( 比 如 通 过 统 计, 给 出 带 有 概 率 值 的 规 则 ) 在 我 们 看 来, 无 论 采 用 哪 种 方 法, 首 先 都 要 求 人 自 身 先 对 自 然 语 言 有 深 入 的 了 解 就 规 则 方 法 来 说, 这 一 点 是 显 然 的 ; 就 统 计 方 法 来 说, 虽 不 那 么 明 显, 但 道 理 也 是 一 样 的 现 有 的 对 自 然 语 言 深 层 知 识 的 统 计, 一 般 是 建 立 在 经 过 标 注 的 熟 语 料 库 基 础 上 的 而 从 生 语 料 库 到 熟 语 料 库, 就 具 体 的 加 工 方 式 而 言, 当 然 有 人 工 方 式, 也 有 计 算 机 自 动 加 工 方 式 或 者 人 机 互 助 的 方 式 等 等, 但 加 工 什 么 内 容, 标 注 哪 些 信 息, 仍 然 取 决 于 人 对 自 然 语 言 的 认 识 具 体 到 中 文 信 息 处 理 方 面 如 果 以 处 理 对 象 的 单 位 大 小 为 指 标, 宏 观 地 看, 中 文 信 息 处 理 技 术 已 经 走 过 了 字 处 理 阶 段, 分 词 和 词 性 标 注 ( 词 处 理 阶 段 ) 也 有 了 基 本 可 以 实 用 的 成 果 5, 目 前 可 以 认 为 是 进 入 到 句 处 理 的 前 期 阶 段, 即 如 何 来 对 短 语 结 构 进 行 自 动 分 析 的 阶 段, 包 括 划 定 短 语 边 界 分 析 短 语 结 构 的 内 部 句 法 关 系 给 出 结 构 成 分 间 的 语 义 关 系 等 等 不 同 深 度 的 分 析 这 样 定 位, 并 不 是 无 视 目 前 也 有 研 究 者 在 开 展 更 大 单 位 ( 譬 如 篇 章 ) 上 的 中 文 信 1

2 面 向 中 文 信 息 处 理 的 现 代 汉 语 短 语 结 构 规 则 研 究 息 处 理 研 究 6 只 是 就 这 个 领 域 的 总 体 发 展 情 况 来 看, 目 前 以 在 句 子 一 级 上 开 展 研 究 工 作 为 主 另 外 本 着 解 决 问 题 由 易 到 难, 由 简 单 到 复 杂 的 原 则, 把 中 文 信 息 处 理 目 前 的 发 展 定 位 在 重 点 解 决 短 语 结 构 的 分 析 问 题 这 么 一 个 阶 段, 也 是 适 宜 的 而 作 为 汉 语 研 究 者, 需 要 考 虑 的 就 是,(1) 就 中 文 信 息 处 理 目 前 这 样 的 定 位 而 言, 重 点 应 该 为 计 算 机 提 供 什 么 样 的 语 言 知 识?(2) 在 现 有 的 技 术 条 件 和 语 言 学 研 究 水 平 上 又 能 够 提 供 多 少? 选 择 本 研 究 课 题, 基 本 上 就 是 带 着 这 两 个 问 题 开 始 思 索 的 结 果 对 前 一 个 问 题 的 回 答, 主 要 是 根 据 中 文 信 息 处 理 已 有 的 研 究 成 果 和 从 目 前 的 实 际 需 求 出 发, 初 步 确 定 了 本 课 题 研 究 的 主 要 内 容 从 80 年 代 中 后 期 开 始 到 现 在, 研 究 人 员 已 经 在 有 关 汉 语 词 语 的 语 法 功 能 分 类 和 属 性 特 征 描 述 7, 以 及 实 词 的 语 义 属 性 描 述 方 面 开 展 了 卓 有 成 效 的 工 作 8, 为 计 算 机 分 析 汉 语 的 短 语 结 构 打 下 了 一 个 很 好 的 基 础 而 目 前 迫 切 需 要 进 一 步 解 决 的 问 题, 是 对 汉 语 短 语 的 结 构 功 能 特 征 及 组 合 时 的 条 件 进 行 全 面 系 统 地 研 究 在 这 个 研 究 过 程 中 得 到 的 结 果, 不 仅 可 以 回 过 头 去 检 验 以 往 对 词 的 语 言 知 识 的 概 括 是 否 合 适, 从 而 进 行 相 应 的 调 整, 而 且 也 可 以 根 据 需 要 对 词 语 的 句 法 语 义 属 性 知 识 进 行 一 定 的 扩 充 同 时, 这 部 分 知 识 是 计 算 机 进 行 短 语 结 构 分 析 必 不 可 少 的, 只 有 尽 可 能 把 现 代 汉 语 短 语 结 构 的 组 合 条 件 描 述 清 楚, 才 能 指 导 计 算 机 分 析 出 短 语 的 正 确 结 构, 给 出 正 确 的 语 义 解 释 而 从 发 展 趋 势 来 看, 越 来 越 多 的 高 级 自 然 语 言 处 理 应 用 系 统 的 开 发, 诸 如 汉 外 外 汉 机 器 翻 译, 中 文 信 息 的 提 取, 人 机 对 话 等 等, 也 都 离 不 开 这 部 分 语 言 知 识 的 支 持 对 第 二 个 问 题 的 回 答, 则 是 结 合 我 们 对 目 前 现 代 汉 语 语 法 理 论 和 具 体 语 法 规 律 的 研 究 水 平 的 认 识, 大 致 确 定 本 课 题 研 究 应 该 追 求 的 合 理 的 目 标 现 代 汉 语 语 法 研 究 进 入 90 年 代 以 后 发 展 至 今, 突 出 的 特 点 是 在 以 往 对 具 体 语 言 事 实 的 描 写 基 础 上, 大 大 加 强 了 理 论 和 方 法 上 9 的 探 索 不 少 研 究 工 作 尝 试 以 新 的 角 度 来 观 察 现 代 汉 语 的 语 法 现 象, 发 现 以 前 没 有 注 意 到 的 语 言 问 题, 或 者 对 原 来 已 经 提 出 的 问 题 进 行 重 新 解 释 在 句 法 语 义 语 用 多 个 层 面, 以 及 从 词 到 短 语 结 构 到 句 子 句 式 句 型, 乃 至 篇 章 话 语 等 各 级 语 言 单 位, 形 成 了 多 层 面 多 角 度 全 方 位 的 研 究 态 势 不 过, 不 管 理 论 方 法 如 何 变 化, 目 前 情 况 下, 语 言 研 究 的 具 体 成 果 要 能 为 计 算 机 所 用, 都 必 须 兼 顾 两 点 要 求 : 一 是 要 能 够 形 式 化, 二 是 对 处 理 对 象 要 有 普 遍 的 可 操 作 性 以 这 两 个 标 准 来 衡 量, 基 本 就 框 定 了 在 现 阶 段 能 够 提 供 给 计 算 机 用 来 分 析 汉 语 短 语 结 构 的 语 言 知 识 的 水 平 而 从 积 极 的 角 度 说, 这 有 助 于 我 们 从 一 开 始 就 能 对 本 课 题 研 究 工 作 有 一 个 合 理 的 目 标 期 待 首 先, 对 于 所 谓 句 法 语 义 语 用 等 不 同 层 面 的 规 则 限 制, 目 前 比 较 适 宜 走 以 句 法 为 主, 语 义 为 辅 的 路 线 对 语 用 知 识, 则 可 进 行 小 心 尝 试 其 次, 由 于 所 谓 大 规 模 真 实 语 料 的 情 况 太 复 杂 10, 就 目 前 语 言 学 研 究 的 水 平 来 讲, 提 炼 短 语 结 构 的 组 合 规 则, 11 直 接 面 对 真 实 语 料 并 不 合 适 而 应 该 从 相 对 抽 象 的 句 法 结 构 分 析 入 手 因 此, 我 们 给 出 的 规 则 也 并 不 奢 望 能 解 决 分 析 真 实 句 子 时 碰 到 的 由 于 复 杂 语 义 和 篇 章 层 面 的 因 素 造 成 的 诸 多 问 题 当 然, 中 文 信 息 处 理 的 客 观 要 求 是 必 须 面 对 实 际 文 本, 对 此, 目 前 可 以 考 虑 用 适 当 的 策 略 来 对 付 真 实 文 本 中 大 量 存 在 的 不 听 话 的 真 实 在 整 个 研 究 过 程 中, 面 对 上 述 第 一 个 问 题, 促 使 本 文 作 者 关 注 这 项 研 究 的 实 用 价 值, 而 对 第 二 个 问 题 的 思 考, 则 引 导 作 者 从 计 算 机 的 角 度 来 对 现 有 的 现 代 汉 语 语 法 理 论 和 具 体 的 语 言 研 究 工 作 进 行 评 估, 进 而 自 觉 地 追 求 本 课 题 研 究 所 希 望 达 到 的, 对 现 代 汉 语 语 法 理 论 建 设 有 所 贡 献 的 目 标 1.2 面 向 计 算 机 的 语 言 学 研 究 工 作 的 模 式 面 向 计 算 机 的 语 言 学 研 究 工 作, 涉 及 的 范 围 相 当 广 泛 研 究 模 式 根 据 工 作 内 容 或 者 目 标 的 不 同 也 有 差 别 这 里 不 作 全 面 讨 论 下 面 概 述 跟 发 掘 语 言 知 识 相 关 的 研 究 工 作 的 一 般 模 式, 目 的 是 为 本 课 题 的 研 究 工 作 勾 勒 工 作 方 式 上 的 背 景 面 向 计 算 机 开 展 语 言 研 究 工 作 的 语 言 学 家 实 际 上 可 以 看 作 是 处 在 跟 计 算 机 以 及 语 料 形 2

3 第 一 章 引 论 成 的 一 个 三 角 关 系 中, 见 下 面 图 1-2 语 言 学 家 提 供 分 析 知 识 反 馈 结 果 图 1-2: 语 言 学 家 计 算 机 语 料 计 算 机 结 果 反 馈 语 构 成 的 三 角 关 系 分 析 结 果 反 馈 语 料 料 这 是 一 个 抽 象 环 境 尽 量 简 化 的 示 意 箭 头 表 示 谁 向 谁, 或 谁 对 谁, 比 如 语 言 学 家 向 计 算 机 提 供 语 言 知 识, 计 算 机 对 语 料 进 行 分 析 等 等 其 中 语 料 以 不 规 则 形 状 表 示, 是 指 其 范 围 不 确 定 内 部 以 不 规 则 线 分 割, 是 表 示 语 料 可 以 按 照 不 同 标 准 大 致 区 分 为 : 包 含 各 种 复 杂 情 况 的 真 实 语 料 与 比 较 理 想 的 纯 语 料 ; 或 者 未 经 加 工 的 生 语 料 与 所 谓 加 工 过 的 熟 语 料 ; 或 者 合 法 的 ( 或 可 接 受 的 ) 语 料 与 不 合 法 的 ( 或 不 可 接 受 的 ) 语 料 等 等 不 同 情 况 此 外, 这 里 的 计 算 机 是 指 由 硬 件 加 软 件 构 成 的 一 个 信 息 处 理 系 统, 换 言 之, 上 图 已 经 把 计 算 机 程 序 设 计 员 这 个 也 是 由 人 充 任 的 角 色 包 含 在 计 算 机 中 了 前 面 提 到 过 的 两 种 主 要 的 自 然 语 言 处 理 策 略, 基 于 规 则 和 基 于 统 计 的 方 法, 在 上 图 中 也 都 能 得 到 反 映 如 果 采 用 基 于 统 计 的 方 法, 注 重 点 就 在 上 图 等 腰 三 角 的 底 边 上, 即 由 计 算 机 对 语 料 ( 一 般 得 是 熟 语 料 ) 进 行 统 计 得 到 语 言 知 识 ( 一 般 表 现 为 参 数 ), 再 利 用 得 到 的 参 数 对 语 料 进 行 分 析, 根 据 分 析 得 到 的 反 馈 结 果 来 调 整 已 有 的 参 数, 从 而 提 高 分 析 能 力 比 如 基 12 于 错 误 驱 动 的 语 法 规 则 自 动 学 习 方 法 的 研 究, 计 算 机 可 以 用 错 误 率 为 指 标 评 价 当 前 习 得 的 语 言 知 识 的 适 用 水 平, 进 而 作 相 应 的 调 整 也 就 是 说, 语 言 学 家 可 能 提 供 一 些 初 始 的 语 言 知 识 ( 譬 如 将 生 语 料 加 工 成 熟 语 料 的 工 作 ), 而 大 部 分 归 纳 和 调 整 语 言 知 识 的 工 作 是 由 计 算 机 来 完 成 的 如 果 走 基 于 规 则 的 研 究 路 线, 注 重 的 就 是 上 图 等 腰 三 角 的 两 个 腰, 即 由 语 言 学 家 提 出 一 套 语 言 知 识 ( 比 如 可 以 从 对 有 限 语 料 的 分 析 中 初 步 归 纳 出 来 ) 给 计 算 机 用, 再 根 据 计 算 机 反 馈 的 结 果 来 改 进 原 来 的 语 言 知 识, 形 成 一 个 循 环 处 理 系 统 显 然, 在 这 个 系 统 中, 给 出 和 调 整 语 言 知 识 这 两 步 工 作 都 主 要 是 由 语 言 学 家 完 成 的 本 课 题 的 研 究 工 作 走 的 是 基 于 规 则 方 法 的 路 线, 要 求 语 言 学 家 对 语 言 知 识 要 有 全 面 系 统 的 清 晰 认 识 对 此 可 以 从 语 言 知 识 的 性 质 和 形 式 两 方 面 来 看 从 性 质 上 讲, 语 言 知 识 可 以 分 为 基 于 范 畴 (Category) 的 属 性 : 值 型 知 识 (ATTRIBUTE:value) 和 基 于 规 则 (Rule) 的 条 件 --> 动 作 型 知 识 (CONDITION-->action) 13 范 畴 用 来 刻 画 语 言 对 象 的 一 个 或 一 组 特 征 规 则 用 来 表 述 范 畴 间 的 关 系 特 征 的 数 量 是 不 确 定 的 一 个 范 畴 可 能 刻 画 几 个 特 征, 一 个 特 征 也 可 能 有 几 个 范 畴 都 能 刻 画 它 举 例 来 说, 名 词 是 一 个 范 畴, 它 可 以 刻 画 一 个 具 体 的 名 词 在 几 个 方 面 的 句 法 特 征, 如 能 受 数 量 词 修 饰, 能 充 当 主 宾 语 等 等 逻 辑 上, 所 有 规 则 都 可 以 表 示 为 P->Q 这 样 的 蕴 涵 式 两 个 命 题 P 和 Q 则 分 别 建 立 在 已 知 范 畴 的 基 础 上, 规 则 因 而 实 际 上 表 述 了 命 题 所 涉 及 的 范 畴 之 间 的 关 系 比 如, 可 以 有 这 样 的 规 则, 如 果 W 是 名 词 (P), 那 么 W 能 作 主 语 (Q) 显 然, 这 条 规 则 在 名 词 跟 主 语 两 个 范 畴 间 建 立 起 了 一 种 联 系, 尽 管 这 条 规 则 所 描 述 的 联 系 是 粗 糙 的, 甚 至 不 那 么 正 确, 但 是, 以 这 样 的 方 式 建 立 范 畴 之 间 的 联 系, 是 分 析 语 言 的 结 构 时 必 不 可 少 的 而 语 言 学 家 所 要 做 的, 正 是 去 14 寻 找 正 确 的 和 好 的 联 系 从 形 式 方 面 看, 语 言 学 家 要 考 虑 的 就 是 以 何 种 形 式 化 的 方 式 把 范 畴 知 识 和 规 则 知 识 组 织 起 来, 使 得 更 有 利 于 计 算 机 处 理 而 所 谓 语 言 知 识 的 形 式 化, 就 是 以 一 套 严 格 定 义 的 符 号 系 统 来 精 确 地 表 达 语 言 知 识, 包 括 范 畴 的 符 号 化 和 规 则 的 公 式 化 这 里 不 展 开 讨 论 有 关 各 种 形 式 化 方 法 的 细 节 因 为 就 勾 勒 研 究 工 作 的 一 般 模 式 这 个 目 的 而 言, 在 直 观 的 层 面 上 理 解 形 式 化 就 基 本 满 足 要 求 了, 即 范 畴 知 识 一 般 用 词 库 ( 机 器 可 读 词 典 MRD) 来 负 载, 规 则 知 识 则 由 所 谓 规 则 库 ( 规 则 的 集 合 ) 来 承 担 3

4 面 向 中 文 信 息 处 理 的 现 代 汉 语 短 语 结 构 规 则 研 究 有 了 上 述 对 语 言 知 识 的 认 识, 语 言 学 家 的 两 步 工 作, 第 一 步 实 际 上 就 可 以 更 具 体 化 为 (1) 确 立 一 定 的 范 畴 体 系 并 基 于 这 一 范 畴 体 系 对 具 体 的 语 言 成 分 进 行 属 性 赋 值 操 作 ( 即 建 立 词 典 );(2) 给 出 能 正 确 地 描 述 范 畴 之 间 关 系 的 规 则 ( 即 建 立 规 则 库 ) 相 应 地, 第 二 步 工 作 也 就 是 根 据 计 算 机 的 分 析 结 果 是 否 跟 预 期 相 符, 来 调 整 原 有 的 范 畴 体 系 和 具 体 语 言 成 分 的 属 性 取 值, 以 及 相 关 的 规 则 ( 即 改 进 词 典 和 规 则 库 的 内 容 ) 而 实 践 中, 通 常 在 开 始 这 两 步 工 作 前, 应 该 先 规 划 一 套 初 步 的 语 言 知 识 形 式 化 表 达 体 系 这 样 才 能 在 一 个 严 密 的 表 达 系 统 内 具 体 展 开 上 面 两 步 工 作 宏 观 地 看, 投 身 于 这 一 领 域 的 语 言 学 家 的 主 要 研 究 工 作 基 本 上 就 可 以 用 上 述 模 式 来 加 以 概 括 说 明 不 同 研 究 者 的 工 作 差 别 也 主 要 表 现 为 对 上 述 模 式 中 各 环 节 的 侧 重 不 同, 即 有 的 研 究 者 可 能 相 对 更 关 注 范 畴 的 建 立 ; 有 的 研 究 者 则 选 择 在 具 体 落 实 语 言 成 分 的 属 性 值 上 花 功 夫 ; 当 然 也 有 学 者 对 发 现 范 畴 之 间 的 联 系 ( 即 寻 找 语 言 成 分 之 间 组 合 的 制 约 规 则 ) 更 感 兴 趣 ; 还 有 的 学 者 则 乐 于 从 事 形 式 化 表 达 体 系 的 研 究, 等 等 1.3 开 展 本 课 题 研 究 工 作 的 基 础 开 始 研 究 工 作 之 前, 无 疑 应 该 先 看 看, 对 于 解 决 本 课 题 所 关 注 的 问 题, 前 人 在 建 立 范 畴 ( 包 括 具 体 落 实 到 语 言 成 分 的 属 性 值 上 ) 和 发 现 规 则 ( 特 别 是 跟 排 除 一 些 典 型 歧 义 格 式 有 密 切 关 系 的 规 则 ) 方 面, 以 及 在 形 式 化 表 达 体 系 方 面, 都 做 了 哪 些 研 究 同 时, 由 于 我 们 的 研 究 主 要 靠 计 算 机 分 析 一 定 的 语 料, 再 根 据 反 馈 的 结 果 来 驱 动 作 进 一 步 的 改 进, 因 此, 对 开 展 本 课 题 研 究 所 依 托 的 计 算 机 系 统 环 境 以 及 选 用 的 语 料 作 些 说 明, 也 是 十 分 必 要 的 前 人 的 研 究 如 果 以 建 立 范 畴, 归 纳 规 则, 加 以 形 式 化 表 示 这 样 的 模 式 来 审 视 本 课 题 研 究 相 关 领 域 现 有 的 研 究 格 局, 大 致 可 以 概 括 为 : 范 畴 和 规 则 体 系 已 经 有 了 一 定 基 础 相 比 之 下, 范 畴 知 识 的 具 体 成 果 相 对 较 为 丰 富, 规 则 知 识 的 具 体 成 果 则 显 得 不 足 对 于 以 深 加 工 为 应 用 目 标 的 中 文 信 息 处 理 系 统 的 要 求 来 说, 这 两 部 分 紧 密 相 连 互 为 依 存 的 知 识, 总 体 上 还 都 不 能 做 到 很 令 人 满 意 的 程 度 形 式 化 表 达 方 法 自 乔 姆 斯 基 50 年 代 创 立 形 式 语 法 理 论 以 来, 目 前 已 经 发 展 出 诸 多 体 系 15, 如 CFG( 上 下 文 无 关 文 法 ) GB( 支 配 约 束 理 论 ) LFG( 词 汇 功 能 语 法 ) GPSG( 广 义 短 语 结 构 语 法 ) FUG( 功 能 合 一 语 法 ) HPSG( 中 心 词 驱 动 的 短 语 结 构 语 法 ), 以 及 其 他 从 非 乔 姆 斯 基 路 线 发 展 起 来 的 形 式 语 法 描 述 体 系, 如 CG( 范 畴 语 法 ) LG( 链 语 法 ) TAG( 树 连 接 语 法 ) 等 等, 虽 然 这 些 理 论 在 具 体 表 达 方 式 以 及 各 自 确 立 的 原 则 上 存 在 差 异, 各 有 侧 重, 但 由 于 这 方 面 工 作 带 有 很 强 的 技 术 性, 因 而 构 造 具 体 的 语 言 知 识 形 式 化 表 达 系 统, 一 般 倾 向 于 根 据 实 际 需 要, 以 某 种 形 式 表 达 体 系 为 主, 同 时 也 吸 收 其 他 方 法 的 合 理 的 表 达 机 制 比 如 国 内 学 者 在 中 文 信 息 处 理 实 践 过 程 当 中 提 出 的 MMT 模 型 16, 基 于 依 存 语 法 的 汉 语 分 析 模 式, 基 于 范 畴 语 法 的 汉 语 组 合 类 型 语 法 模 式, 以 及 汉 语 完 全 句 法 树 模 型 等 等 值 得 指 出 的 是, 不 同 的 形 式 化 方 法 在 表 达 上 的 差 异 对 一 个 自 然 语 言 处 理 系 统 的 性 能 固 然 会 有 影 响, 但 处 理 结 果 的 好 坏, 恐 怕 关 键 还 是 取 决 于 语 言 知 识 本 身 的 多 少, 即 发 现 了 多 少 有 用 的 范 畴, 给 出 了 多 少 足 够 排 除 歧 义 的 句 法 结 构 规 则 国 内 现 代 汉 语 语 法 研 究 在 80 年 代 中 期 以 前 的 发 展 水 平, 主 要 以 建 立 在 结 构 主 义 语 法 理 20 论 和 方 法 基 础 上 的 研 究 成 果 为 代 表 这 其 中 又 以 朱 德 熙 先 生 提 出 的 词 组 本 位 语 法 体 系 最 为 系 统 和 精 炼 该 体 系 比 较 全 面 地 建 立 起 了 汉 语 短 语 结 构 层 面 的 句 法 范 畴, 同 时 也 引 入 了 一 定 的 语 义 范 畴 并 从 对 汉 语 具 体 语 法 现 象 的 研 究 中, 形 成 了 应 在 不 同 层 级 上 确 立 语 法 理 论 范 畴 的 观 念, 比 如 结 构 形 式 层 面 的 句 法 范 畴, 意 义 层 面 的 语 义 范 畴, 表 达 层 面 的 语 用 范 畴 等 等 4

5 第 一 章 引 论 90 年 代 以 来 在 国 内 汉 语 研 究 界 得 到 广 泛 讨 论 的 所 谓 三 个 平 面 的 语 法 观 21, 实 际 上 在 朱 德 熙 先 生 80 年 代 初 的 语 法 论 著 中 也 已 经 有 了 明 确 的 思 想 萌 芽 汉 语 研 究 界 自 80 年 代 后 期 直 至 进 入 90 年 代 以 来, 一 方 面 仍 有 许 多 学 者 在 原 来 结 构 主 义 的 研 究 路 子 上 继 续 探 索, 另 一 方 面 也 有 越 来 越 多 的 学 者 开 始 采 用 格 语 法 配 价 语 法 语 义 指 向 分 析 依 存 语 法 GB 理 论 话 语 分 析 (DA) 等 新 方 法, 进 行 汉 语 研 究 新 的 尝 试 结 果 是 确 立 了 不 少 新 的 对 分 析 汉 语 有 用 的 句 法 语 义 语 用 范 畴 22 譬 如 自 主 动 词 和 非 自 主 动 词 23 一 价 名 词 和 二 价 名 词 24 有 标 记 成 分 和 无 标 记 成 分 25 主 题 延 续 性 和 行 为 延 续 性 26 等 等 学 者 们 利 用 这 些 范 畴, 对 汉 语 的 很 多 语 言 现 象 做 了 更 深 入 的 分 析 与 此 同 时, 结 合 中 文 信 息 处 理 应 用 系 统 开 发 和 理 论 探 索 的 需 要, 学 术 界 也 开 始 规 划 语 言 知 识 基 础 工 程 的 研 究 和 建 设 这 方 面 的 工 作 从 80 年 代 中 后 期 开 始 以 来, 发 展 至 今, 突 出 地 表 现 在 对 汉 语 句 法 范 畴 和 语 义 范 畴 的 符 号 化 及 大 规 模 的 词 典 化 上 具 体 成 果 以 现 代 汉 语 语 法 信 息 词 典 27 信 息 处 理 用 汉 语 语 义 词 典 现 代 汉 语 述 语 动 词 机 器 词 典 28 等 机 器 可 读 词 典 为 代 表 其 中 现 代 汉 语 语 法 信 息 词 典 直 接 建 立 在 词 组 本 位 语 法 体 系 的 框 架 上, 实 现 了 对 5 万 多 汉 语 通 用 词 语 的 句 法 属 性 特 征 的 全 面 系 统 地 描 述, 是 第 一 部 大 规 模 的 以 形 式 化 方 式 表 述 汉 语 语 法 研 究 成 果 的 计 算 机 可 用 词 典 另 外 两 部 语 义 词 典, 则 是 学 者 在 语 义 场 格 语 法 等 语 义 学 理 论 的 框 架 下 对 汉 语 的 实 词 ( 特 别 是 动 词 ) 进 行 具 体 的 语 义 属 性 刻 画 的 结 果 这 些 词 典 现 在 都 已 经 在 一 些 跟 中 文 信 息 处 理 相 关 的 应 用 系 统 中 发 挥 实 际 的 效 用 跟 上 述 范 畴 知 识 的 研 究 工 作 相 比, 规 则 知 识 的 研 究 相 对 薄 弱 一 些 在 已 有 的 范 畴 研 究 基 础 上 对 规 则 知 识 作 大 规 模 系 统 地 研 究 还 比 较 少 见 不 过, 这 方 面 的 探 索 工 作 实 际 上 一 直 都 有 学 者 在 尝 试 国 内 直 接 面 向 中 文 信 息 处 理 的 研 究 工 作 中, 理 论 探 讨 方 面 如 马 希 文 (1989) 29 和 冯 志 伟 (1993) 30 等, 具 体 规 则 的 研 究 方 面 如 范 继 淹 (1979) 31 曹 敏 (1990) 32 马 真 陆 俭 明 (1997) 33 孙 宏 林 (1997) 34 和 詹 卫 东 (1997b) 35 等 此 外 相 当 多 的 汉 语 研 究 工 作 虽 然 不 是 直 接 面 向 中 文 信 息 处 理, 但 其 中 有 不 少 研 究 实 际 上 可 以 看 作 是 跟 发 现 汉 语 的 语 法 规 则 紧 密 相 关 的, 只 不 过 这 些 研 究 通 常 都 带 有 比 较 强 的 描 写 色 彩, 而 不 是 显 性 地 以 我 们 上 文 所 说 的 规 则 形 式 呈 现 出 来 比 如 李 子 云 (1991) 36 和 吴 竞 存 梁 伯 枢 (1992) 37 的 研 究 另 外 还 有 近 年 来 出 现 的 一 大 批 以 自 觉 的 理 论 立 场 为 背 景, 形 成 鲜 明 学 术 风 格 的 研 究 工 作, 如 沈 阳 (1994) 38 基 于 配 价 理 论 和 生 成 语 法 的 空 范 畴 理 论 对 汉 语 动 词 句 位 结 构 以 及 NP 所 做 的 全 面 分 析, 袁 毓 林 (1994,1995) 39 郭 锐 (1995) 40 张 国 宪 (1995) 41 等 人 基 于 配 价 理 论 对 汉 语 名 词 动 词 短 语 形 容 词 等 展 开 的 配 价 描 写, 和 张 伯 江 方 梅 (1996) 42 等 在 认 知 功 能 语 法 背 景 下 对 汉 语 主 位 结 构 和 焦 点 结 构 所 做 的 研 究 等, 这 些 都 可 以 看 作 是 在 不 同 层 面 上 揭 示 汉 语 的 语 法 组 合 规 则 虽 然 这 些 研 究 工 作 不 以 中 文 信 息 处 理 的 应 用 为 直 接 目 标, 在 规 则 的 发 现 和 表 达 方 面 还 是 以 往 面 向 人 的 做 法, 但 对 以 中 文 信 息 处 理 为 直 接 目 标 的 规 则 研 究, 无 疑 也 能 提 供 有 力 的 支 持 海 外 的 自 然 语 言 处 理 研 究, 近 年 来 也 是 范 畴 知 识 的 研 究 进 展 比 较 显 著 其 中 语 义 方 面 尤 为 突 出 这 既 包 括 在 理 论 上 探 讨 如 何 构 建 语 义 知 识 的 表 示 体 系, 如 Fillmaore(1982) 43 关 于 框 架 语 义 学 的 研 究, 也 包 括 大 规 模 的 语 义 知 识 工 程 实 践 如 WordNet 44 FrameNet 45 MindNet 46 等 计 算 机 用 语 义 词 典 的 开 发,Chodorow 等 (1985) 47 和 Ide 等 (1993) 48 所 做 的 有 关 从 机 器 词 典 中 自 动 抽 取 语 义 知 识 的 研 究 工 作, 以 及 黄 居 仁 等 (1998) 49 从 汉 语 名 量 搭 配 词 典 中 自 动 抽 取 汉 语 名 词 语 义 分 类 的 研 究 而 在 结 构 规 则 的 研 究 方 面,90 年 代 以 来 国 际 计 算 语 言 学 界 统 计 方 法 风 头 日 盛, 纯 粹 基 于 规 则 方 法 进 行 自 然 语 言 处 理 研 究 的 工 作 相 对 较 少 但 在 面 向 实 用 开 展 的 自 然 语 言 处 理 系 统 的 研 究 中, 用 复 杂 特 征 集 以 及 合 一 运 算 来 组 织 语 言 规 则 知 识, 广 泛 地 吸 收 各 种 形 式 化 表 示 方 法 的 特 长, 体 现 实 用 特 色, 也 不 乏 代 表 性 的 工 作, 如 50 Karen Jenson,George E. Heidorn,Stephen D.Richardson 等 人 的 研 究 语 言 学 界 的 情 况 则 是, 一 方 面 以 乔 姆 斯 基 为 代 表 的 形 式 主 义 学 派 不 断 向 抽 象 度 更 高 的 理 论 目 标 进 发, 关 注 5

6 面 向 中 文 信 息 处 理 的 现 代 汉 语 短 语 结 构 规 则 研 究 所 谓 普 遍 语 法 的 原 则 问 题 与 此 同 时, 词 汇 主 义 的 倾 向 开 始 得 到 普 遍 认 同 51 ; 另 一 方 面, 非 乔 姆 斯 基 阵 营 的 学 派, 如 认 知 语 法, 功 能 语 法 等 迅 速 发 展 壮 大, 这 一 阵 营 里 学 者 们 的 研 究 兴 趣 则 基 本 集 中 在 从 人 的 认 知 心 理 以 及 对 世 界 的 感 知 方 式 等 语 言 外 部 因 素 出 发 来 追 求 对 语 言 现 象 做 出 解 释 52 因 而 总 体 来 说, 直 接 以 在 句 法 语 义 层 面 发 现 结 构 组 合 规 则 为 目 标 的 研 究 不 多 当 然, 跟 上 面 对 国 内 语 法 研 究 所 做 概 述 的 情 况 类 似, 在 不 同 背 景 下 展 开 的 语 法 研 究, 都 可 能 对 以 信 息 处 理 为 目 标 的 规 则 研 究 提 供 支 持 以 上 极 为 概 括 地 描 述 了 前 人 的 研 究 工 作 主 要 目 的 是 廓 清 目 前 在 这 方 面 研 究 的 总 体 格 局, 特 别 是 对 海 外 学 者 研 究 情 况 的 了 解, 有 助 于 为 进 行 本 课 题 的 具 体 研 究 提 供 认 识 上 更 广 阔 的 参 照 系 有 关 的 具 体 研 究 工 作, 在 下 文 讨 论 具 体 问 题 时 还 会 提 及 我 们 的 立 场 和 主 张 结 合 以 上 对 相 关 研 究 的 背 景 简 评, 在 具 体 论 述 本 课 题 研 究 工 作 之 前, 还 有 必 要 表 明 我 们 的 理 论 立 场 和 对 研 究 工 作 的 一 些 原 则 性 主 张 就 汉 语 短 语 结 构 的 句 法 描 写 而 言, 词 组 本 位 语 法 体 系 所 建 立 的 理 论 框 架 和 在 这 个 框 架 下 开 展 具 体 研 究 积 累 起 来 的 成 果, 无 疑 可 以 看 作 是 目 前 的 巨 人 之 肩 我 们 将 以 此 为 起 点 开 始 本 课 题 的 研 究 工 作 对 于 语 义 知 识 的 组 织 方 式, 格 语 法 配 价 理 论 等 尽 管 在 理 论 背 景 和 具 体 操 作 上 差 别 显 著, 但 在 出 发 点 和 目 标 上 其 实 有 很 强 的 一 致 性 我 们 将 在 吸 收 有 关 语 义 理 论 合 理 的 精 神 内 核 基 础 上, 根 据 实 际 需 要 加 以 拓 展 从 生 成 的 角 度 看, 语 言 中 一 个 具 体 的 表 达 形 式 ( 譬 如 实 际 使 用 中 的 一 个 句 子 ), 是 各 个 不 同 层 面 的 语 言 知 识 ( 规 则 ) 乃 至 非 语 言 知 识 叠 加 作 用 的 结 果 53 从 理 解 的 角 度 看, 对 用 来 分 析 一 个 表 达 形 式 的 语 言 知 识 加 以 归 纳, 就 要 特 别 强 调 知 识 的 层 次 性 当 然, 也 应 该 清 醒 地 认 识 到, 在 必 须 用 还 原 主 义 的 两 条 腿 走 路 的 同 时, 最 好 还 要 有 一 个 整 体 主 义 的 大 脑 即 分 清 层 次, 同 时 也 不 要 忘 记 系 统 这 实 际 上 也 是 一 张 纸 的 两 面, 本 来 就 是 一 体 的 追 求 理 论 系 统 的 严 密 并 不 就 一 定 意 味 着 要 以 丧 失 灵 活 性 和 牺 牲 真 实 性 为 代 价 我 们 不 主 张 以 所 谓 句 法 自 主 来 保 证 句 法 系 统 的 纯 洁 性, 但 把 结 构 形 式 和 语 义 语 用 层 面 的 语 言 现 象 笼 而 统 之 地 一 块 儿 处 理, 给 出 一 些 模 糊 的 解 释, 也 不 是 科 学 研 究 的 态 度 合 理 的 假 设 应 该 是, 各 子 系 统 相 对 独 立, 同 时 又 以 一 套 确 定 的 机 制 相 互 影 响 在 本 体 论 的 意 义 上 探 讨 到 底 哪 个 子 系 统 起 决 定 作 用, 哪 个 子 系 统 是 受 别 的 子 系 统 支 配 制 约 的, 当 然 有 不 朽 的 价 值 但 在 目 前, 我 们 更 愿 意 在 方 法 论 的 层 次 上 处 理 各 个 子 系 统 的 关 系, 尽 量 淡 化 各 子 系 统 之 间 地 位 上 的 主 次 之 分 如 果 一 定 要 有 所 偏 重, 那 么, 本 着 易 于 形 式 化, 概 念 易 于 把 握 的 子 系 统 优 先 的 原 则, 我 们 主 张 以 句 法 层 面 的 知 识 为 主, 语 义 层 面 的 知 识 为 辅, 来 组 织 短 语 结 构 的 规 则 任 何 好 的 语 言 理 论 都 有 其 适 用 范 围 这 个 适 用 范 围 可 以 指 归 纳 的 语 言 知 识 所 在 的 不 同 层 次 ( 或 语 言 系 统 的 不 同 子 系 统 ), 也 可 以 指 面 对 的 对 象 是 语 言 中 不 同 的 层 级 单 位 ( 比 如 词 短 语 结 构 句 子 篇 章 等 ) 我 们 以 为, 对 超 出 其 适 用 范 围 的 过 分 的 要 求, 一 个 理 论 完 全 可 以 说 不 正 如 对 人 进 行 语 言 能 力 考 核 要 分 级 别 一 样, 对 机 器 理 解 语 言 的 能 力 做 评 判, 也 要 有 正 确 的 层 级 观 念 不 同 的 自 然 语 言 处 理 应 用 系 统, 理 解 语 言 到 多 深 多 广, 根 据 需 要 不 同 可 以 制 订 不 同 级 别 的 目 标 虽 然 通 常 呈 现 出 来 的 结 果 是 一 个 整 体 面 貌, 但 科 学 的 评 价 仍 然 应 对 系 统 在 不 同 层 次 上 的 表 现 进 行 分 项 打 分 这 种 观 念 的 一 个 自 然 同 时 也 是 合 理 的 推 论 就 是, 不 要 奢 求 一 个 只 具 有 短 语 结 构 分 析 能 力 的 系 统, 能 把 句 子 分 析 得 有 多 么 好 6

7 第 一 章 引 论 本 课 题 研 究 工 作 的 直 接 对 象 是 短 语 结 构, 而 不 是 句 子 但 在 研 究 过 程 中, 由 于 我 们 强 调 研 究 是 面 向 实 用 的, 因 此 或 者 从 策 略 上, 或 者 在 理 论 探 索 上, 我 们 都 将 尽 量 追 求 对 短 语 结 构 规 则 的 研 究 能 有 效 地 向 分 析 句 子 的 层 次 靠 拢 开 展 本 课 题 研 究 的 计 算 机 环 境 和 语 料 本 课 题 研 究 工 作 基 本 是 在 一 个 汉 英 机 器 翻 译 系 统 的 开 发 调 试 环 境 下 进 行 的 这 个 汉 英 机 器 翻 译 系 统 的 语 言 内 部 知 识 表 示 包 括 线 图 (Chart) 树 结 构 (tree) 和 特 征 网 络 (feature network) 三 种 形 式 汉 语 的 结 构 分 析 采 用 的 是 改 进 的 线 图 分 析 (Chart Parsing) 算 法 系 统 的 目 标 是 能 处 理 开 放 的 汉 语 语 料, 处 理 的 语 言 单 位 定 在 句 子 一 级 目 前 这 个 系 统 语 言 知 识 库 的 规 模 是, 汉 英 词 典 收 汉 语 词 近 5 万 条 规 则 库 通 用 规 则 300 条 左 右 54 已 经 调 试 过 4 千 个 多 汉 语 句 子 详 细 情 况 可 参 见 刘 群 等 (1997) 55 这 个 机 译 系 统 主 要 的 处 理 环 节 可 以 概 括 为 以 下 四 步 ; (1) 对 输 入 的 汉 语 句 子 进 行 分 词 和 词 性 标 注 ; (2) 进 行 句 法 分 析 产 生 汉 语 的 句 法 结 构 树 ( 带 有 复 杂 属 性 特 征 描 述, 其 中 包 含 句 法 结 构 信 息 和 语 义 搭 配 信 息 ); (3) 将 汉 语 句 法 树 转 换 成 英 语 句 法 树 ; (4) 经 过 必 要 的 结 构 变 换 和 词 形 变 换, 由 英 语 句 法 树 生 成 英 语 句 子 56 我 们 的 研 究 工 作 假 定 上 面 第 一 个 环 节 的 分 析 结 果 都 是 正 确 的 在 这 个 前 提 下 把 目 光 对 准 第 二 个 环 节 的 分 析 任 务, 并 且 是 集 中 在 对 短 语 句 法 结 构 的 分 析 上, 而 不 是 将 整 个 句 子 尽 收 眼 底, 尽 管 在 实 际 应 用 中, 我 们 必 须 面 对 整 个 句 子 而 不 仅 仅 是 短 语 结 构 上 面 第 三 和 第 四 个 环 节 的 工 作, 不 在 本 文 研 究 范 围 内 本 课 题 研 究 中 用 来 调 试 规 则 所 选 取 的 语 料, 主 要 来 自 北 大 计 算 语 言 学 研 究 所 主 持 汉 英 机 器 翻 译 评 测 工 作 所 用 的 题 库, 并 根 据 需 要 作 了 适 当 的 调 整 按 句 中 标 点 符 号 的 分 布 来 划 分, 语 料 的 总 体 情 况 如 下 表 所 示 57 ( 语 料 样 例 可 参 见 附 录 四 ): 序 号 特 征 数 量 序 号 特 征 数 量 1 不 含 标 点 的 ( 词 组 ) 61 7 出 现 省 略 号 的 句 子 0 2 出 现 引 号 的 句 子 52 8 出 现 感 叹 号 ( 感 叹 祈 使 句 ) 出 现 书 名 号 的 句 子 6 9 出 现 问 号 的 句 子 ( 疑 问 句 ) 出 现 括 号 的 句 子 5 10 出 现 逗 号 的 句 子 ( 复 句 ) 出 现 破 折 号 的 句 子 不 出 现 逗 号 的 句 子 ( 单 句 ) 出 现 冒 号 的 句 子 3 共 句 总 字 数 : 用 字 总 数 : 2610 ( 表 1-1: 测 试 语 料 句 子 类 型 ) 其 中 不 出 现 逗 号 的 句 子, 即 是 一 般 所 说 的 单 句 58, 占 全 部 语 料 的 74% 单 句 中 按 字 数 不 同 来 统 计 句 子 数 的 结 果 可 表 示 为 下 面 的 直 方 图 ( 图 中 柱 体 上 方 数 字 表 示 句 子 数 ): 字 以 下 字 7-9 字 字 字 字 字 字 字 30 字 以 上 7

8 面 向 中 文 信 息 处 理 的 现 代 汉 语 短 语 结 构 规 则 研 究 ( 图 1-3: 调 试 语 料 中 单 句 按 字 数 不 同 进 行 统 计 的 分 布 图 ) 1.4 本 文 的 结 构 安 排 本 文 主 要 分 为 两 大 部 分 来 展 开 论 述 (1) 现 代 汉 语 短 语 句 法 语 义 范 畴 的 确 立 及 主 要 短 语 结 构 的 分 析 规 则 ( 第 2 3 章 ) (2) 现 代 汉 语 短 语 结 构 歧 义 格 式 分 析 及 排 歧 研 究 ( 第 4 5 章 ) 本 文 第 2 章 在 已 有 的 关 于 词 的 句 法 功 能 分 类 及 属 性 描 述 的 理 论 研 究 和 工 程 实 践 基 础 上, 向 短 语 的 句 法 功 能 分 类 和 属 性 描 述 进 行 了 拓 展 并 在 已 有 的 配 价 理 论 格 理 论 等 语 义 理 论 基 础 上, 提 出 了 表 示 汉 语 实 词 和 短 语 语 义 信 息 的 广 义 配 价 模 式, 确 立 了 描 述 短 语 句 法 功 能 特 征 和 语 义 信 息 的 基 本 范 畴 第 3 章 则 以 此 为 基 础, 尝 试 尽 可 能 全 面 而 细 致 地 给 出 现 代 汉 语 短 语 结 构 的 组 合 规 则 现 代 汉 语 短 语 结 构 歧 义 是 进 行 汉 语 句 法 分 析 的 一 大 主 要 障 碍 本 文 第 4 章 对 此 进 行 了 全 面 调 查, 对 短 语 歧 义 格 式 的 不 同 类 型 做 了 区 分, 并 对 各 种 类 型 的 短 语 歧 义 格 式 的 分 布 情 况 进 行 了 统 计 针 对 一 些 典 型 的 歧 义 格 式, 第 5 章 在 排 歧 策 略 方 面 进 行 了 探 讨 在 上 面 两 部 分 主 要 内 容 之 外, 本 文 还 单 辟 一 章 ( 第 6 章 ) 对 本 课 题 研 究 工 作 的 实 验 结 果 加 以 了 说 明 最 后, 在 结 束 语 ( 第 7 章 ) 中 对 本 课 题 研 究 工 作 进 行 了 总 结, 简 要 概 括 了 本 课 题 研 究 取 得 的 主 要 成 绩, 讨 论 了 本 课 题 研 究 工 作 对 中 文 信 息 处 理 研 究 的 意 义, 并 提 出 了 进 一 步 研 究 的 计 划 和 目 标 附 注 : 本 文 的 研 究 对 象 是 现 代 汉 语 的 短 语 结 构, 但 限 于 目 前 的 研 究 水 平, 对 什 么 是 短 语 这 个 问 题 还 难 以 用 概 括 的 表 述 来 准 确 的 定 义 众 所 周 知, 汉 语 研 究 中 有 关 什 么 是 词 什 么 是 句 子 之 类 的 基 础 性 问 题 目 前 都 还 没 有 得 到 圆 满 的 解 决 当 然, 问 题 的 困 难 性 并 不 是 我 们 不 给 出 短 语 的 定 义 的 借 口 之 所 以 没 有 在 正 文 中 给 短 语 下 一 个 完 整 定 义, 主 要 是 因 为 就 本 文 的 研 究 目 的 而 言, 有 一 个 严 格 的 定 义 固 然 好, 没 有 定 义 也 不 怎 么 妨 碍 开 展 具 体 的 研 究 工 作 这 里 我 们 可 以 给 出 关 于 短 语 的 一 些 宏 观 说 法, 期 望 有 助 于 读 者 对 短 语 概 念 的 理 解 (1) 从 形 式 语 法 的 角 度 看, 短 语 是 产 生 式 规 则 生 成 的 所 有 终 结 符 ( 参 见 3.1);(2) 从 本 文 主 张 的 语 言 理 论 立 场 来 看, 短 语 是 个 纯 粹 抽 象 的 句 法 功 能 单 位 概 念, 它 可 以 通 过 我 们 假 设 的 句 法 结 构 概 念 来 定 义, 即 可 以 出 现 在 任 意 一 个 句 法 结 构 ( 本 文 所 说 的 句 法 结 构, 仅 指 下 文 中 确 定 的 主 谓 述 宾 述 补 等 9 种 结 构 范 畴, 参 见 2.1.2) 中 的 结 构 位 置 上 的 语 言 成 分 句 子 是 不 能 出 现 在 这 些 结 构 位 置 上 的 不 难 看 出, 这 只 是 把 短 语 的 定 义 问 题 转 化 为 句 法 结 构 的 定 义 问 题 了, 而 结 构 的 定 义 问 题 我 们 则 处 理 为 先 验 基 础 概 念 不 加 定 义 ( 参 见 2.1.1) 参 见 吴 为 善 (1994) 句 法 结 构 和 音 节 组 合, 载 邵 敬 敏 主 编 九 十 年 代 的 语 法 思 考,P , 北 京 语 言 学 院 出 版 社 1994 年 版 ; 刘 丹 青 (1994) 汉 语 形 态 的 节 律 制 约 汉 语 语 法 的 语 音 平 面 丛 论 之 一, 载 邵 敬 敏 主 编 语 言 研 究 与 语 言 应 用,P , 北 京 语 言 学 院 出 版 社 1994 年 版 参 见 周 强 (1995) 基 于 语 料 库 和 面 向 统 计 学 的 自 然 语 言 处 理 技 术 介 绍, 载 计 算 机 科 学 1995 年 第 4 期 Su,Keh-Yih, Tung-hui Chiang and Jing-Shin Chang An Overview of corpus-based statistics-oriented (CBSO) techniques for natural language processing, Computational Linguistics and Chinese Language Processing, vol.1, no.1, August 1996, Taiwan. 参 见 Klavans,Judith L. and Philip Resnik, eds The Balancing Act : Combining symbolic and statistical approaches to language, the MIT Press; 周 明 等 (1994) 统 计 与 规 则 并 举 的 汉 语 句 法 分 析 模 型, 载 计 算 机 研 究 与 发 展 1994 年 第 2 期 参 见 冯 志 伟 (1997) 自 然 语 言 的 计 算 机 处 理, 上 海 外 语 教 育 出 版 社 1997 年 版 ; 冯 志 伟 (1992) 中 文 信 息 处 理 与 汉 语 研 究, 商 务 印 书 馆 1992 年 版 参 见 吴 立 德 等 (1997) 大 规 模 中 文 文 本 处 理, 复 旦 大 学 出 版 社 1997 年 版 参 见 俞 士 汶 等 (1998) 现 代 汉 语 语 法 信 息 词 典 详 解, 清 华 大 学 出 版 社 1998 年 版 参 见 陈 力 为 袁 琦 (1995) 主 编 中 文 信 息 处 理 应 用 平 台 工 程 有 关 文 章 介 绍, 电 子 工 业 出 版 社 以 及 詹 卫 东 常 宝 宝 俞 士 汶 (1998) 基 于 词 组 本 位 语 法 的 语 义 模 型, 载 新 加 坡 中 文 与 东 方 语 言 信 息 处 理 学 会 学 报 (Communications of COLIPS)Vol.8,No.1,1998 参 见 陆 俭 明 郭 锐 (1998) 汉 语 语 法 研 究 所 面 临 的 挑 战, 载 世 界 汉 语 教 学 1998 年 第 4 期 8

9 第 一 章 引 论 这 实 际 上 就 是 促 使 我 们 思 考 现 代 汉 语 研 究 的 对 象 问 题 可 参 见 朱 德 熙 (1988) 现 代 汉 语 语 法 研 究 的 对 象 是 什 么, 载 语 法 研 究 和 探 索 ( 四 ), 北 京 大 学 出 版 社 1988 年 版 马 希 文 (1989) 以 计 算 语 言 学 为 背 景 看 语 法 问 题 ( 载 国 外 语 言 学 1989 年 第 3 期 ) 中 谈 到, 在 我 们 研 究 语 言 时, 为 了 使 表 层 的 材 料 整 齐 划 一, 也 有 必 要 设 想 这 些 材 料 的 深 层 结 构 设 想 多 深 都 没 有 关 系, 只 要 能 保 证 生 成 的 表 层 结 构 是 正 确 的 就 行 我 们 的 想 法 跟 马 先 生 这 个 思 想 是 一 致 的 E.Brill (1995) Transformation-based error-driven learning and natural language processing : a case study in part-of-speech tagging, Computational Linguistics, Vol.21, Number 4,1995. 参 见 白 硕 (1995) 语 言 学 知 识 的 计 算 机 辅 助 发 现,P5-7, 科 学 出 版 社 ; 冯 志 伟 (1992),P 参 见 徐 烈 炯 (1988) 生 成 语 法 理 论, 上 海 外 语 教 育 出 版 社 P74-76 参 见 翁 富 良 王 野 翊 (1998) 计 算 语 言 学 导 论, 中 国 社 会 科 学 出 版 社 1998 年 版 参 见 冯 志 伟 (1992) 中 文 信 息 处 理 与 汉 语 研 究, 商 务 印 书 馆 1992 年 版,P71 参 见 周 明 黄 昌 宁 (1994) 面 向 语 料 库 标 注 的 汉 语 依 存 体 系 的 探 讨, 载 中 文 信 息 学 报 1994 年 第 3 期 参 见 翟 成 祥 等 (1991) 汉 语 组 合 类 型 语 法, 载 中 文 信 息 学 报 1991 年 第 3 期 参 见 吴 蔚 天 罗 建 林 (1994) 汉 语 计 算 语 言 学 汉 语 形 式 语 法 和 形 式 分 析, 电 子 工 业 出 版 社 1994 年 版 参 见 朱 德 熙 (1982) 语 法 讲 义, 商 务 印 书 馆 1982 年 版 ; 朱 德 熙 (1985) 语 法 答 问, 商 务 印 书 馆 年 版 参 见 范 晓 (1996) 三 个 平 面 的 语 法 观, 北 京 语 言 学 院 出 版 社 1996 年 版 参 见 鲁 川 (1988) 汉 语 句 子 的 语 义 成 分 与 语 用 成 分, 载 语 法 研 究 和 探 索 ( 四 ), 北 京 大 学 出 版 社 1988 年 版 参 见 马 庆 株 (1988) 自 主 动 词 和 非 自 主 动 词, 载 中 国 语 言 学 报 第 3 期, 商 务 印 书 馆 袁 毓 林 (1994) 一 价 名 词 的 认 知 研 究, 载 中 国 语 文 1994 年 第 4 期 袁 毓 林 (1995) 现 代 汉 语 二 价 名 词 研 究, 载 沈 阳, 郑 定 欧 主 编 现 代 汉 语 配 价 语 法 研 究, 北 京 大 学 出 版 社 1995 年 版 张 国 宪 (1998) 语 言 单 位 的 有 标 记 与 无 标 记 现 象, 载 邵 敬 敏 主 编 句 法 结 构 中 的 语 义 研 究, 北 京 语 言 文 化 大 学 出 版 社 1998 年 版 参 见 徐 赳 赳 (1990) 叙 述 文 中 他 的 话 语 分 析, 载 中 国 语 文 1990 年 第 5 期 同 注 6 参 见 陈 小 荷 (1998) 一 个 面 向 工 程 的 语 义 分 类 体 系, 载 语 言 文 字 应 用,1998 年 第 2 期 ; 林 杏 光 等 主 编 (1994) 现 代 汉 语 述 语 动 词 机 器 词 典, 北 京 语 言 学 院 出 版 社 1994 年 版 参 见 上 面 注 10 冯 志 伟 (1992) 计 算 语 言 学 对 理 论 语 言 学 的 挑 战, 载 语 言 文 字 应 用 1992 年 第 1 期 范 继 淹 (1979) 的 字 短 语 代 替 名 词 的 语 义 规 则, 载 中 国 语 文 通 讯 1979 年 第 3 期 曹 敏 (1990) 计 算 机 自 动 分 析 量 词 短 语 的 方 法 及 规 则, 载 中 文 信 息 学 报 1990 年 第 1 期 马 真 陆 俭 明 (1996) 名 词 + 动 词 词 语 串 浅 析, 载 中 国 语 文 1996 年 第 3 期 孙 宏 林 (1997) 从 标 注 语 料 库 中 归 纳 语 法 规 则 : V+N 序 列 实 验 分 析, 载 语 言 工 程, 清 华 大 学 出 版 社 1997 年 版 ( 全 国 第 四 届 计 算 语 言 学 联 合 学 术 会 议 论 文 集 ) 詹 卫 东 (1997b) PP< 被 >+VP1+VP2 格 式 歧 义 的 自 动 消 解, 载 中 国 语 文 1997 年 第 6 期 李 子 云 (1991) 汉 语 句 法 规 则, 安 徽 教 育 出 版 社 1991 年 版 吴 竞 存 梁 伯 枢 (1992) 现 代 汉 语 句 法 结 构 与 分 析, 语 文 出 版 社 1992 年 版 沈 阳 (1994) 现 代 汉 语 空 语 类 研 究, 山 东 教 育 出 版 社 1994 年 版 同 注 18 郭 锐 (1995) 述 结 式 的 配 价 结 构 与 成 分 的 整 合, 载 沈 阳 郑 定 欧 主 编 现 代 汉 语 配 价 语 法 研 究, 北 京 大 学 出 版 社 张 国 宪 (1995) 论 双 价 形 容 词, 出 处 同 上 张 伯 江 方 梅 (1996) 汉 语 功 能 语 法 研 究, 江 西 教 育 出 版 社 1996 年 版 Fillmore,C.J Frame semantics, In Linguistics in the morning calm, The Linguistic Society of Korea ed. Hanshin Publishing Co. Seoul, Miller,G., et al Introduction to WordNet: an on-line lexical database. In International Joural of Lexicography 3, No.4, Bake, C.F., C.J. Fillmore, and John B. Lowe The Berkeley FrameNet Project. In Proceedings of COLING'98, Richardson,S.D.,William B.Dolan, and Lucy Vanderwende MindNet: acquring and structuring semantic information from text. In Proceedings of COLING'98, Chodorow, M., R.Byrd, and G.Heidorn Extracting semantic hierarchies from a large on-line dictionary. In Proceedings of the 23 rd Annual Meeting of the ACL, Ide, N., and J.Veronis Extracting knowledge bases from machine-readable dictionaries: Have we wasted our time? In proceedings of KB&KS'93 (Tokyo),

10 面 向 中 文 信 息 处 理 的 现 代 汉 语 短 语 结 构 规 则 研 究 Huang, Chu-Ren, Chen Keh-Jiann, and Gao Zhao-Ming Noun class extraction from a corpus-based collocation dictionary: an integration of computational and qualitative approaches, Quantitative and Computational Studies on the Chinese Language, Benjamin K. T'sou et al. eds., Karen Jenson, George E.Heidorn, and Stephen D.Richardson, eds Natural language processing: the PLNLP approach, Kluwer Academic Publishers 黄 昌 宁 陆 镜 光 (1998) 现 代 语 言 学 给 我 们 的 启 迪, 载 世 界 汉 语 教 学 1998 年 第 4 期 ; 黄 昌 宁 (1993) 关 于 处 理 大 规 模 真 实 文 本 的 谈 话, 载 语 言 文 字 应 用 1993 年 第 2 期 张 敏 (1998) 认 知 语 言 学 与 汉 语 名 词 短 语, 中 国 社 会 科 学 出 版 社 1998 年 版 ; 戴 浩 一 薛 凤 生 (1994) 功 能 主 义 与 汉 语 语 法, 北 京 语 言 学 院 出 版 社 1994 年 版 对 此 不 妨 举 一 个 简 单 的 例 子 略 作 说 明 比 如 语 言 成 分 间 的 搭 配 关 系 动 词 吃 的 后 面 可 以 加 名 词 构 成 述 宾 结 构 这 是 一 条 句 法 规 则, 极 为 概 括, 覆 盖 面 也 最 广, 但 同 时 搭 配 限 制 也 最 弱 也 就 是 说, 概 括 性 强, 但 精 确 度 差 如 果 引 入 语 义 搭 配 规 则, 就 可 以 使 概 括 度 降 低, 但 精 确 度 提 高 比 如 可 以 限 制 动 词 吃 后 面 带 的 名 词 宾 语, 语 义 上 应 具 有 [+ 可 食 性 ] 这 样 的 特 征 这 样, 就 可 以 把 桌 椅 门 窗 等 等 相 当 多 的 名 词 排 除 出 能 跟 吃 搭 配 的 名 词 之 外 在 这 个 限 制 层 面 上, 还 可 以 将 [+ 可 食 性 ] 进 一 步 细 分 为 [+ 液 体 ] 和 [+ 固 体 ] 两 种 情 况, 因 为 普 通 话 中, 只 有 [+ 固 体 ] 的 食 物 才 用 动 词 吃, 而 [+ 液 体 ] 食 物, 用 动 词 喝 此 外, 如 果 考 虑 吃 的 前 面 名 词, 即 施 事 (Agent) 搭 配 成 分, 也 会 有 语 义 要 求, 并 不 是 所 有 的 名 词 都 能 发 出 吃 这 个 动 作, 即 能 成 为 吃 的 施 事 的 名 词, 语 义 上 应 该 具 有 [+ 有 生 命 ] 这 样 的 特 征 甚 至 这 样 的 限 制, 在 有 些 语 言 中 仍 嫌 概 括 度 过 高, 还 要 进 一 步 限 制, 以 提 高 精 确 度 比 如 在 德 语 中, 对 应 汉 语 吃 的 动 词 是 essen, 但 不 象 汉 语 中 吃 的 施 事 可 以 是 狗 猫 猪 等 等 动 物, 德 语 中 essen 的 施 事 只 能 是 人 参 见 韩 万 衡 (1997) 德 国 配 价 论 主 要 学 派 在 基 本 问 题 上 的 观 点 和 分 歧 ( 载 国 外 语 言 学 1997 年 第 3 期 ) 搭 配 限 制 到 语 义 层 面 还 没 有 完, 还 可 以 继 续 到 语 用 层 面 进 行 限 制 比 如 在 回 民 社 区 中, 吃 的 对 象 跟 汉 族 人 就 不 完 全 一 样, 因 为 回 民 有 宗 教 禁 忌, 不 能 吃 猪 肉 这 就 是 由 于 社 会 文 化 传 统 等 方 面 的 语 用 因 素 造 成 的 搭 配 限 制 从 以 上 对 语 言 成 分 间 搭 配 限 制 的 简 单 分 析 中 不 难 看 出, 一 个 实 际 的 语 言 表 达 式, 正 是 这 些 不 同 层 面 的 因 素 共 同 起 作 用 造 成 的 结 果 当 我 们 反 过 来 对 一 个 已 有 的 语 言 表 达 式 进 行 剖 析 时, 同 样 应 该 持 这 种 层 次 观 点, 对 复 杂 的 语 言 现 象, 力 求 在 多 个 层 面 上 进 行 分 析 极 端 而 言, 关 于 语 言 成 分 间 搭 配 性 质 的 分 析, 几 乎 可 以 认 为 是 语 言 分 析 的 全 部 内 容 而 正 是 在 研 究 搭 配 的 过 程 中, 我 们 注 意 到, 语 言 成 分 之 间 搭 配 的 合 法 与 否, 不 是 由 一 个 或 几 个 简 单 因 素 决 定 的, 而 是 由 诸 多 的 在 不 同 层 面 上 具 有 不 同 性 质 的 因 素 决 定 的 词 典 中 对 每 个 词 ( 包 括 语 素 和 成 语 习 用 语 等 等 语 言 成 分 ), 都 描 述 了 比 较 丰 富 的 语 法 功 能 信 息, 这 部 分 信 息 主 要 来 自 北 京 大 学 计 算 语 言 学 研 究 所 开 发 的 现 代 汉 语 语 法 信 息 词 典 ; 此 外, 对 实 词 还 描 述 了 一 定 的 语 义 信 息, 参 见 詹 卫 东 (1998), 出 处 见 上 面 注 7 有 关 词 语 语 法 语 义 属 性 信 息 的 说 明, 在 下 文 论 述 具 体 规 则 时 将 会 提 及 机 器 翻 译 系 统 中 的 现 有 规 则 是 在 调 试 了 4000 多 例 句 基 础 上 形 成 的, 参 见 詹 卫 东 (1997a) 现 代 汉 语 本 位 语 法 体 系 在 机 器 翻 译 中 的 应 用 及 其 问 题 载 吴 泉 源 钱 跃 良 主 编 智 能 计 算 机 接 口 与 应 用 进 展, 电 子 工 业 出 版 社 1997 年 版 ( 第 三 届 中 国 计 算 机 智 能 接 口 与 智 能 应 用 学 术 会 议 论 文 集 ) 需 要 特 别 说 明 的 是, 机 译 系 统 中 目 前 的 规 则 不 是 专 门 针 对 汉 语 短 语 结 构 总 结 出 来 的, 而 是 根 据 调 试 实 际 语 料 的 情 况 归 纳 的 本 文 的 研 究 工 作 则 是 在 已 有 规 则 的 基 础 上, 集 中 讨 论 现 代 汉 语 短 语 结 构 的 规 则, 希 望 能 够 融 入 更 多 的 语 言 学 研 究 成 果, 把 有 关 短 语 结 构 规 则 的 语 言 知 识 挖 掘 得 更 深 入 一 些 刘 群 等 (1997) 一 个 汉 英 机 器 翻 译 系 统 的 计 算 模 型 与 语 言 模 型, 出 处 同 上 也 可 参 见 詹 卫 东 (1997a) 事 实 上 这 仅 仅 是 为 了 使 我 们 的 研 究 工 作 可 以 集 中 在 短 语 结 构 层 面 所 做 的 一 个 假 设 尽 管 目 前 见 诸 报 道 的 汉 语 分 词 以 及 词 性 标 注 软 件 的 正 确 率 大 都 声 称 在 95% 以 上, 但 实 际 分 词 中 存 在 的 问 题 仍 然 很 多 汉 语 文 本 中 的 人 名 地 名 机 构 名 称 缩 略 语 未 登 录 词 辨 识 等, 目 前 都 还 有 不 少 问 题 尚 未 解 决 对 此, 本 文 一 概 都 不 加 以 讨 论 统 计 是 按 照 确 定 的 顺 序 进 行 的, 表 中 序 号 大 的 情 况 不 包 含 序 号 小 的 情 况 另 外 需 要 说 明 的 是, 这 些 语 料 只 是 供 测 试 用, 并 不 是 本 文 研 究 所 要 分 析 的 全 部 对 象 其 中 包 含 冒 号 引 号 ( 即 含 引 语 ) 省 略 号 分 号 书 名 号 括 号 等 等 的 句 子, 以 及 含 吧 呢 啊 吗 呀 等 等 语 气 词, 含 哦 哎 等 等 叹 词, 含 喀 嚓 扑 通 等 等 象 声 词 的 句 子, 目 前 我 们 的 分 析 系 统 都 还 没 有 全 面 考 虑, 也 都 不 在 本 文 的 研 究 范 围 之 内 这 只 是 简 单 的 说 明, 不 是 关 于 单 句 的 定 义 同 样 地, 所 谓 出 现 逗 号 的 句 子, 也 不 是 在 语 言 学 意 义 上 对 复 句 的 定 义 但 值 得 庆 幸 的 是, 这 样 简 单 蛮 横 的 说 明 ( 或 者 看 法 ) 基 本 不 妨 碍 我 们 下 面 进 行 具 体 的 研 究 工 作 本 文 研 究 工 作 中 调 试 的 对 象 主 要 就 在 这 七 千 多 单 句 范 围 内 对 其 他 句 子 的 分 析 虽 然 也 根 据 需 要 有 所 兼 顾, 但 目 前 相 对 比 较 少 需 要 说 明 的 是, 计 算 机 分 析 系 统 对 一 个 具 体 句 子 的 处 理, 最 终 效 果 的 好 坏, 牵 涉 到 程 序 环 境, 语 法 规 则, 词 典 信 息 等 诸 多 因 素, 因 此 调 试 工 作 是 相 当 花 时 间 和 精 力 的 作 为 学 位 论 文 的 研 究, 而 不 是 应 用 工 程 项 目, 我 们 更 关 心 的 是 短 语 结 果 规 则 整 体 框 架 方 面 的 问 题, 因 而 对 调 试 句 子 的 具 体 数 目 没 有 严 格 要 求 10