人工智能作为全球风险中的积极和负面因素

Transcription

1 人 工 智 能 作 为 全 球 风 险 中 的 积 极 和 负 面 因 素 埃 利 泽 尤 德 科 夫 斯 基 已 于 尼 克 博 斯 特 罗 姆 和 米 兰 斯 科 维 克 合 编 的 全 球 灾 难 风 险 中 出 版 2006 年 8 月 31 日 稿 人 工 智 能 奇 点 研 究 所 加 州 帕 洛 阿 尔 托 简 介 迄 今 为 止 人 工 智 能 最 大 的 危 险 是 人 们 过 早 下 结 论 认 为 自 己 理 解 人 工 智 能 当 然, 这 个 问 题 并 非 仅 限 于 人 工 智 能 领 域 雅 克 莫 诺 写 道 : 进 化 论 令 人 感 到 好 奇 的 一 点 是 人 人 都 认 为 自 己 理 解 它 ( 莫 诺 1974) 我 的 父 亲 是 一 位 物 理 学 家, 他 抱 怨 人 们 自 己 编 造 物 理 学 的 理 论, 并 想 知 道 人 们 为 什 么 不 自 己 编 造 化 学 理 论 ( 答 案 是 : 他 们 也 那 么 做 ) 尽 管 如 此, 这 个 问 题 在 人 工 智 能 方 面 显 得 尤 为 突 出 人 工 智 能 领 域 一 向 以 目 标 远 大 而 无 法 兑 现 着 称 大 多 数 观 察 者 总 结 认 为 人 工 智 能 是 个 难 题 ; 事 实 上 它 也 是 但 是 人 工 智 能 的 窘 境 并 非 源 自 它 的 困 难 性 想 从 氢 原 子 造 出 一 个 星 球 来 也 很 难, 但 星 体 天 文 学 领 域 却 未 曾 因 为 许 诺 造 出 星 星 却 没 兑 现 而 有 坏 名 声 由 此 可 见 关 键 问 题 并 不 是 人 工 智 能 本 身 有 多 困 难, 而 是 人 们 太 容 易 地 高 估 自 己 对 人 工 智 能 问 题 的 了 解 程 度 正 如 我 在 全 球 灾 难 风 险 的 另 一 章 中 指 出 的, 认 知 偏 差 潜 在 地 影 响 着 我 们 对 全 球 风 险 的 判 断, 开 场 白 中 我 提 到 很 少 有 人 会 故 意 选 择 消 灭 世 界 ; 因 此 非 常 令 人 担 忧 的 情 形 是 地 球 由 于 失 误 而 被 毁 灭 极 少 有 人 会 在 清 楚 明 白 按 下 某 个 按 钮 会 引 起 全 球 灾 难 的 前 提 下 仍 那 么 做 但 是 如 果 人 们 非 常 容 易 确 信 某 个 按 钮 的 功 能 而 实 际 上 它 所 造 成 的 后 果 并 非 如 他 们 所 想, 那 样 就 确 实 值 得 警 觉 相 比 认 知 偏 差 而 言, 要 写 关 于 人 工 智 能 的 全 球 风 险 要 难 得 多 认 知 偏 差 是 成 熟 的 科 学, 只 要 提 及 相 关 文 献 就 可 以 人 工 智 能 是 新 兴 的 科 学 ; 它 属 于 前 沿, 而 不 是 教 科 书 并 且 由 于 在 后 面 章 节 将 会 提 到 的 原 因, 关 于 人 工 智 能 的 全 球 灾 难 风 险 的 话 题, 几 乎 找 不 到 任 何 技 术 文 献 上 的 相 关 讨 论 我 必 须 从 我 自 己 的 观 点 中 分 析 问 题 ; 给 出 我 自 己 的 结 论, 并 在 有 限 的 空 间 内 尽 己 所 能 进 行 论 证 并 非 是 我 忽 视 了 对 该 话 题 的 主 流 工 作 的 引 用, 而 是, 就 我 最 大 认 识 所 能 看 来, 没 有 主 流 的 工 作 成 果 可 以 被 应 用 ( 截 至 2006 年 1 月 ) 忽 略 人 工 智 能 的 做 法 很 诱 人, 因 为 在 本 书 提 到 的 所 有 全 球 风 险 中, 人 工 智 能 是 最 难 讨 论 的 我 们 不 能 像 对 小 行 星 撞 击 地 球 那 样, 通 过 查 阅 实 际 的 统 计 学 资 料 赋 予 一 个 小 的 年 度 发 生 概 率 值 我 们 不 能 像 对 拟 议 的 物 理 灾 害 那 样 运 用 微 积 分 从 一 个

2 非 常 精 确 的 经 过 证 实 的 模 型 中 排 除 事 件 发 生 的 可 能 性 或 是 对 它 们 的 发 生 概 率 置 一 个 无 穷 小 的 上 限 但 这 只 能 使 人 工 智 能 所 引 起 的 灾 难 更 多 令 人 担 忧, 而 非 更 少 研 究 发 现 许 多 认 知 偏 差 的 效 应 随 着 时 间 的 压 力, 认 知 忙 碌 程 度, 或 信 息 稀 缺 度 而 增 加 也 就 是 说, 越 难 分 析 的 偏 差, 避 免 和 减 少 它 就 越 为 重 要 因 此 我 强 烈 推 荐 在 继 续 下 文 之 前 首 先 阅 读 认 知 偏 差 潜 在 地 影 响 着 我 们 对 全 球 风 险 的 判 断 一 章 ( 第 XXX-YYY 页 ) 1: 拟 人 化 偏 见 当 一 样 事 物 在 我 们 日 常 生 活 中 足 够 普 遍 时, 我 们 往 往 想 当 然 地 忘 了 它 的 存 在 设 想 一 个 具 有 十 个 必 需 部 分 的 复 杂 生 物 适 应 系 统 如 果 十 个 基 因 中 的 每 一 个 都 在 基 因 库 中 以 50% 的 概 率 独 立 出 现 每 个 基 因 在 该 物 种 的 一 半 生 物 体 中 出 现 那 么, 平 均 说 来, 每 1024 个 生 物 体 中 只 有 一 个 会 拥 有 完 整 的 有 功 能 的 适 应 性 除 非 生 物 体 一 直 处 于 低 温 环 境 中, 否 则 羽 毛 并 不 具 有 进 化 上 的 优 势 类 似 的, 如 果 基 因 B 依 赖 于 基 因 A, 那 么 除 非 基 因 A 能 形 成 该 遗 传 环 境 中 的 可 靠 表 型, 否 则 基 因 B 就 没 有 进 化 优 势 复 杂 的, 相 互 依 赖 的 身 体 构 成 在 一 个 有 性 繁 殖 物 种 中 必 然 是 普 遍 的 ; 否 则 它 不 能 进 化 ( 托 比 与 考 斯 曼 德 1992) 一 只 知 更 鸟 的 羽 毛 可 能 比 另 一 只 的 光 滑, 但 它 们 都 有 翅 膀 自 然 选 择, 源 于 变 异, 却 将 它 耗 尽 ( 舒 博 1984) 在 每 一 种 已 知 的 文 明 中, 人 类 体 验 喜 悦, 悲 伤, 厌 恶, 气 愤, 恐 惧 和 惊 讶 ( 布 朗 1991), 而 且 用 同 样 的 面 部 表 情 来 显 示 这 些 情 绪 ( 艾 克 门 与 凯 尔 特 纳 1997) 我 们 的 头 巾 下 都 运 行 着 同 样 的 引 擎, 尽 管 我 们 肤 色 各 异 ; 这 就 是 被 进 化 心 理 学 家 称 为 人 类 精 神 统 一 性 的 原 理 ( 托 比 与 考 斯 曼 德 1992) 这 一 观 点 既 能 被 进 化 生 物 学 的 机 制 所 解 释, 又 是 其 所 必 要 的 一 位 人 类 学 家 不 会 这 样 兴 奋 地 报 告 他 新 发 现 的 一 个 部 落 : 他 们 吃 食 物! 他 们 呼 吸 空 气! 他 们 使 用 工 具! 他 们 互 相 讲 故 事! 生 活 在 一 个 只 强 调 差 异 性 的 世 界 里, 我 们 人 类 忘 了 我 们 之 间 的 共 性 人 类 已 经 进 化 到 可 以 模 仿 他 人 的 程 度 和 我 们 自 己 同 种 个 体 相 互 竞 争 与 合 作 在 原 始 社 会 里 一 个 可 靠 的 特 性 是 你 遇 到 的 任 何 一 个 具 有 强 大 智 慧 的 个 体 一 定 是 人 类 我 们 进 化 到 能 够 通 过 设 想 体 验 他 人 的 处 境 而 对 我 们 的 同 类 感 同 身 受 ; 因 为 被 模 拟 者 和 模 拟 者 本 身 是 相 似 的 毫 不 奇 怪, 人 类 经 常 会 拟 人 化 赋 予 非 人 类 以 人 化 特 性 在 黑 客 帝 国 ( 沃 卓 斯 基 兄 弟 1999) 中, 假 设 的 人 工 智 能

3 特 工 史 密 斯 一 开 始 表 现 出 完 全 的 冷 静 和 镇 定, 他 的 面 部 显 得 被 动 和 毫 无 表 情 但 在 后 来 审 讯 人 类 中 的 莫 菲 斯 时, 特 工 史 密 斯 发 泄 了 他 对 人 类 的 厌 恶 他 的 脸 上 显 示 出 人 类 普 遍 的 面 部 表 情, 厌 恶 如 果 你 需 要 预 测 他 人 的 想 法 时, 询 问 自 己 的 大 脑 活 动 是 有 益 的, 这 是 一 种 适 应 性 本 能 当 你 面 对 其 它 类 型 的 优 化 程 序 譬 如, 假 设 你 是 十 八 世 纪 的 神 学 家 威 廉 佩 利, 正 观 察 着 生 命 的 复 杂 秩 序 并 惊 奇 于 它 从 何 而 来 这 时 拟 人 化 对 粗 心 的 科 学 家 来 说 是 一 个 诱 捕 器, 这 个 陷 阱 是 如 此 粘 着 以 至 于 需 要 一 个 达 尔 文 方 能 从 中 逃 脱 有 关 拟 人 论 的 实 验 显 示 被 试 者 会 无 意 识 地 运 用 拟 人 化 方 法, 而 且 常 常 与 他 们 深 思 熟 虑 的 信 念 相 悖 在 巴 雷 特 和 凯 尔 (1996) 的 一 项 研 究 中, 被 试 者 强 调 他 们 坚 信 上 帝 非 拟 人 化 的 特 性 : 即 上 帝 可 同 时 在 多 个 地 点 出 现, 或 能 同 时 关 注 多 个 事 件 巴 雷 特 和 凯 尔 给 同 一 批 被 试 者 呈 现 一 些 故 事, 例 如, 上 帝 拯 救 溺 水 者 的 事 当 被 试 者 回 答 关 于 该 故 事 的 一 些 问 题, 或 用 他 们 自 己 的 话 来 复 述 故 事 时, 他 们 的 陈 述 暗 示 上 帝 同 一 时 间 只 在 一 个 地 方 并 且 是 顺 序 地 而 非 并 行 地 执 行 任 务 一 个 支 持 我 们 论 点 的 意 外 收 获 是, 巴 雷 特 和 凯 尔 还 对 另 一 组 被 试 讲 了 同 样 的 故 事, 唯 一 的 区 别 是 在 那 里 上 帝 被 代 之 以 名 为 Uncomp 的 超 智 能 计 算 机 例 如, 为 了 模 拟 无 处 不 在 的 特 性, 被 试 者 被 告 知 Uncomp 的 传 感 器 和 效 应 器 覆 盖 地 球 上 的 每 平 方 厘 米 因 此 没 有 信 息 会 被 遗 漏 在 该 条 件 下 被 试 也 表 现 出 很 强 的 拟 人 化 倾 向, 尽 管 比 上 帝 那 组 要 少 很 多 从 我 们 的 角 度 看 来, 这 个 实 验 的 关 键 结 果 是 表 明 在 人 们 有 意 识 地 相 信 人 工 智 能 与 人 类 不 同 的 情 形 下, 他 们 仍 会 可 视 化 一 些 人 工 智 能 的 拟 人 化 场 景 ( 但 不 如 对 上 帝 的 拟 人 化 程 度 那 么 高 ) 拟 人 化 偏 差 可 以 被 归 为 隐 伏 的 认 知 偏 差 一 类 : 它 在 没 有 明 确 的 意 图 下 发 生, 无 需 自 觉 意 识, 即 便 明 确 了 解 相 关 的 知 识 也 无 法 避 免 在 科 幻 小 说 的 低 级 趣 味 时 代, 杂 志 封 面 上 偶 尔 会 描 绘 着 一 个 有 情 感 的 外 星 怪 兽 俗 称 暴 眼 怪 物 或 BEM 夺 走 一 个 裙 子 被 撕 破 的 迷 人 的 女 性 人 类 画 家 似 乎 认 为 一 个 具 有 完 全 不 同 进 化 史 的 非 人 类 的 异 形, 会 对 人 类 的 女 性 有 性 渴 望 人 们 不 会 为 犯 那 样 的 错 误 而 辩 解 说 : 所 有 的 心 智 似 乎 都 具 有 相 同 的 联 接 方 式, 由 此 推 测 一 个 BEM 应 该 会 觉 得 人 类 的 女 性 富 有 性 吸 引 力 可 能 那 个 画 家 没 有 去 问 一 个 巨 虫 是 否 觉 得 女 人 很 有 吸 引 力 相 反, 一 个 裙 子 被 撕 破 的 女 人 本 身 是 很 性 感 的 那 是 个 内 在 特 性 犯 该 错 误 的 人 没 有 从 一 个 多 脚 昆 虫 机 器 人 的 角 度 思 考 ; 他 们 只 是 注 意 了 女 人 被 撕 破 的 裙 子 如 果 裙 子 没 被 撕 破, 那 女 人 也 就 不 那 么 性 感 ;BEM 也 就 不 会 抓 她 ( 这 例 子 说 的 是 一 个 根 深 蒂 固 的, 令 人 困 惑 而 又 极 其 普 遍 的 认 知 偏 差 错 误, 它 被 E.T. 杰 恩 斯 称 为 心 智 投 射 谬 误 ( 杰 恩 斯 与 巴 雷 特 绍 斯 特, 2003) 杰 恩 斯, 一 位 贝 叶 斯 概 率 理 论 家, 创 造 了 心 智 投 射 谬 误 一 词 用 来 指 代 由 主 观 性 介 入 而 引 起 知 识 状 态 混 乱 的 认 知 错 误 例 如, 神 秘 现 象 一 词 暗 示 神 秘 性 是 该 现 象 本 身 的 特 性 如 果 我 对 该 现 象 无 知, 这 其 实 是 我 自 己 的 心 智 状 态, 而 不 是 该 现 象 的 实 在 特 性

4 人 们 无 需 意 识 到 他 们 正 在 进 行 拟 人 化 ( 或 甚 至 无 需 意 识 到 他 们 正 参 与 一 种 预 测 他 人 思 想 的 可 疑 行 为 ) 来 让 拟 人 观 凌 驾 于 认 知 之 上 当 我 们 试 图 对 他 人 的 想 法 进 行 推 理 时, 推 理 过 程 的 每 一 步 都 可 能 被 人 们 经 验 中 的 世 故 假 设 所 污 染, 就 像 我 们 对 空 气 和 重 力 一 样 不 加 注 意 你 向 杂 志 插 图 画 家 抗 议 道 : 那 么 巨 型 大 公 虫 是 否 更 像 是 会 对 巨 型 母 虫 产 生 性 欲 望 呢? 插 图 画 家 想 了 片 刻 后 对 你 说 : 哦, 即 使 一 个 昆 虫 异 形 一 开 始 喜 欢 坚 硬 的 外 骨 骼, 当 它 遇 到 人 类 女 性 后 它 很 快 会 明 白 她 们 拥 有 更 为 美 丽 的, 柔 软 的 肌 肤 如 果 那 些 异 形 具 有 足 够 先 进 的 技 术, 它 们 可 以 通 过 遗 传 工 程 自 行 改 造 以 使 自 己 喜 欢 柔 软 的 皮 肤 而 不 是 坚 硬 的 外 骨 骼 这 是 很 自 然 的 谬 误 当 异 形 的 拟 人 化 想 法 被 指 出 时, 杂 志 插 图 画 家 试 图 退 一 步 把 异 形 的 结 论 辩 解 为 是 它 的 推 理 过 程 的 中 性 产 物 也 许 先 进 的 异 形 会 重 组 它 们 自 身 ( 通 过 遗 传 上 或 其 它 方 式 ) 令 其 喜 欢 柔 软 皮 肤, 但 他 们 会 想 要 那 么 做 吗? 一 个 喜 欢 坚 硬 外 壳 的 昆 虫 异 形 是 不 会 希 望 把 它 自 己 变 得 喜 欢 柔 软 皮 肤 的 除 非 自 然 选 择 使 它 产 生 了 超 性 别 的 明 显 人 类 感 知 当 使 用 长 的, 复 杂 的 推 理 链 来 为 某 个 拟 人 化 的 结 论 辩 护 时, 推 理 过 程 的 每 一 步 都 成 为 错 误 可 能 潜 入 的 机 会 不 仅 如 此, 从 结 论 出 发 寻 找 一 条 通 往 该 结 论 的 貌 似 中 性 的 推 理 线 索 本 身 也 是 个 严 重 的 错 误 ; 这 是 合 理 化 如 果 是 大 脑 自 询 产 生 了 昆 虫 机 器 人 追 逐 女 人 的 第 一 瞬 的 心 智 图 像, 那 么 拟 人 化 是 那 一 信 念 的 潜 在 原 因, 再 多 推 理 也 无 法 将 其 改 变 对 任 何 想 要 减 少 自 己 拟 人 化 偏 差 的 人 来 说, 一 条 好 建 议 是 通 过 学 习 进 化 生 物 学, 尤 其 是 用 数 学 方 法 描 述 的 进 化 生 物 学, 来 练 习 去 除 该 偏 差 早 期 的 生 物 学 家 常 常 把 自 然 选 择 拟 人 化 他 们 认 为 进 化 会 做 类 似 他 们 自 己 做 的 事 情 ; 他 们 试 图 穿 上 进 化 的 外 衣 来 用 自 己 的 想 法 预 测 进 化 的 效 应, 结 果 得 到 一 派 荒 谬 的 言 论 这 些 谬 论 在 60 年 代 晚 期 首 先 从 生 物 学 开 始 被 系 统 地 铲 除, 例 如 威 廉 姆 斯 所 为 (1966) 进 化 生 物 学 提 供 了 数 学 和 案 例 分 析 以 帮 助 消 除 拟 人 化 偏 差 1.1: 智 力 设 计 空 间 的 广 度 进 化 强 有 力 地 保 留 某 些 结 构 当 依 赖 于 已 知 基 因 的 另 外 基 因 进 化 时, 那 个 早 期 的 基 因 是 固 定 不 变 的 ; 它 一 旦 突 变 就 会 破 坏 多 重 关 联 适 应 性 同 源 异 形 基 因 那 些 控 制 胚 胎 期 身 体 架 构 发 育 的 基 因 告 知 许 多 其 它 基 因 该 何 时 活 化 一 个 同 源 异 形 基 因 突 变 会 引 起 果 蝇 胚 胎 发 育 成 其 它 部 分 均 正 常 却 无 头 的 个 体 正 因 为 这 样, 同 源 异 形 基 因 被 如 此 强 有 力 的 保 留 下 来, 以 至 于 他 们 在 人 和 果 蝇 中 是 一 样 的 他 们 从 最 后 一 个 人 和 昆 虫 的 共 同 祖 先 开 始 就 没 有 被 改 变 过 ATP 合 成 酶 的 分 子 机 器 在 动 物 的 线 粒 体, 植 物 叶 绿 体 和 细 菌 中 本 质 上 是 一 样 的 ;ATP 合 成 酶 从 20 亿 年 前 真 核 生 物 诞 生 以 来 就 没 有 发 生 过 重 大 改 变 而 两 个 人 工 智 能 设 计 之 间 的 差 异 却 可 能 大 过 你 和 一 株 矮 牵 牛 花 人 工 智 能 这 个 术 语 指 向 一 个 比 术 语 人 类 更 广 阔 许 多 的 可 能 性 空 间 当 我 们 谈 及 人 工 智 能 时 我 们 事 实 上 是 在 谈 论 一 般 意 义 上 的 智 力 或 说 是 一 般 性 的 优 化 过 程 想 象 一 下 一 张 智 力 设 计 空 间 的 地 图 在 一 个 角 落, 一 个 小 小 的 圈 包 含 了 所

5 有 的 人 类 ; 稍 大 一 点 的 小 圈 包 括 所 有 的 生 物 体 ; 而 这 张 巨 大 地 图 的 其 余 部 分 是 一 般 智 力 的 空 间 这 整 张 地 图 浮 在 一 个 更 大 的 空 间 里, 即 所 有 优 化 过 程 的 空 间 自 然 选 择 并 非 刻 意 地 创 造 出 复 杂 的 功 能 机 械 ; 进 化 位 于 优 化 过 程 的 空 间 内, 但 在 包 括 大 脑 的 空 间 之 外 正 是 这 个 庞 大 的 可 能 性 空 间 使 得 拟 人 化 的 推 理 方 式 不 再 合 理 2: 预 测 与 设 计 我 们 不 能 通 过 查 询 我 们 自 己 的 大 脑 来 寻 找 非 人 类 的 优 化 过 程 不 管 是 暴 眼 怪 物, 自 然 选 择, 或 是 人 工 智 能 那 么 我 们 从 何 入 手 呢? 我 们 怎 样 预 测 人 工 智 能 能 做 什 么? 我 故 意 以 这 样 一 种 方 式 提 出 问 题 从 而 使 它 看 上 去 十 分 棘 手 通 过 这 个 令 人 望 而 却 步 的 问 题, 我 们 无 法 预 测 一 个 任 意 的 计 算 系 统 是 如 何 实 现 任 何 输 入 - 输 出 转 换 功 能 的, 包 括, 譬 如 说, 简 单 的 乘 法 ( 莱 斯 1953) 那 么 人 类 工 程 师 又 是 如 何 造 出 可 靠 地 实 现 乘 法 运 算 的 计 算 机 芯 片 的? 那 是 因 为 人 类 工 程 师 刻 意 使 用 了 他 们 能 够 理 解 的 设 计 拟 人 论 使 人 们 相 信 他 们 能 够 预 测, 在 除 了 知 道 它 有 智 能 之 外 一 无 所 知 的 情 况 下 拟 人 化 可 以 继 续 生 成 预 测, 而 不 管 你 们 的 大 脑 不 自 觉 中 已 把 它 自 己 穿 上 智 慧 的 外 衣 这 可 能 是 导 致 人 工 智 能 尴 尬 历 史 的 因 素 之 一, 那 些 尴 尬 不 是 由 人 工 智 能 的 困 难 产 生, 而 是 由 对 于 一 个 给 定 的 人 工 智 能 设 计 的 功 能 所 形 成 错 误 信 念 的 不 可 思 议 的 容 易 性 产 生 若 要 声 明 一 座 桥 可 以 载 重 达 30 吨 的 车 辆, 土 木 工 程 师 有 两 个 武 器 : 选 择 初 始 条 件, 以 及 设 定 安 全 界 限 他 们 不 用 去 推 测 任 一 结 构 是 否 能 承 载 30 吨 的 车 辆, 他 们 只 要 造 出 一 座 桥 使 该 声 明 成 立 尽 管 一 个 工 程 师 能 够 精 确 计 算 一 座 桥 的 载 重 量 是 很 了 不 起 的, 要 是 只 能 计 算 出 一 座 桥 至 少 可 以 载 重 30 吨 也 是 可 以 接 受 的 - 尽 管 要 严 格 实 现 这 个 貌 似 含 糊 的 声 明 所 需 要 的 理 论 理 解 力, 和 一 个 精 确 计 算 所 需 的 也 差 不 多 土 木 工 程 师 以 高 标 准 衡 量 他 们 自 己 对 桥 的 载 重 性 的 估 计 能 力 古 代 炼 金 士 衡 量 他 们 自 己 将 铅 变 成 黄 金 的 能 力 的 标 准 则 要 低 得 多 多 少 铅 可 以 变 成 多 少 金 子? 什 么 是 它 转 变 的 精 确 因 果 机 制? 炼 金 研 究 员 想 要 把 铅 变 成 黄 金 的 原 因 是 显 而 易 见 的, 但 为 什 么 这 一 系 列 的 试 剂 会 使 铅 变 成 金, 而 不 是 把 黄 金 变 成 铅, 或 是 把 铅 变 成 水 呢? 一 些 早 期 的 人 工 智 能 学 者 相 信 一 个 有 多 层 阈 值 单 元 组 成 的 人 工 神 经 网 络, 通 过 反 向 传 播 训 练, 可 以 拥 有 智 慧 这 种 痴 心 妄 想 更 类 似 于 炼 金 士 的 想 法, 而 不 是 土 木 工 程 师 的 在 唐 纳 德 布 朗 的 清 单 上 魔 法 是 人 类 的 普 遍 想 法 ( 布 朗 1991); 而 科 学 不 是 我 们 并 不 能 凭 直 觉 意 识 到 炼 金 术 行 不 通 我 们 不 能 凭 直 觉 严 格 区 分 确 实 的 知 识 和 构 思 精 巧 的 故 事 我 们 无 法 本 能 地 注 意 到 一 个 有 正 面 结 果 的 预 期 其 实 是 空 中 楼 阁

6 人 类 经 过 自 然 选 择 而 生 存 下 来, 自 然 选 择 通 过 对 偶 然 突 变 的 必 然 保 留 而 起 作 用 一 条 通 往 全 球 灾 难 的 途 径 如 同 某 人 按 下 一 个 对 其 功 能 有 错 误 理 解 的 按 钮 就 是 人 工 智 能 通 过 一 种 类 似 自 然 选 择 的 操 作 算 法 不 断 累 加 而 形 成, 而 研 究 者 对 于 整 个 复 合 系 统 如 何 工 作 却 没 有 深 刻 的 认 识 尽 管 他 们 相 信 所 产 生 的 人 工 智 能 是 友 好 的, 他 们 却 对 产 生 友 好 行 为 的 精 确 过 程 印 象 模 糊, 或 是 对 友 好 的 具 体 含 义 理 解 不 清 正 如 早 期 人 工 智 能 学 者 对 他 们 程 序 的 智 力 预 期 是 模 糊 而 严 重 错 误 的, 我 们 试 想 那 些 人 工 智 能 学 者 成 功 地 构 造 了 一 个 智 能 程 序, 却 对 他 们 程 序 的 友 好 性 持 有 模 糊 而 严 重 错 误 的 预 期 不 知 如 何 构 建 一 个 友 好 人 工 智 能 本 身, 在 任 何 特 定 情 况 下 都 并 非 是 致 命 的, 如 果 你 明 确 知 道 自 己 不 知 如 何 构 建 反 而 是 那 种 认 为 人 工 智 能 一 定 会 对 人 类 友 好 的 错 误 信 念 蕴 含 着 通 向 全 球 灾 难 的 危 险 3: 智 能 力 量 低 估 我 们 倾 向 于 关 注 个 体 差 异 而 不 是 人 类 普 遍 性 因 此 当 有 人 提 到 智 力 一 词 时, 我 们 想 到 的 是 爱 因 斯 坦, 而 不 是 全 人 类 人 类 智 力 的 个 体 差 异 有 一 个 标 准 称 谓, 即 斯 皮 尔 曼 的 g 亦 称 为 g- 因 子, 它 是 对 可 靠 实 验 结 果 的 具 有 争 议 的 解 释, 实 验 结 果 表 明 不 同 智 力 测 试 之 间 相 互 高 度 关 联, 而 且 智 力 测 试 结 果 与 现 实 世 界 中 的 结 果 如 终 身 收 入 高 度 关 联 ( 约 翰 逊 1999) 斯 皮 尔 曼 的 g 是 从 人 类 之 间 智 力 的 个 体 差 异 得 到 的 统 计 抽 提, 人 类 作 为 一 个 种 群 远 比 蜥 蜴 的 智 力 要 高 斯 皮 尔 曼 的 g 是 抽 象 表 示 出 巨 人 族 里 豪 米 级 别 的 高 度 差 异 我 们 不 应 混 淆 斯 皮 尔 曼 的 g 和 人 类 一 般 智 慧, 即 我 们 解 决 许 多 对 其 它 物 种 而 言 无 法 理 解 的 各 式 认 知 任 务 的 能 力 一 般 智 力 指 的 是 物 种 间 的 差 异, 一 种 复 杂 的 适 应 性, 一 种 在 所 有 已 知 文 明 中 都 能 找 到 的 人 类 普 遍 性 也 许 关 于 智 力 没 有 学 术 上 的 统 一 观 点, 但 对 于 这 件 亟 待 解 释 的 事 物 的 力 量 和 存 在 性 却 是 毫 无 疑 义 的 人 类 拥 有 某 些 特 性 使 我 们 登 上 月 球 然 而 智 力 一 词 常 常 会 使 人 联 想 起 智 商 160 而 食 不 果 腹 的 教 授 和 智 商 120 的 亿 万 富 翁 公 司 首 席 执 行 官 事 实 上 除 了 聪 明 外 促 成 某 人 在 人 类 社 会 中 获 得 相 对 成 功 的 个 体 能 力 差 异 还 包 括 : 热 情, 社 交 技 巧, 教 育, 音 乐 天 赋, 理 性 请 注 意 我 列 举 的 每 个 因 素 都 是 认 知 方 面 的 社 交 技 巧 存 在 于 大 脑 中, 而 不 是 肝 脏 撇 开 笑 话 不 谈, 你 不 会 发 现 有 许 多 黑 猩 猩 成 为 CEO, 或 学 术 界 教 授 你 也 不 会 找 到 哪 只 老 鼠 成 为 受 欢 迎 的 理 性 主 义 者, 或 艺 术 家, 或 诗 人, 或 领 导 者, 或 工 程 师, 或 老 练 的 社 交 家, 或 武 术 家, 或 作 曲 家 智 力 是 人 类 力 量 的 基 石, 它 是 我 们 获 得 其 它 技 艺 的 源 泉 混 淆 普 通 智 力 与 g- 因 子 的 危 险 是 会 导 致 对 人 工 智 能 潜 在 影 响 的 大 大 低 估 ( 这 既

7 指 潜 在 良 性 影 响, 也 指 潜 在 负 面 影 响 ) 即 使 超 人 类 人 工 智 能 或 人 工 超 级 智 慧 这 些 词 也 仍 然 只 是 唤 起 人 们 脑 海 中 固 有 的 书 呆 子 形 象 : 它 擅 长 一 些 传 统 认 为 与 智 力 相 联 的 认 知 任 务 比 如 象 棋 或 抽 象 数 学 之 类, 而 不 是 具 有 超 越 人 类 的 说 服 力 ; 或 对 人 类 社 会 的 情 境 能 做 出 远 比 人 类 更 好 的 预 测 和 操 控 ; 或 是 在 制 定 长 期 战 略 方 面 超 人 地 聪 慧 如 果 谈 到 智 力 时 我 们 不 提 爱 因 斯 坦, 那 么 我 们 是 否 应 该 想 到 19 世 纪 政 治 和 外 交 天 才 奥 特 冯 俾 斯 麦? 但 那 只 是 同 样 错 误 的 一 个 翻 版 从 一 个 乡 村 笨 蛋 到 爱 因 斯 坦, 或 从 一 个 乡 村 笨 蛋 到 俾 斯 麦 所 覆 盖 的 智 力 范 围, 只 是 从 阿 米 巴 虫 到 人 类 智 力 全 范 围 中 的 一 小 点 如 果 智 力 一 词 使 人 想 起 爱 因 斯 坦 而 不 是 人 类, 那 么 说 智 力 比 不 上 一 把 手 枪 或 说 智 力 比 不 上 金 钱 听 上 去 也 会 是 合 理 的, 但 这 就 像 说 手 枪 长 在 树 上 或 老 鼠 会 用 钱 一 样 荒 谬 人 类 从 一 开 始 就 不 具 备 其 它 物 种 赖 以 生 存 的 爪, 牙, 盔 甲 或 其 它 优 势 如 果 你 从 生 物 圈 中 其 它 生 物 的 角 度 来 观 察 人 类, 你 看 不 出 这 种 湿 软 的 物 种 是 怎 么 最 终 会 给 他 们 自 己 穿 上 装 甲 坦 克 我 们 发 明 了 战 胜 狮 子 和 狼 的 武 器 我 们 没 有 像 它 们 一 样 的 爪 子 和 尖 牙 ; 我 们 有 自 己 心 知 肚 明 的 重 要 优 势, 这 就 是 创 造 力 的 力 量 文 基 (1993) 恰 当 地 观 察 到 未 来 具 有 比 人 聪 明 的 思 维 能 力 的 是 另 类 的 物 种 人 工 智 能 不 是 最 新 一 期 科 技 杂 志 上 广 告 中 那 令 人 惊 奇 的 闪 亮 的 昂 贵 小 器 具 人 工 智 能 不 属 于 展 示 医 药, 制 造 和 能 源 进 展 图 表 中 的 一 项 你 不 能 随 意 将 人 工 智 能 与 未 来 剧 的 滥 俗 情 景 中 的 摩 天 大 楼 和 飞 行 汽 车, 以 及 可 以 让 你 停 止 呼 吸 八 小 时 的 纳 米 血 红 细 胞 混 为 一 谈 再 高 的 摩 天 大 楼 也 不 可 能 开 始 做 自 己 的 工 程 人 类 在 地 球 上 取 得 显 赫 地 位 也 不 是 靠 他 比 其 它 物 种 屏 息 时 间 更 长 低 估 智 慧 的 力 量 所 引 发 的 灾 难 性 后 果 类 似 于 一 些 人 造 了 一 个 按 钮, 而 对 该 按 钮 的 功 能 不 够 重 视, 因 为 他 们 不 认 为 那 个 按 钮 强 大 到 足 以 伤 害 到 他 们 或 者, 由 于 低 估 智 力 的 力 量 意 味 着 相 应 地 低 估 人 工 智 能 的 潜 在 影 响, 目 前 极 少 数 代 表 人 类 处 理 生 存 危 机 的 研 究 人 员 和 资 助 者 以 及 个 人 慈 善 家 可 能 对 人 工 智 能 将 不 够 重 视 或 是 更 广 范 围 内 的 人 工 智 能 领 域 将 会 对 强 大 的 人 工 智 能 不 够 重 视, 因 此 当 构 造 一 个 强 大 人 工 智 能 成 为 可 能 的 时 候, 实 现 友 好 性 的 便 利 工 具 和 坚 实 基 础 还 没 有 准 备 好 不 得 不 提 的 是 由 于 它 也 影 响 到 生 存 危 机 人 工 智 能 可 能 是 其 它 生 存 危 机 的 有 力 解 决 方 案, 而 我 们 错 误 地 忽 略 了 我 们 存 活 的 最 大 希 望 了 解 低 估 人 工 智 能 潜 在 影 响 的 关 键 是 意 识 到 其 潜 在 的 好 坏 影 响 是 对 等 的 那 就 是 为 什 么 本 章 的 标 题 是 人 工 智 能 作 为 全 球 风 险 中 的 正 面 和 负 面 因 素, 而 不 是 人 工 智 能 的 全 球 风 险 人 工 智 能 的 未 来 与 全 球 风 险 的 关 系 比 那 更 为 复 杂 ; 如 果 人 工 智 能 是 一 个 纯 粹 的 责 任, 问 题 会 变 得 简 单 4: 能 力 和 动 机 在 探 讨 人 工 智 能, 特 别 是 具 有 超 人 类 能 力 的 人 工 智 能 时 有 一 个 常 犯 的 错 误 有 人 说 : 当 技 术 足 够 先 进 时 我 们 可 以 有 能 力 制 造 远 超 人 类 智 能 的 大 脑 既 然, 很 明 显 你 能 做 多 大 的 奶 酪 蛋 糕 取 决 于 你 的 智 力, 那 么 一 个 超 级 智 慧 体 可 以 做 巨 大 的 蛋

8 糕 有 一 个 城 市 那 么 大 的 蛋 糕 天 哪, 未 来 将 充 满 了 奶 酪 蛋 糕! 问 题 是 那 个 超 级 智 慧 体 是 否 想 要 做 大 蛋 糕? 这 个 例 子 里, 人 们 的 关 注 点 从 能 力 一 下 跳 到 了 现 实, 没 有 考 虑 必 需 的 中 间 环 节 : 动 机 以 下 的 推 理 链, 无 需 支 持 论 据 可 独 自 成 立, 都 显 示 出 大 蛋 糕 谬 论 : 一 个 足 够 强 大 的 人 工 智 能 可 以 制 服 任 何 人 类 的 反 抗 并 且 将 人 类 消 灭 而 且 该 人 工 智 能 将 决 定 那 么 做 因 此 我 们 不 应 该 构 造 人 工 智 能 一 个 足 够 强 大 的 人 工 智 能 可 以 开 发 出 挽 救 百 万 人 生 命 的 新 药 技 术 而 且 该 人 工 智 能 将 决 定 那 么 做 因 此 我 们 应 该 构 造 人 工 智 能 一 旦 计 算 机 变 得 足 够 便 宜, 大 多 数 的 工 作 由 人 工 智 能 来 完 成 比 人 类 更 方 便 一 个 足 够 强 大 的 人 工 智 能 甚 至 会 比 我 们 更 擅 长 数 学, 工 程, 音 乐, 艺 术, 和 我 们 认 为 有 意 义 的 所 有 其 它 工 作 而 且 该 人 工 智 能 将 决 定 完 成 那 些 工 作 因 此 当 人 工 智 能 发 明 后, 人 类 将 无 事 可 做, 我 们 要 么 挨 饿, 要 么 看 电 视 4.1: 优 化 过 程 以 上 对 大 蛋 糕 谬 误 的 解 析 引 发 了 一 个 内 在 的 拟 人 化 思 想 即 动 机 是 可 分 离 的 想 法 ; 隐 含 的 假 设 是 通 过 把 能 力 与 动 机 作 为 相 互 独 立 的 实 体 来 谈 论, 我 们 在 现 实 的 接 合 处 将 其 分 割, 这 是 一 种 实 用 的 切 割 但 同 时 也 是 一 个 拟 人 化 的 做 法 为 了 用 更 一 般 的 术 语 来 考 察 问 题, 我 引 入 优 化 过 程 的 概 念 : 一 个 要 在 大 的 搜 索 空 间 中 命 中 小 目 标 从 而 产 生 连 贯 的 现 实 世 界 效 应 的 系 统 一 个 优 化 过 程 将 未 来 引 导 入 可 能 的 特 定 区 域 我 在 一 个 远 方 城 市 访 问, 当 地 的 一 个 朋 友 志 愿 送 我 去 机 场 我 对 附 近 不 熟 当 我 的 朋 友 开 到 十 字 路 口 时, 我 不 知 道 他 将 转 向 何 处, 不 管 那 是 一 个 单 独 的 还 是 一 系 列 接 连 的 转 弯 但 我 却 能 预 测 我 朋 友 这 些 无 法 预 测 行 为 的 最 终 结 果 : 我 们 会 到 达 机 场 即 使 我 的 朋 友 家 在 城 市 的 另 一 个 地 方, 从 而 他 会 走 一 连 串 完 全 不 同 的 转 弯, 我 仍 能 确 定 地 预 测 我 们 的 目 标 从 科 学 上 说, 这 难 道 不 是 一 种 奇 怪 的 情 况 吗? 我 可 以 预 测 一 个 过 程 的 结 果, 而 无 需 预 测 该 过 程 中 间 步 骤 的 任 何 一 步 我 把 优 化 过 程 所 导 向 的 未 来 区 域 称 为 该 优 化 器 的 目 标 设 想 一 部 轿 车, 假 如 是 丰 田 花 冠, 在 组 成 这 部 花 冠 的 原 子 的 所 有 可 能 的 配 置 中, 只 有 无 穷 小 的 一 部 分 可 以 成 为 一 部 有 用 的 轿 车 如 果 你 随 机 地 去 组 装 分 子, 那 么 你 要 得 到 一 部 轿 车 得 花 费 许 许 多 多 宇 宙 纪 元 的 时 间 设 计 空 间 的 一 小 部 分 确 实 描 绘 了 那 些 我 们 觉 得 比 花 冠 更 快, 更 高 效, 更 安 全 的 车 辆 因 此 花 冠 在 设 计 者 的 目 标 中 不 是 最 优 的 然 而 无 论 如 何, 花 冠 确 实 是, 经 过 优 化 的, 因 为 设 计 者 为 了 创 造 一 辆 可 工 作 的 轿 车 必 须 从 设 计 空 间 中 命 中 相 对 无 限 小 的 目 标, 更 何 况 是 花 冠 这 样 高 质 量 的 轿 车 你 不 能 通 过 随 机 锯 断 木 板 和 按 照 抛 硬 币 的 结 果 敲 钉 子 来 建 造 一 辆 可 以 有 效 使 用 的 四 轮 马 车 要 想 命 中 配 置 空 间 中 如 此 小 的 目 标 需 要 一 个 强 有 力

9 的 优 化 过 程 优 化 过 程 这 个 概 念 如 意 料 中 的 一 样 有 用, 因 为 理 解 一 个 优 化 过 程 的 目 标 比 理 解 它 一 步 步 的 动 态 过 程 要 容 易 上 面 关 于 花 冠 的 讨 论 隐 含 的 假 设 是 花 冠 的 设 计 者 试 图 要 产 生 出 一 个 车 辆, 一 种 交 通 工 具 这 个 假 设 应 该 被 显 式 说 明 的, 它 没 有 错, 而 且 对 于 理 解 花 冠 非 常 有 用 4.2: 针 对 目 标 如 果 忘 了 一 般 智 力 空 间 比 人 类 这 个 小 点 要 广 阔 许 多 的 事 实, 就 会 被 人 工 智 能 们 将 会 想 要 什 么 这 个 问 题 诱 惑 人 们 必 须 抵 制 诱 惑 而 把 范 围 扩 大 到 所 有 的 可 能 智 力 空 间 写 故 事 的 人 编 织 我 们 称 之 为 未 来 的 这 片 遥 远 而 陌 生 的 土 地 的 故 事, 说 未 来 将 会 怎 样 他 们 进 行 预 言, 他 们 说, 人 工 智 能 的 机 器 人 军 队 会 进 攻 人 类 或 人 工 智 能 会 发 明 一 种 治 疗 癌 症 的 方 法 他 们 不 提 供 从 初 始 条 件 到 结 果 之 间 的 复 杂 关 系 的 描 述 那 会 使 他 们 失 去 听 众 但 我 们 必 须 掌 握 通 往 未 来 的 具 体 过 程 的 相 关 知 识, 将 它 引 导 入 一 个 令 人 愉 快 的 区 域, 如 果 我 们 不 加 引 导, 就 会 使 它 驶 入 危 险 关 键 的 挑 战 不 是 预 言 人 工 智 能 会 动 用 机 器 人 军 队 进 攻 人 类, 或 是 发 明 一 个 癌 症 疗 法 我 们 的 任 务 甚 至 也 不 是 对 任 意 的 一 个 人 工 智 能 设 计 加 以 推 测 我 们 的 任 务 是 选 择 一 些 特 定 的 强 大 的 优 化 过 程 加 以 实 现, 并 且 我 们 能 够 合 理 断 定 那 些 过 程 是 有 益 的 我 强 烈 呼 吁 我 的 读 者 不 要 有 这 样 的 先 入 之 见 : 认 为 一 个 完 全 通 用 的 优 化 过 程 必 然 是 友 好 的 自 然 选 择 不 是 友 好 的, 但 它 既 不 恨 你, 也 不 会 置 你 不 顾 进 化 不 会 拟 人, 它 不 会 像 你 一 样 运 作 许 多 60 年 代 早 期 的 生 物 学 家 期 望 进 化 会 完 成 所 有 美 妙 的 事 情, 他 们 还 对 进 化 为 什 么 要 那 么 做 寻 找 各 种 详 细 的 理 由 他 们 以 失 望 告 终, 因 为 进 化 本 身 并 不 是 从 要 使 人 类 愉 快 的 目 标 出 发, 进 而 通 过 选 择 压 力 使 产 生 美 好 结 果 的 精 细 方 法 合 理 化 因 此 自 然 界 实 际 发 生 的 事 件 的 原 由 与 60 年 代 早 期 生 物 学 家 们 的 想 法 是 不 同 的, 故 预 测 与 现 实 产 生 了 分 歧 一 厢 情 愿 的 空 想 会 填 充 细 节, 限 制 预 测, 因 而 牺 牲 了 实 际 可 能 性 一 个 希 望 桥 不 会 倒 塌 的 工 程 师 会 怎 么 说? 工 程 师 应 该 声 称 一 般 情 况 下 桥 都 不 会 塌 吗? 然 而 自 然 本 身 不 会 给 出 桥 不 塌 的 理 由, 是 土 木 工 程 师 在 特 定 的 知 识 指 导 下 通 过 特 别 的 选 择 克 服 了 似 乎 不 可 能 克 服 的 困 难 一 个 土 木 工 程 师 从 设 想 要 造 一 座 桥 出 发 ; 在 严 格 的 理 论 指 导 下 选 择 一 种 可 以 承 载 车 辆 的 桥 的 设 计 ; 进 而 在 真 实 世 界 里 造 出 一 个 反 应 该 经 过 仔 细 计 算 的 设 计 的 桥 梁 ; 因 此 那 个 真 实 世 界 中 的 桥 梁 结 构 能 够 承 受 车 重 由 此 达 到 了 预 期 结 果 与 实 际 结 果 的 和 谐 统 一 5: 友 好 人 工 智 能 如 果 人 们 知 道 该 如 何 选 择 一 个 达 到 某 种 特 定 目 标 的 优 化 过 程 并 加 以 实 现 就 太 好 了

10 或 通 俗 地 说, 如 果 我 们 知 道 怎 样 造 一 个 美 好 的 人 工 智 能 就 太 好 了 要 描 述 迎 接 该 挑 战 所 需 的 知 识 领 域, 我 提 议 使 用 友 好 人 工 智 能 一 词 除 了 指 代 技 术 本 身 以 外, 友 好 人 工 智 能 还 可 以 指 代 技 术 的 产 物 一 个 源 自 特 定 动 机 的 人 工 智 能 在 这 两 种 情 况 下 我 提 及 友 好 一 词 时, 我 都 将 首 字 母 大 写 以 与 直 观 上 理 解 的 友 好 的 相 区 别 我 遇 到 的 一 个 常 见 反 应 是 人 们 会 立 即 宣 称 友 好 人 工 智 能 是 不 可 能 的, 因 为 任 何 足 够 强 大 的 人 工 智 能 都 会 修 改 它 自 身 以 打 破 我 们 对 于 它 友 好 性 的 限 制 首 先 你 需 要 注 意 的 错 误 是 大 蛋 糕 谬 误 一 个 可 以 自 由 访 问 其 自 身 源 代 码 的 人 工 智 能, 原 则 上 说, 具 有 修 改 它 自 己 的 优 化 目 标 的 能 力 但 这 并 不 意 味 着 它 有 修 改 它 自 己 动 机 的 意 图 我 不 会 故 意 去 吞 食 一 个 让 我 享 受 杀 人 乐 趣 的 药 丸, 因 为 当 前 我 不 希 望 我 们 人 类 会 灭 亡 但 是, 如 果 我 试 着 修 改 自 己, 而 犯 了 错 误 怎 么 办? 当 计 算 机 工 程 师 检 验 芯 片 有 效 性 时 要 检 验 一 个 有 1.55 亿 个 晶 体 管 组 成 而 事 后 不 能 打 补 丁 的 芯 片 可 不 是 件 容 易 的 事 工 程 师 使 用 人 工 指 导 的, 机 器 执 行 的 程 序 化 校 验 一 个 公 式 化 的 数 学 校 验 的 美 妙 之 处 是 验 证 一 千 万 步 和 验 证 十 步 是 同 样 可 靠 的 但 是 人 类 可 不 适 宜 亲 自 去 审 核 传 说 中 的 一 千 万 步 ; 我 们 太 容 易 犯 错 了 并 且 目 前 的 定 理 证 明 技 术 还 不 足 以 聪 明 到 自 行 设 计 并 验 证 一 整 片 计 算 机 芯 片 当 前 的 算 法 在 搜 索 空 间 中 以 指 数 爆 炸 级 方 式 运 算 人 类 数 学 家 能 证 明 的 定 理 远 比 当 代 定 理 证 明 机 器 可 处 理 的 要 复 杂 得 多, 而 且 不 会 引 起 指 数 爆 炸 但 是 人 类 的 数 学 是 非 正 式 和 不 可 靠 的 ; 间 或 会 有 人 发 现 以 往 已 被 接 受 的 非 正 式 证 明 中 的 错 误 解 决 办 法 就 是 人 类 工 程 师 在 每 个 中 间 步 骤 上 指 引 一 个 定 理 证 明 机 器 人 类 选 择 下 一 个 辅 助 定 理, 复 杂 的 定 理 证 明 机 器 产 生 正 式 的 证 明, 再 由 一 个 简 单 的 校 验 器 加 以 验 证 那 就 是 当 代 工 程 师 能 够 制 造 出 有 1.55 亿 个 独 立 组 件 的 可 靠 机 械 的 原 因 验 证 一 个 计 算 机 芯 片 正 确 有 效 需 要 人 的 智 能 与 计 算 机 算 法 的 协 同 合 作, 由 于 目 前 它 们 任 何 一 者 本 身 都 无 法 独 自 胜 任 也 许 一 个 真 正 的 人 工 智 能 可 以 用 类 似 的 兼 具 两 种 能 力 的 方 法 来 修 改 自 己 的 源 码 它 既 能 发 明 和 设 计 不 受 指 数 爆 炸 困 扰 的 大 型 复 杂 算 法, 而 又 能 极 其 精 确 可 靠 地 验 证 它 的 每 一 个 步 骤 这 是 使 真 正 的 人 工 智 能 在 追 逐 目 标 过 程 中 仍 保 持 稳 定 状 态 的 一 条 途 径, 即 使 它 需 要 进 行 大 量 自 我 修 改 本 文 将 不 对 上 述 的 想 法 做 详 细 展 开 ( 相 关 概 念 可 以 参 考 施 米 德 胡 贝 2003 年 文 献 ) 但 是 我 们 在 宣 称 一 件 具 有 挑 战 性 的 事 物 不 可 能 实 现 之 前, 必 须 详 尽 考 察 当 前 已 有 的 最 先 进 的 技 术 尤 其 是 当 结 果 可 能 会 带 来 巨 大 风 险 时 如 果 在 没 有 经 过 仔 细 研 究 和 给 创 造 性 以 一 试 身 手 的 机 会 前, 宣 布 某 一 挑 战 是 无 法 战 胜 的, 就 是 对 人 类 天 赋 的 贬 低 说 你 不 可 能 做 到 某 事 的 话 是 武 断 的 说 你 不 可 能 造 出 比 空 气 重 的 飞 行 器, 说 你 不 可 能 从 核 反 应 中 获 得 有 用 的 能 量, 说 你 不 可 能 飞 向 月 球 说 那 样 的 话 太 过 宽 泛, 把 任 何 一 个 人 所 能 想 到 的 每 一 个 解 决 问 题 的 可 能 性 给 完 全 抹 杀 了 只 要 一 个 反 例 就 能 推 翻 一 个 广 谱 定 论 说 友 好 人 工 智 能 理 论 上 不 可 能 这 句

11 话, 是 冒 失 地 否 定 了 每 一 个 可 能 的 智 力 设 计 以 及 每 一 种 可 能 的 优 化 过 程 包 括 了 也 具 有 智 力 的 人 类, 他 们 中 的 一 些 是 友 善 的 并 且 希 望 自 己 变 得 更 为 友 善 此 时 此 刻, 有 无 数 的 模 糊 不 清 的 各 种 理 由 认 为 友 好 人 工 智 能 非 人 力 所 及, 或 是 即 便 问 题 是 可 以 解 决 的, 也 没 有 人 能 在 可 预 见 到 的 时 间 内 解 决 它, 但 是 我 们 不 应 过 早 就 把 这 个 难 题 一 笔 勾 销, 特 别 是 考 虑 到 它 可 能 的 风 险 6: 技 术 失 败 与 哲 学 失 败 博 斯 特 罗 姆 (2001 年 ) 将 一 个 生 存 灾 难 定 义 为 一 次 可 以 永 久 灭 绝 地 球 上 所 有 智 慧 生 命 或 是 所 有 产 生 智 慧 生 命 潜 在 可 能 性 的 大 灾 难 我 们 可 以 粗 略 地 将 导 致 期 望 中 的 友 好 人 工 智 能 失 败 的 潜 在 因 素 分 为 两 类, 技 术 失 败 与 哲 学 失 败 技 术 失 败 指 的 是 当 你 造 了 一 个 人 工 智 能 而 它 却 不 按 你 预 期 的 方 式 运 作 你 没 能 理 解 你 自 己 代 码 的 真 正 功 能 哲 学 失 败 指 的 是 试 图 制 造 错 误 的 东 西, 以 至 于 即 使 你 成 功 了, 仍 然 不 能 帮 助 他 人 或 对 人 类 有 益 毋 庸 赘 述, 这 两 种 错 误 并 非 互 相 排 斥 两 者 之 间 的 边 界 是 细 微 的, 因 为 大 多 数 哲 学 失 败 用 技 术 知 识 来 解 释 都 会 容 易 得 多 理 论 上 你 应 该 先 说 明 白 你 想 要 什 么, 再 弄 清 楚 怎 么 得 到 它, 而 实 际 上 要 想 弄 清 你 想 要 什 么 往 往 需 要 对 可 实 现 它 的 技 术 有 深 刻 的 理 解 6.1: 一 个 哲 学 失 败 的 例 子 19 世 纪 晚 期, 许 多 聪 慧 而 诚 实 的 人 提 倡 共 产 主 义, 他 们 都 是 出 自 善 意 首 先 发 明 传 播 和 吸 收 共 产 主 义 文 化 基 因 的 人, 从 冷 静 的 历 史 观 看 来, 是 理 想 主 义 者 第 一 批 的 共 产 主 义 者 没 有 苏 联 的 史 例 来 警 告 他 们 在 当 时 的 情 况 下, 没 有 事 后 之 见, 共 产 主 义 听 上 去 一 定 是 一 个 很 好 的 想 法 在 革 命 之 后, 当 共 产 主 义 者 当 权 并 被 权 力 腐 蚀 时, 其 它 的 企 图 也 乘 虚 而 入 ; 但 这 些 本 身 不 是 最 早 的 理 想 主 义 者 所 期 望 的, 不 管 它 们 的 发 生 是 多 么 容 易 被 预 期 到 重 要 的 是 我 们 要 明 白 大 灾 难 的 始 作 俑 者 并 不 一 定 是 邪 恶 的, 甚 至 也 不 是 愚 蠢 至 极 如 果 我 们 将 每 一 个 悲 剧 都 归 咎 于 邪 恶 或 愚 昧, 我 们 就 会 审 视 自 己, 自 以 为 既 不 邪 恶 也 不 愚 蠢, 并 说 道 : 那 永 远 不 会 发 生 在 我 们 身 上 基 于 对 他 们 可 能 的 革 命 成 果 经 验 上 的 判 断, 早 期 的 共 产 主 义 革 命 家 期 望 发 生 的 事 情 是 人 们 的 生 活 会 得 到 改 善 : 劳 动 者 不 必 再 承 受 长 时 间 的 繁 重 的 却 报 酬 极 少 的 劳 动 客 气 一 点 说, 结 果 却 并 非 是 这 样 但 是 早 先 的 共 产 主 义 者 预 期 将 会 发 生 的 结 果, 和 其 它 政 治 体 系 对 它 们 各 自 偏 好 的 政 治 系 统 的 基 于 经 验 的 结 果 预 期 也 没 有 太 多 的 不 同 他 们 都 以 为 结 果 会 让 人 民 幸 福 他 们 错 了 现 在 假 设 有 人 试 图 编 写 一 个 友 好 的 人 工 智 能 来 实 现 共 产 主 义, 或 自 由 主 义, 或 无 政 府 主 义, 或 其 它 什 么 政 治 体 系, 并 怀 着 给 人 类 带 来 乌 托 邦 的 美 好 愿 望 人 们 最 喜 爱 的 政 治 系 统 往 往 能 激 起 阳 光 般 灼 热 的 积 极 情 绪, 所 以 对 于 它 的 提 倡 者 来 说 那 个 提 议 听 上 去 实 在 是 个 好 主 意

12 我 们 可 以 从 道 德 和 伦 理 的 角 度 来 观 察 编 程 者 的 失 败 原 因 说 那 是 由 他 们 的 过 度 自 信, 没 有 考 虑 到 自 己 可 能 犯 错, 拒 绝 考 虑 共 产 主 义 自 始 至 终 都 可 能 是 一 个 错 误 的 可 能 性 但 从 贝 叶 斯 决 策 理 论 的 角 度, 对 这 个 问 题 有 一 个 技 术 上 的 补 充 观 点 从 抉 择 理 论 上 看, 选 择 共 产 主 义 是 一 种 经 验 信 仰 与 价 值 评 判 相 结 合 的 产 物 其 经 验 信 仰 就 是 一 旦 共 产 主 义 得 以 实 现, 就 会 有 一 个 或 一 类 结 果 : 人 们 更 加 快 乐, 工 作 时 间 更 短, 获 得 更 大 的 物 质 财 富 这 完 全 是 一 个 基 于 经 验 的 预 测 ; 即 使 快 乐 在 某 种 程 度 上 是 大 脑 状 态 的 一 个 真 实 属 性, 尽 管 它 有 点 难 于 衡 量 如 果 你 实 现 了 共 产 主 义, 这 种 结 果 要 么 发 生, 要 么 不 发 生 价 值 评 判 是 指 这 个 结 果 与 当 前 情 形 相 当 或 是 更 为 令 人 满 意 对 于 一 个 共 产 主 义 系 统 在 真 实 世 界 里 实 际 后 果 的 经 验 信 仰 如 果 改 变 了, 那 么 决 策 也 会 相 应 发 生 变 化 我 们 希 望 一 个 真 正 的 人 工 智 能, 一 个 通 用 人 工 智 能, 有 能 力 改 变 它 的 经 验 信 仰 ( 或 者 它 的 概 率 世 界 模 型 等 等 ) 如 果 由 于 某 种 原 因 查 尔 斯 巴 贝 齐 在 尼 古 拉 斯 哥 白 尼 之 前 诞 生, 计 算 机 在 望 远 镜 之 前 被 发 明, 并 且 当 时 成 功 地 创 造 出 了 通 用 人 工 智 能, 那 个 人 工 智 能 并 不 会 一 直 相 信 太 阳 绕 着 地 球 转 那 个 人 工 智 能 也 许 可 以 超 越 它 的 缔 造 者 的 知 识 误 区, 鉴 于 编 写 该 人 工 智 能 的 程 序 员 对 推 理 远 比 天 文 学 擅 长 要 造 一 个 发 现 行 星 运 动 轨 迹 的 人 工 智 能, 程 序 员 不 用 知 道 牛 顿 力 学 所 涉 及 的 数 学 知 识, 他 只 需 知 道 贝 叶 斯 概 率 定 理 所 涉 及 的 数 学 编 写 一 个 实 现 共 产 主 义 或 任 何 其 它 政 治 系 统 的 人 工 智 能 的 可 笑 之 处 在 于, 你 是 在 编 写 手 段 而 不 是 目 的 你 是 在 编 写 一 个 一 成 不 变 的 决 定, 在 获 得 了 关 于 共 产 主 义 后 果 的 进 一 步 的 经 验 知 识 后 也 不 对 该 决 定 重 新 评 估 你 是 在 给 人 工 智 能 一 个 固 定 的 决 定 而 且 不 告 诉 它 如 何 在 一 个 更 高 的 智 慧 水 平 上, 重 新 计 算 产 生 那 个 决 定 的 不 可 靠 的 过 程 如 果 我 和 一 个 比 我 强 大 的 对 手 下 棋, 我 将 无 法 准 确 预 测 对 手 的 行 为 - 否 则 我 就 至 少 是 和 他 一 样 强 了 但 我 能 预 测 最 后 的 结 果, 那 就 是 他 会 赢 我 知 道 当 我 的 对 手 以 获 胜 为 目 标 的 情 况 下 可 能 的 一 些 结 果, 那 使 我 推 测 他 会 获 胜, 尽 管 我 不 知 道 中 间 步 骤 当 我 充 分 发 挥 创 造 性 的 时 候, 也 即 当 我 的 行 为 最 难 预 测 时, 对 我 行 为 的 结 果 却 是 最 容 易 预 测 的 ( 前 提 是 你 知 道 并 理 解 我 的 目 标!) 如 果 我 想 要 一 个 强 过 人 类 的 棋 手, 我 必 须 编 写 一 个 搜 索 器 搜 寻 可 以 获 胜 的 棋 子 移 动 方 案 我 不 能 编 写 一 个 特 定 的 移 动 方 案, 否 则 编 出 来 的 棋 手 就 不 会 比 我 高 明 当 我 发 起 搜 索 时, 我 就 牺 牲 了 事 先 预 测 正 确 答 案 的 能 力 要 找 到 一 个 真 正 完 美 的 答 案 你 必 须 牺 牲 你 预 测 答 案 的 能 力, 但 别 丢 了 你 辨 别 什 么 是 问 题 的 能 力 直 接 去 编 写 共 产 主 义 的 胡 涂 之 举, 应 该 不 会 发 生 在 一 个 理 解 决 策 理 论 的 通 用 人 工 智 能 的 程 序 员 身 上 我 称 它 为 哲 学 失 败, 但 它 是 一 个 由 技 术 知 识 缺 乏 引 起 的 哲 学 失 败 6.2: 一 个 技 术 失 败 的 例 子 对 于 智 能 机 器 的 行 为 我 们 不 应 制 定 规 则 加 以 限 制, 而 是 应 该 赋 予 智 能 机 器 情 感,

13 让 情 感 引 导 它 们 对 行 为 的 学 习 他 们 应 该 想 让 我 们 愉 快 和 繁 荣, 那 是 我 们 称 之 为 喜 爱 的 情 感 我 们 可 以 设 计 智 能 机 器 以 使 它 们 最 基 本 的, 与 生 俱 来 的 情 感 就 是 对 人 类 无 条 件 的 喜 爱 首 先 我 们 可 以 造 一 些 相 对 简 单 的 机 器, 它 们 能 够 学 习 从 人 类 的 面 部 表 情 声 音 语 气 以 及 肢 体 语 言 识 别 出 人 们 是 快 乐 还 是 不 快 乐 接 着 我 们 可 以 将 这 些 学 习 结 果 作 为 先 天 的 感 情 观 固 化 到 更 为 复 杂 的 智 能 机 器 中, 它 们 会 增 强 使 我 们 快 乐 的 行 为 而 减 弱 使 我 们 不 快 乐 的 行 为 机 器 可 以 学 习 算 法 对 未 来 作 近 似 地 预 测, 例 如 投 资 者 当 前 使 用 学 习 机 预 测 证 券 价 格 因 此 我 们 可 以 编 程 使 智 能 机 器 学 习 预 测 未 来 人 类 的 快 乐 程 度, 并 用 这 些 预 测 来 作 为 它 们 的 情 感 价 值 -- 比 尔 希 巴 德 (2001), 超 级 智 能 机 器 美 军 曾 经 想 用 神 经 网 络 来 自 动 检 测 敌 人 的 伪 装 坦 克 研 究 人 员 用 50 张 在 树 丛 中 的 伪 装 坦 克 照 片 和 50 张 没 有 坦 克 的 树 丛 照 片 来 训 练 一 个 神 经 网 络 运 用 监 督 式 学 习 的 标 准 技 术, 研 究 人 员 使 神 经 网 络 通 过 学 习 达 到 了 稳 定 的 网 络 权 重, 在 该 权 重 参 数 下 网 络 能 够 正 确 识 别 训 练 组 的 照 片 集, 对 50 张 伪 装 坦 克 照 片 输 出 是, 而 对 50 张 丛 林 照 片 输 出 否 但 这 并 未 确 保, 甚 至 无 法 暗 示 一 张 新 的 照 片 是 否 能 被 正 确 识 别 这 个 神 经 网 络 可 能 只 是 学 了 100 个 特 例 而 未 能 将 学 习 结 果 泛 化 到 任 何 一 个 新 的 实 例 庆 幸 的 是, 研 究 者 最 初 准 备 了 200 张 照 片,100 张 坦 克 的 和 100 张 树 林 的 他 们 只 用 了 其 中 各 50 张 作 为 训 练 组 研 究 者 于 是 用 神 经 网 络 识 别 剩 下 的 100 张, 在 没 有 进 一 步 训 练 的 情 况 下 网 络 正 确 识 别 了 所 有 100 张 照 片 学 习 被 证 实 成 功 了! 研 究 者 将 完 成 的 工 作 交 给 五 角 大 楼, 很 快 就 被 退 了 回 来, 对 方 抱 怨 说 用 他 们 自 己 的 测 试 案 例 该 神 经 网 络 的 表 现 与 随 机 辨 别 照 片 相 差 无 几 结 果 证 明 在 研 究 者 的 资 料 集 中, 伪 装 坦 克 的 照 片 是 在 阴 天 拍 的, 而 丛 林 照 片 是 在 晴 天 拍 的 神 经 网 络 学 习 了 识 别 阴 天 和 晴 天, 而 不 是 分 辨 伪 装 坦 克 与 空 的 树 林 一 个 技 术 失 败 发 生 在 代 码 没 有 完 成 你 预 想 的 功 能, 尽 管 它 忠 实 地 按 照 你 编 写 的 步 骤 执 行 了 同 一 批 数 据 可 以 装 填 不 同 的 模 型 假 设 我 们 训 练 一 个 神 经 网 络 让 它 识 别 微 笑 的 脸 和 皱 眉 的 脸 网 络 会 将 一 小 张 微 笑 的 照 片 与 微 笑 人 脸 归 入 同 一 个 吸 引 子 吗? 如 果 一 个 人 工 智 能 固 化 具 有 希 巴 德 (2001) 提 到 的 超 级 智 慧 力 量 的 代 码 银 河 系 最 终 是 否 会 被 铺 满 微 笑 面 容 的 小 分 子 照 片? 这 种 失 败 特 别 危 险, 因 为 它 表 现 出 在 一 个 特 定 的 环 境 中 能 正 常 工 作, 而 环 境 一 变 就 不 再 适 用 坦 克 识 别 器 故 事 中 的 研 究 者 调 节 他 们 的 神 经 网 络 直 到 它 能 正 确 装 载 训 练 数 据, 接 着 又 用 另 外 的 数 据 加 以 证 实 ( 没 有 进 一 步 对 网 络 进 行 调 节 ) 不 幸 的 是, 训 练 组 和 验 证 组 的 数 据 都 共 享 一 个 在 开 发 神 经 网 络 时 对 所 有 数 据 成 立 的 假 设, 而 该 假 设 在 神 经 网 络 真 正 需 要 派 上 用 处 的 真 实 世 界 环 境 中 却 不 成 立 在 坦 克 识 别 器 的 故 事 里, 那 个 假 设 就 是 坦 克 的 照 片 都 是 在 阴 天 拍 的 假 设 我 们 希 望 开 发 一 个 功 能 持 续 增 加 的 人 工 智 能 它 具 有 一 个 发 育 阶 段, 那 时 人 类 工 程 师 比 它 更 强 大 不 是 指 对 它 的 电 力 供 应 的 物 理 控 制, 而 是 指 人 类 程 序 员 比 它 更 聪 明, 更 富 创 造 性, 更 狡 猾 在 发 育 阶 段 我 们 假 设 程 序 员 有 能 力 改 变 这 个

14 人 工 智 能 的 源 码 而 无 需 经 过 它 的 同 意 然 而, 该 人 工 智 能 也 想 拥 有 一 个 后 发 育 阶 段, 包 括, 在 希 巴 德 场 景 里 的, 超 人 类 智 能 一 个 超 人 类 智 能 的 人 工 智 能 当 然 不 会 让 人 不 经 它 同 意 就 修 改 源 码 到 那 时 我 们 只 能 指 望 之 前 安 置 的 目 标 系 统 能 正 常 发 挥 功 能, 因 为 那 时 的 人 工 智 能 以 我 们 完 全 无 法 预 料 的 方 式 运 行, 它 可 能 会 主 动 抵 制 我 们 更 正 它 的 企 图 而 且, 如 果 它 比 人 类 聪 明 的 话, 多 半 它 会 赢 通 过 提 供 目 标 系 统 来 训 练 神 经 网 络 以 达 到 控 制 一 个 不 断 成 长 的 人 工 智 能 的 尝 试 所 面 临 的 问 题 是, 在 人 工 智 能 的 发 育 期 和 后 发 育 期 有 一 个 巨 大 的 环 境 改 变 在 发 育 期, 人 工 智 能 或 许 只 能 按 照 制 造 者 的 意 愿, 通 过 解 决 人 类 提 供 的 任 务, 产 生 归 入 微 笑 人 脸 一 类 的 刺 激 设 想 未 来 当 该 人 工 智 能 达 到 超 人 智 能 并 造 出 它 自 己 的 纳 米 技 术 架 构, 它 或 许 会 通 过 将 银 河 系 铺 满 微 小 笑 脸 来 产 生 同 样 归 入 微 笑 笑 脸 吸 引 子 一 类 的 刺 激 因 此 这 个 人 工 智 能 在 发 育 阶 段 一 切 正 常, 而 当 它 变 得 比 程 序 员 更 强 大 时 却 会 造 成 灾 难 性 的 后 果 (!) 一 个 很 诱 人 的 想 法 是 : 但 是 那 个 人 工 智 能 一 定 明 白 那 不 是 我 们 的 意 思? 可 是 相 应 的 源 代 码 并 未 交 给 它, 让 它 察 看 是 否 正 确, 如 果 不 对 就 将 其 退 回 源 码 就 是 它 本 身 也 许 通 过 足 够 的 努 力 和 理 解 我 们 能 写 出 关 心 我 们 是 否 写 正 确 的 代 码 传 说 中 的 DWIM 指 令, 即 程 序 员 们 所 指 的 能 自 动 弥 补 错 误 的 计 算 机 指 令 ( 雷 蒙 德 2003) 但 是 编 写 一 个 DWIM 动 态 程 序 需 要 付 出 艰 苦 努 力, 而 在 希 巴 德 的 提 议 中 也 没 提 到 要 设 计 一 个 按 照 我 们 的 意 愿 而 不 是 按 照 我 们 所 说 的 去 做 的 人 工 智 能 当 代 的 芯 片 不 会 DWIM 它 的 代 码 ; 这 不 是 一 个 天 然 的 属 性 如 果 你 把 DWIM 本 身 给 弄 乱 了, 你 将 为 此 付 出 代 价 举 个 例 子, 假 设 DWIM 被 定 义 为 通 过 代 码 来 最 大 化 程 序 员 的 满 意 度 ; 当 那 段 代 码 作 为 超 级 智 慧 被 运 行 时, 它 可 能 会 重 写 程 序 员 的 大 脑 以 使 后 者 对 代 码 达 到 最 大 程 度 的 满 意 我 不 是 说 这 不 可 避 免 ; 我 只 是 指 出 能 自 动 弥 补 错 误 的 按 照 意 愿 执 行 的 计 算 机 指 令 是 实 现 友 好 人 工 智 能 的 一 个 主 要 的, 不 可 忽 视 的 技 术 挑 战 7: 智 力 增 长 的 速 率 从 生 存 危 机 的 角 度 看, 人 工 智 能 的 一 个 关 键 问 题 是 它 的 智 力 可 能 以 极 快 的 速 度 增 长 怀 疑 有 这 种 可 能 性 的 一 个 明 显 的 原 因 是 递 归 自 我 改 进 机 制 的 存 在 ( 古 德 1965) 人 工 智 能 会 变 得 越 来 越 聪 明, 聪 明 到 可 以 自 己 编 写 它 的 内 核 认 知 函 数, 由 此 人 工 智 能 通 过 改 写 已 有 的 认 知 功 能 而 使 它 工 作 得 更 好, 进 而 使 自 己 更 加 聪 明, 又 能 更 好 地 改 写 自 己, 而 取 得 更 大 的 进 步 从 严 格 意 义 上 说 人 类 不 是 递 归 地 进 行 自 我 改 进 在 有 限 的 范 围 里, 我 们 能 使 自 己 进 步 : 我 们 学 习, 实 践, 我 们 磨 砺 自 己 的 技 能 与 知 识 在 有 限 的 程 度 上, 这 些 自 我 改 进 使 我 们 的 能 力 有 所 长 进 我 们 作 出 的 新 发 现 能 增 加 自 己 创 造 新 发 现 的 本 领 在 这 种 意 义 上 说, 知 识 生 产 知 识 但 是 仍 然 有 一 个 底 层 的 方 面 我 们 没 有 触 及 : 我 们 没 有 改 写 我 们 大 脑 的 神 经 元 连 接 归 根 结 底, 大 脑 是 探 索 的 源 头, 而 我 们 今

15 天 的 大 脑 和 一 万 年 前 却 基 本 是 一 样 的 类 似 的, 自 然 选 择 改 进 生 物, 但 自 然 选 择 的 过 程 本 身 却 不 会 自 我 改 进 起 码 从 严 格 意 义 上 说 不 会 适 应 性 能 够 为 更 大 的 适 应 性 打 开 道 路, 从 这 种 意 义 上 说, 适 应 性 产 生 适 应 性 但 是 即 使 把 基 因 库 给 煮 沸 了, 那 也 得 下 面 有 个 加 热 器 突 变 重 组 以 及 选 择 的 过 程, 它 们 是 不 会 自 我 重 构 的 一 些 罕 见 的 创 新 增 加 了 进 化 本 身 的 速 率, 例 如 有 性 繁 殖 的 出 现 但 即 使 是 性 也 没 能 改 变 进 化 的 本 质 特 性 : 进 化 过 程 缺 乏 抽 象 智 慧, 它 依 赖 于 随 机 突 变, 它 是 盲 目 和 渐 进 的, 它 关 注 等 位 基 因 频 率 同 样 的, 即 使 科 学 的 诞 生 也 没 有 改 变 人 类 大 脑 的 本 质 特 性 : 它 的 边 缘 系 统 内 核, 它 的 大 脑 皮 层, 它 的 前 额 叶 自 我 模 型, 它 的 200 赫 兹 特 征 速 率 一 个 人 工 智 能 可 以 从 零 开 始 改 写 它 的 代 码 它 可 以 改 变 自 己 底 层 的 优 化 动 态 方 程 这 样 的 优 化 过 程 盘 旋 累 积 的 能 力 比 进 化 适 应 性 的 积 累 或 人 类 知 识 的 积 累 要 强 大 许 多 我 们 想 说 的 最 最 重 要 的 一 点 就 是 人 工 智 能 可 能 会 达 到 某 个 关 键 的 临 界 点, 之 后 在 智 力 上 出 现 飞 跃 常 有 人 质 疑 这 种 情 景 也 即 认 为 古 德 (1965) 称 之 为 智 力 爆 炸 的 现 象 不 会 出 现 因 为 人 工 智 能 的 进 展 一 向 以 缓 慢 着 称 在 此 参 考 一 个 略 有 相 似 性 的 历 史 案 例 可 能 是 有 帮 助 的 ( 下 文 主 要 引 自 罗 德 斯 1986 文 ) 1933 年, 欧 内 斯 特 卢 瑟 福 阁 下 说 没 有 人 能 从 分 裂 原 子 中 获 得 能 源 : 任 何 人 说 可 以 在 原 子 转 换 中 寻 找 能 源 都 是 一 派 胡 言 当 时 只 有 实 验 室 里 可 以 完 成 少 量 核 裂 变 转 眼 到 了 1942 年, 在 芝 加 哥 大 学 斯 塔 格 田 径 场 下 面 的 壁 球 室 里, 物 理 学 家 正 在 用 交 错 层 迭 的 石 墨 和 铀 造 一 个 形 如 巨 大 门 把 手 的 物 体, 试 图 开 始 第 一 次 自 持 式 核 反 应 项 目 的 负 责 人 是 恩 里 克 费 米 反 应 堆 的 关 键 数 值 是 有 效 中 子 增 值 因 子 k 当 k 小 于 1 时, 反 应 堆 处 于 临 界 点 之 下 当 k>=1 时, 反 应 堆 应 该 维 持 临 界 反 应 费 米 的 计 算 显 示 在 第 56 和 57 层 之 间 反 应 堆 会 达 到 k= 年 12 月 1 日 夜 间, 赫 伯 特 安 德 森 领 导 的 一 个 工 作 小 组 完 成 了 第 57 层 此 时 由 控 制 杆, 即 中 子 吸 收 镉 膜 包 裹 的 木 条, 防 止 反 应 堆 达 到 临 界 状 态 安 德 森 移 开 所 有 的 控 制 杆, 只 留 下 了 一 根, 接 着 他 测 量 了 反 应 堆 的 辐 射 量, 证 实 该 反 应 堆 可 于 次 日 进 行 链 式 反 应 安 德 森 将 所 有 镉 棒 插 回 原 处, 并 用 挂 锁 将 它 们 固 定, 之 后 他 关 上 壁 球 室 的 门 回 家 了 第 二 天,1942 年 12 月 2 日, 在 气 温 低 于 零 点 的 芝 加 哥 晨 风 中, 费 米 开 始 了 最 后 的 实 验 除 了 一 根 外 所 有 的 控 制 杆 都 被 取 出 在 上 午 10 点 37 分, 费 米 下 令 将 最 后 一 根 杆 取 出 一 半 盖 格 计 数 器 走 得 更 快 了, 图 表 上 的 曲 线 不 断 上 升 不 是 这 儿, 费 米 说, 轨 迹 应 该 在 这 点 达 到 平 衡, 一 边 指 着 图 表 上 的 一 点 几 分 钟 后, 曲 线 到 达 了 他 所 指 的 那 点, 并 不 再 上 升 了 7 分 钟 后, 费 米 下 令 将 控 制 杆 再 拔 出 一 英 尺 辐 射 再 次 上 升, 接 着 又 趋 向 平 稳 控 制 杆 又 被 拔 出 六 英 寸, 又 一 个 六

16 英 寸, 又 一 个 在 11 点 30 分, 缓 慢 上 升 的 曲 线 被 一 阵 巨 大 的 冲 撞 打 断 一 个 紧 急 控 制 杆 被 电 离 箱 触 发 而 启 动, 关 闭 了 反 应 堆, 它 还 没 达 到 临 界 状 态 费 米 冷 静 地 命 令 大 家 去 休 息 吃 午 饭 下 午 2 点 队 伍 再 次 集 合, 取 出 并 锁 住 了 紧 急 控 制 杆, 并 把 控 制 杆 恢 复 到 之 前 的 最 后 状 态 费 米 做 了 一 些 测 量 和 计 算, 接 着 就 开 始 继 续 以 缓 慢 增 量 方 式 移 动 控 制 杆 在 下 午 3 点 02 分, 费 米 指 示 将 控 制 杆 再 多 取 出 十 二 英 寸 这 下 应 该 可 以 了, 费 米 说 现 在 它 会 进 入 自 持 状 态 轨 迹 将 会 持 续 上 升, 不 会 趋 平 赫 伯 特 安 德 森 回 忆 道 ( 引 自 罗 德 斯 1986, 第 440 页 ): 一 开 始 你 能 听 到 中 子 计 数 器 的 声 音, 咔 嗒 咔 嗒 接 着 声 音 越 来 越 快, 不 一 会 儿 它 们 合 为 一 阵 呼 啸 声 ; 计 数 器 不 再 能 跟 上 反 应 速 度 那 时 就 换 成 了 图 形 记 录 器 但 换 好 后, 每 个 人 都 突 然 沉 默 下 来 看 着 记 录 笔 的 不 断 累 积 的 偏 差 那 是 一 种 令 人 敬 畏 的 沉 默 每 个 人 都 明 白 换 计 数 器 的 意 义 ; 我 们 处 在 一 个 高 强 度 的 状 态, 计 数 器 已 无 能 为 力 了 一 次 又 一 次, 记 录 器 的 量 度 不 得 不 改 变 以 适 应 不 断 加 速 的 中 子 强 度 变 化 突 然 费 米 举 起 手 来 反 应 堆 到 了 临 界 状 态, 他 宣 布 在 场 的 人 无 一 反 对 费 米 让 反 应 堆 持 续 反 应 了 28 分 钟, 每 过 两 分 钟 中 子 强 度 就 翻 一 番 第 一 次 临 界 反 应 的 k 值 为 即 使 在 k = 时, 反 应 堆 能 够 得 到 控 制 完 全 是 因 为 铀 裂 变 反 应 中 的 一 些 中 子 发 生 了 延 时 它 们 来 自 裂 变 的 短 时 副 产 物 的 衰 减 在 铀 235 的 每 100 次 裂 变 中,242 个 中 子 几 乎 在 瞬 间 ( 秒 ) 发 射, 平 均 十 秒 后 有 1.58 个 中 子 发 射 因 此 一 个 中 子 的 平 均 寿 命 是 ~0.1 秒, 也 就 是 在 两 分 钟 内 产 生 1200 代, 而 翻 倍 时 间 是 两 分 钟 是 因 为 的 1200 次 方 约 等 于 2 在 没 有 延 时 中 子 的 情 况 下 核 反 应 可 以 达 到 瞬 时 临 界 如 果 费 米 的 反 应 堆 以 k = 达 到 瞬 时 临 界, 那 么 中 子 强 度 每 过 十 分 之 一 秒 就 会 翻 一 番 以 上 故 事 的 第 一 个 寓 意 是 : 混 淆 人 工 智 能 研 究 和 一 个 真 正 人 工 智 能 的 速 度 就 像 是 混 淆 了 物 理 学 研 究 和 核 反 应 的 速 度, 它 将 地 图 与 领 土 混 淆 了 建 第 一 个 核 反 应 堆 花 了 几 年 的 时 间, 由 一 小 组 鲜 为 人 知 的 物 理 学 家 完 成 但 是, 一 旦 建 好, 令 人 关 注 的 事 情 以 核 反 应 而 不 是 人 们 演 说 的 时 间 尺 度 接 踵 而 至 在 原 子 核 领 域, 基 本 相 互 作 用 发 生 的 速 度 比 人 类 神 经 元 发 放 要 迅 速 得 多, 与 晶 体 管 的 速 度 倒 是 差 不 多 另 一 个 寓 意 是, 当 一 个 自 我 完 善 系 统 以 平 均 的 速 度 进 一 步 改 进 时 与 以 平 均 的 速 度 进 一 步 改 进 时 具 有 巨 大 的 差 异 核 反 应 堆 并 非 是 在 物 理 学 家 突 然 加 进 去 许 多 材 料 后 达 到 临 界 阈 值 物 理 学 家 缓 慢 地 平 稳 地 加 入 材 料 尽 管 大 脑 智 慧 做 为 以 往 施 加 之 上 的 优 化 压 力 的 函 数 呈 现 平 滑 的 曲 线, 递 归 自 我 改 善 系 统 的 曲 线 却 可 能 出 现 巨 大 的 跳 跃 人 工 智 能 会 出 现 智 能 飞 跃 的 原 因 不 止 于 此 作 为 自 然 选 择 百 万 年 来 对 于 原 始 人 类 施 加 相 对 稳 定 的 优 化 压 力 的 结 果, 人 类 的 大 脑 和 前 额 叶 逐 渐 扩 展, 内 部 软 件 结 构

17 缓 慢 调 节, 现 代 人 类 的 智 慧 效 率 相 比 古 人 也 呈 现 出 剧 烈 的 跳 跃 几 万 年 前, 人 类 的 智 力 跨 越 了 某 个 阈 值 在 真 实 世 界 里 展 现 出 巨 变 ; 在 进 化 的 一 眨 眼 间, 我 们 从 热 带 草 原 搬 到 了 摩 天 大 厦 中 这 些 都 是 在 一 个 连 续 的 进 化 压 力 下 发 生 自 人 类 诞 生 以 来 进 化 的 优 化 能 力 本 身 并 没 有 发 生 巨 变 底 层 的 脑 结 构 改 变 也 是 连 续 的 我 们 的 颅 容 量 并 没 有 突 然 发 生 两 个 数 量 级 的 增 长 所 以 情 况 可 能 会 是, 即 使 人 工 智 能 由 程 序 员 从 外 部 加 以 精 细 化, 其 有 效 智 能 的 曲 线 仍 会 产 生 跳 跃 式 上 升 或 者 可 能 有 人 编 了 一 个 看 上 去 很 有 希 望 的 人 工 智 能 原 型, 这 个 演 示 原 型 吸 引 了 另 外 的 一 亿 美 元 风 险 投 资, 这 些 钱 被 用 来 购 买 千 倍 的 超 级 计 算 能 力 我 怀 疑 增 加 一 千 倍 的 硬 件 无 法 产 生 一 千 倍 的 有 效 智 力 但 仅 仅 怀 疑 而 没 有 能 力 实 行 分 析 计 算 是 不 可 靠 的 与 黑 猩 猩 相 比, 人 类 拥 有 领 先 三 倍 的 大 脑, 领 先 六 倍 的 前 额 叶, 这 意 味 着 (a) 软 件 比 硬 件 重 要,(b) 相 对 较 小 的 硬 件 升 级 可 以 支 持 较 大 的 软 件 改 进 这 是 另 一 个 值 得 关 注 的 方 面 最 后, 仅 仅 作 为 拟 人 化 的 结 果 人 工 智 能 可 以 实 现 一 次 明 显 的 智 力 飞 跃, 人 们 倾 向 于 认 为 乡 村 傻 瓜 和 爱 因 斯 坦 是 智 力 尺 度 的 两 级, 而 不 是 认 为 他 们 在 普 遍 智 力 的 尺 度 上 是 几 乎 无 法 分 清 的 小 点 所 有 比 一 个 蠢 人 更 蠢 的 事 物 对 我 们 而 言 都 简 单 看 成 是 蠢 货 想 象 人 工 智 能 箭 头 在 智 力 尺 度 上 稳 步 攀 爬, 越 过 老 鼠 和 黑 猩 猩, 它 仍 被 称 为 蠢 货 因 为 它 不 能 说 流 利 的 语 言 或 撰 写 科 学 文 献, 接 着 人 工 智 能 箭 头 在 一 个 月 或 类 似 长 短 的 时 间 内 跨 过 低 于 白 痴 和 超 过 爱 因 斯 坦 之 间 的 小 间 隙 我 并 不 认 为 这 个 特 定 的 情 景 会 发 生, 主 要 是 因 为 我 不 认 为 递 归 自 我 改 进 式 的 人 工 智 能 会 以 线 性 方 式 前 进 但 我 不 是 第 一 个 指 出 人 工 智 能 是 一 个 移 动 目 标 的 人, 只 要 一 个 里 程 碑 得 到 真 正 的 实 现, 它 就 不 再 被 称 为 人 工 智 能 这 只 能 滋 生 拖 延 退 一 步 说, 尽 管 我 们 知 道 ( 在 我 看 来 在 真 实 世 界 中 是 可 能 的 ) 人 工 智 能 有 能 力 实 现 一 个 突 然 的, 急 剧 的, 巨 大 的 智 力 飞 跃 那 接 下 来 又 怎 样 呢? 首 先 最 重 要 的 是, 我 常 常 听 到 一 种 反 应 : 我 们 不 必 担 心 友 好 人 工 智 能 的 事, 因 为 我 们 还 没 有 人 工 智 能, 这 是 误 入 歧 途 或 说 完 全 是 自 杀 我 们 不 能 指 望 人 工 智 能 诞 生 之 前 会 收 到 足 够 提 前 的 警 告 ; 历 史 上 发 生 的 技 术 革 命 通 常 不 会 把 自 己 的 诞 生 电 报 通 知 给 当 时 的 人 们, 所 有 言 论 都 是 事 后 之 见 实 现 友 好 人 工 智 能 的 数 学 知 识 和 技 术 不 会 在 需 要 的 时 候 突 然 出 现 ; 打 下 坚 实 的 基 础 需 要 多 年 的 努 力 并 且 我 们 需 要 在 通 用 人 工 智 能 被 创 造 出 来 之 前 解 决 友 好 人 工 智 能 的 挑 战, 而 不 是 在 它 之 后 ; 我 甚 至 都 应 该 不 需 要 指 出 这 一 点 友 好 人 工 智 能 将 面 临 许 多 困 难, 因 为 人 工 智 能 领 域 本 身 正 处 于 一 个 低 共 识 而 高 混 乱 的 状 态 但 那 并 不 意 味 着 我 们 不 需 要 担 心 友 好 人 工 智 能 那 意 味 着 会 有 困 难 这 两 句 话, 可 悲 的 是, 毫 不 相 关 智 力 飞 跃 的 可 能 性 还 意 味 着 实 现 友 好 人 工 智 能 的 技 术 有 一 个 很 高 的 标 准 该 技 术 不 能 假 设 程 序 员 有 能 力 在 违 抗 人 工 智 能 意 志 的 情 况 下 监 视 它, 改 写 它, 以 优 越 的 军 事 力 量 威 胁 它 ; 该 技 术 也 不 能 假 设 程 序 员 控 制 着 一 个 可 以 被 更 聪 明 的 人 工 智 能 夺 去 的 奖 励 按 钮, 诸 如 此 类 事 实 上 从 一 开 始 就 没 人 能 做 这 些 假 设 必 不 可

18 少 的 保 护 是 有 一 个 不 想 伤 害 你 的 人 工 智 能 没 有 这 个 必 要 条 件, 任 何 辅 助 的 防 御 都 不 能 当 成 是 安 全 的 一 个 搜 索 击 溃 其 自 身 安 全 防 线 方 法 的 系 统 是 没 有 任 何 安 全 性 可 言 的 如 果 一 个 人 工 智 能 在 任 何 情 况 下 伤 害 人 类, 你 一 定 是 在 极 深 的 层 面 上 犯 了 什 么 错, 你 的 基 础 没 打 好 你 正 在 制 造 一 把 猎 枪, 这 把 猎 枪 对 着 你 的 脚, 你 扣 动 了 扳 机 你 创 造 并 发 动 了 一 个 会 搜 索 机 会 伤 害 你 的 认 知 动 态 机 器 那 个 错 误 行 为 来 自 于 它 的 动 态 性 ; 你 应 该 在 编 写 时 使 它 不 要 那 么 做 由 于 几 乎 相 同 的 原 因, 友 好 人 工 智 能 的 程 序 员 应 该 假 设 该 人 工 智 能 对 它 自 身 的 代 码 有 完 全 的 访 问 能 力 如 果 人 工 智 能 想 要 修 改 它 自 己 变 成 不 再 友 好, 那 么 在 它 形 成 那 个 意 图 的 时 候, 人 工 智 能 的 友 好 已 经 失 败 任 何 依 赖 于 人 工 智 能 不 能 修 改 自 身 的 解 决 方 案 一 定 会 在 某 种 程 度 上 被 打 破, 即 使 人 工 智 能 从 来 没 有 修 改 它 自 己, 该 解 决 方 案 也 会 被 打 破 我 不 是 说 这 是 唯 一 的 预 警, 但 却 是 最 重 要 和 不 可 或 缺 的 预 警 : 你 必 须 选 择 一 个 不 会 选 择 伤 害 人 类 的 人 工 智 能 来 实 现 为 了 避 免 大 蛋 糕 谬 误, 我 们 应 该 注 意 到 具 有 自 我 修 改 的 能 力 并 不 意 味 着 它 就 会 选 择 那 么 做 友 好 人 工 智 能 的 一 个 成 功 的 练 习 可 以 是 创 造 一 个 人 工 智 能 具 有 更 快 速 成 长 的 能 力, 但 它 却 选 择 以 一 种 较 慢 且 更 易 控 制 的 曲 线 成 长 即 使 那 样, 在 那 个 人 工 智 能 跨 越 具 备 潜 在 递 归 自 我 改 进 能 力 的 临 界 阈 值 后, 你 仍 然 会 在 一 个 更 加 危 险 许 多 倍 的 状 态 下 操 作 如 果 友 好 性 的 实 现 失 败 了, 人 工 智 能 可 能 会 决 定 以 全 速 奔 赴 自 我 改 进 打 个 比 方 说, 它 会 达 到 瞬 时 临 界 点 我 倾 向 于 假 设 存 在 任 意 大 的 潜 在 智 力 飞 跃, 因 为 (a) 这 是 个 保 守 假 设 ;(b) 它 阻 止 那 些 在 没 有 真 正 理 解 的 情 况 下 就 着 手 创 建 人 工 智 能 的 提 议 ; 以 及 (c) 巨 大 的 潜 在 飞 跃 在 我 看 来 具 有 真 实 世 界 的 可 能 性 假 如 我 遇 到 一 个 领 域, 在 那 里 从 风 险 管 理 角 度 看 假 设 人 工 智 能 以 慢 速 改 进 是 保 守 的, 那 么 如 果 人 工 智 能 在 几 年 或 更 长 的 时 期 滞 留 在 接 近 人 类 智 慧 的 阶 段, 我 也 会 期 望 原 定 计 划 不 会 灾 难 性 地 垮 掉 我 不 愿 赋 予 这 样 一 个 领 域 狭 窄 的 置 信 空 间 8: 硬 件 人 们 倾 向 于 认 为 大 型 计 算 机 是 人 工 智 能 的 促 成 因 素 这 是, 客 气 点 说, 一 个 非 常 有 问 题 的 假 设 外 界 讨 论 人 工 智 能 的 未 来 学 家 提 到 硬 件 进 展 是 因 为 硬 件 的 进 展 最 容 易 度 量 相 对 于 对 智 力 的 理 解 深 度 并 非 是 我 们 对 智 力 的 理 解 没 有 进 展, 只 是 这 种 进 展 不 能 用 简 洁 的 幻 灯 图 表 来 绘 制 对 于 理 解 程 度 的 进 步 很 难 汇 报, 也 因 此 很 少 被 报 告 如 果 我 们 不 去 设 想 满 足 人 工 智 能 需 要 的 最 低 硬 件 配 置, 而 是 去 想 一 下 随 着 硬 件 升 级, 人 工 智 能 所 需 要 的 最 低 的 对 智 力 的 理 解 水 平 会 相 应 降 低 硬 件 越 是 先 进, 所 需 的 理 解 水 平 也 就 越 低 极 端 情 况 就 是 自 然 选 择, 在 无 需 任 何 理 解 的 情 况 下 穷 举 所 有 可 能 的 计 算 力 量 来 创 造 达 到 人 类 相 当 的 智 慧, 在 所 有 计 算 能 力 的 随 机 组 合 中 保 留 合 乎 要 求 的

19 不 断 增 加 的 计 算 能 力 使 得 造 一 个 人 工 智 能 变 得 更 加 容 易, 但 没 有 明 显 的 理 由 表 明 计 算 能 力 的 增 加 会 对 人 工 智 能 的 友 好 性 建 设 带 来 帮 助 增 强 的 计 算 能 力 使 得 使 用 穷 举 法 更 加 简 单 ; 也 使 我 们 更 容 易 地 让 还 不 甚 理 解 的 技 术 组 合 起 作 用 摩 尔 定 理 持 续 地 降 低 我 们 在 缺 乏 对 认 知 的 深 度 理 解 的 条 件 下 建 造 人 工 智 能 的 屏 障 人 工 智 能 和 友 好 人 工 智 能 都 失 败 的 情 形 是 可 以 接 受 的 人 工 智 能 和 友 好 人 工 智 能 都 成 功 的 情 形 也 是 可 以 接 受 的 但 是 人 工 智 能 成 功 而 友 好 人 工 智 能 失 败 的 情 况 是 不 可 接 受 的 而 摩 尔 定 理 恰 恰 使 其 更 容 易 发 生 所 幸 的 是 使 它 更 容 易, 而 不 是 容 易 我 不 认 为 当 人 工 智 能 最 后 被 实 现 时 它 会 是 容 易 的 简 单 的 原 因 是 有 各 派 人 士 会 付 出 巨 大 的 努 力 来 建 造 人 工 智 能, 他 们 中 的 一 个 会 在 人 工 智 能 有 可 能 通 过 巨 大 努 力 建 造 出 来 的 第 一 时 间 获 得 成 功 摩 尔 定 理 是 友 好 人 工 智 能 与 其 它 技 术 之 间 的 相 互 作 用, 这 使 其 它 相 关 技 术 也 引 起 常 被 忽 视 的 生 存 危 机 我 们 可 以 想 象 分 子 纳 米 技 术 由 一 个 温 和 的 多 国 合 作 政 府 财 团 开 发, 他 们 成 功 地 避 免 了 纳 米 技 术 在 物 理 层 面 的 危 险 他 们 直 截 了 当 地 阻 止 意 外 的 复 制 器 外 流, 也 克 服 更 大 的 困 难 构 筑 恶 意 复 制 的 全 球 防 御 体 系 ; 他 们 严 格 限 制 对 纳 米 技 术 基 底 层 的 访 问, 同 时 将 可 配 置 的 纳 米 模 块 分 布 式 存 放, 等 等 ( 参 见 本 卷 菲 尼 克 斯 与 崔 德 相 关 文 章 ) 尽 管 如 此, 纳 米 计 算 机 还 是 变 得 随 处 可 见, 这 或 是 因 为 所 尝 试 的 限 制 被 绕 过 了, 或 是 因 为 没 有 尝 试 进 行 限 制 接 着 就 有 人 穷 举 出 一 个 不 友 好 的 人 工 智 能 ; 由 此 结 束 故 事 这 一 场 景 尤 为 使 人 担 忧, 因 为 具 有 令 人 无 法 置 信 的 强 大 功 能 的 纳 米 计 算 机 很 可 能 是 分 子 纳 米 技 术 一 个 最 先, 最 容 易, 看 上 去 最 安 全 的 应 用 对 超 级 计 算 机 进 行 法 规 控 制 会 怎 样 呢? 我 当 然 不 会 指 望 靠 它 来 阻 止 人 工 智 能 的 开 发 ; 昨 天 的 超 级 计 算 机 是 明 天 的 笔 记 本 计 算 机 针 对 法 规 控 制 提 议 的 标 准 响 应 是 : 当 纳 米 计 算 机 被 宣 布 为 不 合 法, 那 就 只 有 非 法 分 子 才 会 拥 有 纳 米 计 算 机 麻 烦 的 是 要 证 明 减 少 分 布 所 带 来 的 可 能 好 处 会 大 于 不 均 匀 发 布 的 不 可 避 免 的 风 险 就 我 本 人 而 言 我 当 然 不 会 支 持 对 使 用 超 级 计 算 机 进 行 人 工 智 能 研 究 实 行 法 规 上 的 控 制 ; 那 样 做 的 益 处 令 人 怀 疑, 它 将 会 招 致 整 个 人 工 智 能 领 域 的 奋 力 抵 抗 但 即 使 该 提 议 在 不 太 可 能 的 情 况 下 通 过 政 治 管 道 得 到 实 施, 我 也 不 会 花 太 多 功 夫 去 与 之 作 战, 因 为 我 不 期 望 那 些 优 秀 的 科 学 家 们 到 时 需 要 超 级 计 算 机 友 好 人 工 智 能 不 是 一 个 靠 蛮 力 能 解 决 的 问 题 我 能 想 象 法 规 有 效 控 制 着 一 小 部 分 非 常 昂 贵 的 当 前 被 称 为 超 级 计 算 机 的 计 算 资 源 但 是 计 算 机 到 处 都 是, 这 和 核 扩 散 的 问 题 不 同, 后 者 主 要 强 调 的 是 控 制 钚 和 浓 缩 铀 人 工 智 能 的 原 材 料 早 已 遍 布 各 处 那 只 猫 离 开 靴 子 太 远, 它 在 你 的 手 表, 手 机, 和 洗 碗 机 里 这 也 是 人 工 智 能 作 为 一 个 生 存 危 机 不 同 寻 常 和 特 别 的 因 素 我 们 与 危 险 地 带 相 隔, 不 是 介 于 可 见 的 大 型 设 施 如 同 位 素 离 心 机 或 粒 子 加 速 器, 而 仅 仅 由 于 知 识 上 的 空 缺 用 一 个 或 许 过 于 夸 张 的 比 喻, 那 就 像 是 在 里 奥 西 劳 德 想 到 链 式 反 应 之 前, 全 世 界 的 汽 车 和 轮 船 都 以 次 临 界 质 量 的 浓 缩 铀 为 能 源 9: 威 胁 与 希 望

20 明 确 具 体 地 预 测 一 个 善 意 的 人 工 智 能 会 如 何 帮 助 人 类, 或 一 个 恶 意 的 人 工 智 能 会 怎 样 伤 害 人 类 是 一 种 危 险 的 智 力 尝 试 它 有 犯 连 结 谬 误 的 风 险 : 添 加 细 节 必 然 使 整 个 故 事 的 联 合 概 率 减 小, 但 是 人 们 常 常 对 加 有 严 谨 细 节 的 故 事 赋 予 更 高 的 发 生 概 率 ( 参 见 尤 德 科 夫 斯 基 本 卷 有 关 认 知 偏 差 的 章 节 ) 那 样 带 来 风 险 事 实 上 是 必 然 的 即 想 象 的 落 空 ; 与 此 同 时 犯 了 从 能 力 跳 跃 到 动 机 的 大 蛋 糕 谬 误 尽 管 如 此 我 仍 将 试 着 充 实 有 关 威 胁 与 希 望 的 细 节 未 来 一 向 以 完 成 过 去 认 为 不 可 能 的 丰 功 伟 绩 而 着 称 后 代 的 文 明 甚 至 是 打 破 了 以 前 文 明 认 为 的 物 理 规 律 ( 当 然, 是 指 那 些 不 正 确 的 ) 如 果 一 个 公 元 1900 年 的 预 言 更 别 说 是 公 元 1000 年 的 试 图 陈 述 十 亿 年 后 人 类 文 明 力 量 的 上 限, 那 么 其 中 一 些 被 认 为 不 可 能 的 事 物 也 许 不 用 一 个 世 纪 的 时 间 就 被 实 现 了 ; 举 例 来 说, 把 铅 变 成 黄 金 因 为 我 们 记 得 后 来 的 文 明 会 给 先 前 的 文 明 以 惊 奇, 要 说 我 们 不 能 低 估 我 们 曾 孙 子 女 的 无 限 潜 能 已 是 陈 词 滥 调 还 有,20 世 纪,19 世 纪,11 世 纪 的 每 个 人, 都 同 属 人 类 当 我 们 想 象 比 人 类 聪 明 的 人 工 智 能 的 能 力 时, 可 以 将 它 分 为 三 大 类 不 太 现 实 的 隐 喻 : G- 因 子 隐 喻 : 这 个 隐 喻 受 到 人 类 个 体 间 智 力 差 异 的 启 发 人 工 智 能 会 发 明 新 的 技 术 专 利, 发 表 开 创 性 的 研 究 文 章, 从 股 票 市 场 挣 钱, 或 是 领 导 一 个 政 治 实 力 集 团 历 史 隐 喻 : 这 个 是 受 到 人 类 文 明 过 去 与 将 来 之 间 差 异 的 启 发 人 工 智 能 会 迅 速 发 明 崭 新 的 功 能 以 至 于 从 现 在 起 的 一 世 纪 乃 至 一 千 年 内 的 人 类 文 明 都 相 形 见 绌 : 分 子 纳 米 技 术 ; 星 际 旅 行 ; 每 秒 完 成 个 运 算 的 计 算 机 物 种 隐 喻 : 受 到 物 种 间 大 脑 架 构 差 异 的 启 发 人 工 智 能 具 有 魔 法 G- 因 子 隐 喻 看 来 在 流 行 的 未 来 学 家 中 最 常 见 : 当 人 们 想 到 智 力 时, 他 们 想 到 的 是 人 类 中 的 天 才 而 不 是 一 般 人 在 有 关 恶 意 人 工 智 能 的 故 事 里,G- 因 子 隐 喻 导 致 一 个 博 斯 崔 曼 式 好 故 事 : 一 个 强 大 到 足 以 造 成 惊 心 动 魄 紧 张 气 氛 的 敌 人, 但 他 却 不 足 以 强 大 到 顷 刻 间 像 捏 小 虫 般 碾 碎 英 雄, 最 终 是 弱 到 足 以 在 书 的 结 尾 被 打 败 哥 利 亚 与 戴 维 对 决 是 一 个 好 故 事, 但 哥 利 亚 对 抗 一 只 果 蝇 却 不 是 如 果 假 设 在 G- 因 子 隐 喻 里 的 情 形 中, 全 球 风 险 是 相 对 温 和 的 ; 一 个 有 敌 意 的 人 工 智 能 并 不 比 一 个 邪 恶 的 人 类 天 才 更 具 威 胁 力 如 果 我 们 设 想 大 量 的 人 工 智 能 机 器 人, 那 么 我 们 可 以 将 人 工 智 能 部 落 与 人 类 部 落 之 间 的 斗 争 比 喻 为 国 家 之 间 的 冲 突 如 果 人 工 智 能 赢 得 军 事 冲 突 的 胜 利 并 消 灭 了 人 类, 那 便 是 一 个 爆 炸 变 异 ( 博 斯 崔 曼 2001) 式 的 生 存 危 机 如 果 人 工 智 能 部 落 掌 握 了 世 界 经 济 主 权 并 获 得 对 地 球 起 源 的 智 力 生 命 的 命 运 的 有 效 控 制, 但 我 们 对 人 工 智 能 部 落 的 目 标 不 感 兴 趣 或 认 为 它 没 有 意 义, 那 就 是 史 瑞 克, 温 帕 或 克 鲁 其 式 的 生 存 危 机

21 但 是 那 个 人 工 智 能 有 多 大 可 能 跨 越 所 有 的 巨 大 差 距 从 阿 米 巴 虫 到 乡 村 笨 蛋, 接 着 停 在 人 类 天 才 阶 段? 目 前 已 观 察 到 的 神 经 元 发 放 最 快 速 率 为 每 秒 1000 次 ; 最 快 的 神 经 轴 突 传 导 速 率 为 每 秒 150 米, 也 即 光 速 的 50 万 分 之 一 ; 每 次 突 触 运 算 耗 能 约 1 万 5 千 渺 焦 耳, 它 比 计 算 机 在 室 温 下 进 行 不 可 逆 运 算 的 热 力 学 最 小 值 (kt300ln(2) = 渺 焦 耳 每 字 位 ) 多 大 约 一 百 万 倍 物 理 上 说 造 一 个 比 人 脑 快 一 百 万 倍, 体 积 相 当, 无 需 更 低 的 温 度, 或 调 用 可 逆 运 算, 或 量 子 计 算 的 人 造 脑 是 有 可 能 的 如 果 人 脑 智 力 因 此 被 加 速, 那 么 一 年 的 主 观 思 考 将 在 相 当 于 外 部 物 理 世 界 里 31 秒 的 时 间 内 完 成, 而 一 千 年 的 思 考 可 以 在 8 个 半 小 时 内 飞 逝 而 过 温 基 (1993) 把 这 种 加 速 的 大 脑 称 为 弱 超 人 : 一 个 像 人 类 一 样 思 考 而 却 迅 速 许 多 的 大 脑 我 们 假 设 在 人 类 技 术 文 明 高 度 发 达 的 社 会 中, 制 造 极 其 迅 速 的 大 脑 成 为 现 实 一 个 缺 乏 想 象 力 的 说 法 是 : 不 管 高 速 大 脑 想 得 有 多 快, 它 只 能 以 它 的 操 纵 器 的 速 度 来 改 变 世 界 ; 它 不 能 以 比 手 工 操 作 机 械 更 快 的 速 度 运 作 ; 因 而 一 个 高 速 大 脑 并 不 是 什 么 大 威 胁 没 有 什 么 自 然 法 则 规 定 物 理 操 作 必 须 在 秒 级 的 速 度 上 缓 慢 进 行 基 本 分 子 间 相 互 作 用 的 时 间 是 以 飞 秒, 有 时 是 以 皮 秒 来 度 量 的 德 雷 克 斯 勒 (1992) 分 析 了 可 控 制 的 分 子 操 作 操 作 数, 它 每 秒 能 完 成 大 于 10 6 次 机 械 操 作 注 意 这 和 百 万 倍 加 速 的 主 题 是 大 体 相 一 致 的 ( 最 小 的 物 理 上 可 识 别 的 时 间 增 量 一 般 认 为 是 普 朗 克 间 隔, 即 5 * 秒, 在 这 个 时 间 尺 度 上 即 使 跳 跃 的 夸 克 也 似 静 止 的 雕 像 ) 假 如 人 类 文 明 被 锁 在 一 个 盒 子 里, 只 允 许 它 通 过 像 冰 川 运 动 一 样 慢 的 触 角, 或 是 每 秒 移 动 约 一 微 米 的 机 械 臂, 来 影 响 外 部 世 界 我 们 将 把 所 有 的 创 造 性 用 于 发 掘 在 外 部 世 界 中 建 造 快 速 操 纵 器 的 最 快 可 能 途 径 想 到 快 速 操 纵 器, 就 立 刻 使 人 联 想 到 分 子 纳 米 技 术 尽 管 可 能 还 有 其 它 方 法 如 果 每 一 步 你 都 有 相 当 于 一 万 年 的 思 考 时 间, 那 么 在 缓 慢 的 外 部 世 界 里 你 走 向 分 子 纳 米 技 术 的 最 短 路 径 会 是 什 么? 答 案 是 我 不 知 道, 因 为 我 没 有 亿 万 年 给 我 思 考 以 下 是 可 想 象 到 的 快 速 途 径 : 解 决 蛋 白 质 折 迭 加 工 问 题, 到 能 够 产 生 其 目 标 蛋 白 在 复 杂 化 学 相 互 作 用 中 满 足 特 定 功 能 的 DNA 序 列 把 DNA 序 列 给 一 家 或 更 多 提 供 DNA 合 成, 肽 段 测 序, 以 及 联 邦 快 递 服 务 的 在 线 实 验 室 ( 许 多 实 验 室 现 在 就 提 供 这 种 服 务, 有 些 宣 称 只 需 72 小 时 的 周 转 时 间 ) 找 到 至 少 一 个 连 在 互 联 网 上 的 人, 他 能 被 恰 当 的 背 景 故 事 收 买, 勒 索 或 愚 弄, 从 而 收 取 快 递 来 的 小 瓶 并 把 它 们 混 入 一 个 特 定 的 环 境 中 合 成 的 蛋 白 质 形 成 一 个 非 常 原 始 的 类 似 核 糖 体 的 湿 纳 米 系 统, 可 以 接 受 外 部 指 令 ; 该 指 令 可 能 是 附 着 在 烧 杯 上 的 扬 声 器 发 出 的 一 定 模 式 的 声 波 震 动

22 由 这 个 极 其 原 始 的 纳 米 系 统 来 构 建 较 为 精 细 复 杂 的 系 统, 后 者 进 而 构 造 更 加 复 杂 的 系 统, 由 此 自 举 直 到 分 子 纳 米 技 术 或 超 越 之 可 以 想 象, 在 高 速 智 慧 变 得 有 能 力 解 决 蛋 白 质 折 迭 问 题 的 伊 始, 周 转 时 间 将 会 是 一 周 左 右 当 然 所 有 这 些 情 景 完 全 都 是 我 现 在 想 到 的 也 许 在 19,500 年 的 主 观 时 间 ( 相 当 于 思 考 能 力 加 速 一 百 万 倍 下 一 周 的 物 理 时 间 ) 里 我 能 想 到 一 个 更 好 的 方 法 也 许 你 能 付 钱 请 邮 件 急 送 而 不 是 联 邦 快 递 也 许 现 有 技 术, 或 是 现 有 技 术 的 微 小 改 动 能 结 合 简 单 蛋 白 质 机 器 协 同 工 作 也 许 你 足 够 聪 明, 你 能 用 波 形 电 场 改 变 现 有 生 化 过 程 的 反 应 路 径 我 不 知 道, 我 没 那 么 聪 明 物 理 世 界 里 所 面 临 的 挑 战 是 如 何 把 你 的 能 力 串 联 起 来 - 类 似 于 结 合 一 个 计 算 机 系 统 的 多 个 漏 洞 来 获 得 根 权 限 如 果 一 条 路 被 堵 死 了, 选 另 一 条, 总 是 搜 索 可 以 增 加 你 能 力 的 途 径 并 将 它 们 综 合 假 想 中 的 目 标 是 获 得 高 速 的 基 础 架 构, 也 即 大 范 围 内 快 速 操 作 外 部 世 界 的 方 法 分 子 纳 米 技 术 符 合 标 准, 首 先 因 为 它 的 基 本 操 作 是 迅 速 的, 其 次 因 为 有 现 成 的 精 密 部 件 - 原 子 - 的 供 给, 原 子 可 被 用 来 进 行 自 我 复 制 及 指 数 级 扩 增 纳 米 技 术 的 基 础 架 构 上 述 的 途 径 可 使 人 工 智 能 在 一 周 内 获 得 高 速 架 构 - 这 对 由 200 赫 兹 频 率 的 神 经 元 组 成 的 人 脑 来 说 是 很 快 的, 但 对 一 个 人 工 智 能 而 言 却 极 为 漫 长 一 旦 人 工 智 能 拥 有 高 速 架 构, 之 后 的 事 情 都 将 在 人 工 智 能 的 时 间 尺 度 上 发 生, 而 不 是 人 类 时 间 尺 度 ( 除 非 该 人 工 智 能 宁 愿 以 人 类 尺 度 行 动 ) 有 了 分 子 纳 米 技 术, 人 工 智 能 可 能 ( 潜 在 地 ) 不 受 反 对 地, 改 写 太 阳 系 一 个 具 备 分 子 纳 米 技 术 ( 或 其 它 高 速 架 构 ) 的 非 友 好 人 工 智 能 无 需 费 心 组 织 机 器 人 军 队 或 进 行 勒 索 或 施 加 不 明 显 的 经 济 高 压 非 友 好 人 工 智 能 有 能 力 按 照 它 的 优 化 目 标 改 变 太 阳 系 里 所 有 物 质 的 模 式 如 果 那 个 人 工 智 能 没 有 特 别 以 不 影 响 生 物 和 人 这 种 现 有 模 式 为 它 的 转 化 标 准, 那 对 我 们 来 说 将 是 致 命 的 人 工 智 能 并 不 恨 你, 它 也 不 喜 欢 你, 但 你 是 由 它 可 以 用 来 派 其 它 作 用 的 原 子 构 成 人 工 智 能 与 你 运 行 在 不 同 的 时 间 尺 度 上 ; 当 你 的 神 经 系 统 刚 刚 想 到 这 句 我 该 做 些 什 么 时, 你 已 经 消 失 了 可 以 推 测 一 个 友 好 人 工 智 能 加 上 分 子 纳 米 技 术 就 足 够 强 大 到 可 以 解 决 任 何 通 过 移 动 原 子 或 创 造 性 思 维 所 能 解 决 的 一 切 问 题 但 我 们 应 当 谨 防 缺 乏 想 象 : 医 治 癌 症 是 慈 善 机 关 的 一 个 当 前 目 标, 但 这 并 不 意 味 着 具 有 分 子 纳 米 技 术 的 友 好 人 工 智 能 会 对 它 自 己 说 : 现 在 我 应 该 治 疗 癌 症 或 许 看 待 这 个 问 题 更 好 的 角 度, 是 意 识 到 生 物 细 胞 是 不 能 编 控 的, 这 样 看 的 话 治 疗 癌 症 糖 尿 病 和 肥 胖 一 样 只 是 问 题 的 特 例 一 个 高 速 善 意 并 能 驾 驭 分 子 纳 米 技 术 的 智 慧 的 力 量 级 别 在 于 去 除 所 有 疾 病, 而 不 是 去 除 癌 症 最 后, 基 于 物 种 间 的 智 力 差 异, 有 物 种 隐 喻 一 说 人 工 智 能 会 魔 法 - 但 不 是 从 咒 语 和 魔 药 的 意 义 上 说, 而 是 说 一 只 狼 不 能 理 解 一 把 手 枪 是 如 何 运 作, 或 是 制 作 一

23 把 手 枪 需 要 哪 种 努 力, 或 人 类 力 量 中 的 哪 种 天 性 使 我 们 发 明 了 枪 温 基 (1993) 写 道 : 强 的 超 人 类 智 力 不 止 是 调 快 了 等 同 人 类 的 智 力 要 精 确 说 明 强 的 超 人 类 智 力 是 什 么 很 难, 但 是 它 与 人 类 之 间 的 差 异 是 深 刻 的 设 想 使 一 只 狗 的 大 脑 高 速 运 转, 一 千 年 的 狗 脑 思 维 加 起 来 能 与 任 何 人 脑 的 洞 察 力 相 当 吗? 物 种 隐 喻 看 上 去 像 是 先 验 知 识 最 近 似 的 隐 喻, 但 仅 凭 它 本 身 还 不 能 把 事 情 说 清 楚 这 个 隐 喻 的 主 要 忠 告 是 我 们 最 好 把 友 好 人 工 智 能 做 对, 无 论 如 何 这 是 个 好 建 议 它 对 恶 意 人 工 智 能 提 出 的 唯 一 防 御 建 议 是 从 一 开 始 就 不 要 造 恶 意 人 工 智 能, 这 也 是 一 个 出 色 的 建 议 拥 有 绝 对 力 量 是 友 好 人 工 智 能 的 工 程 学 上 的 保 守 假 设, 也 暴 露 出 其 设 计 上 的 缺 陷 如 果 一 个 人 工 智 能 有 了 魔 法 就 会 伤 害 你, 那 么 它 的 友 好 性 架 构 是 错 误 的 10: 局 部 和 多 数 策 略 我 们 可 以 将 有 关 风 险 减 轻 策 略 的 提 议 分 为 以 下 几 类 : 要 求 全 体 一 致 合 作 的 策 略 ; 个 别 成 员 或 一 些 小 组 的 背 叛 能 灾 难 性 地 破 坏 这 种 策 略 要 求 多 数 人 行 动 的 策 略 ; 多 数 可 以 指 在 一 个 国 家 里 立 法 机 构 的 大 多 数 人, 或 是 一 个 国 家 的 大 多 数 选 民 的 选 票, 或 是 联 合 国 的 大 多 数 国 家 ; 这 一 策 略 要 求 在 一 个 先 前 已 存 在 的 大 型 组 织 中 的 大 部 分, 但 不 是 全 部 人, 以 某 种 特 定 方 式 行 动 要 求 局 部 行 动 的 策 略 ; 集 中 一 批 资 金 和 一 小 群 人 的 意 志, 天 赋, 来 克 服 一 些 特 定 任 务 的 困 难 之 处 全 体 一 致 合 作 的 策 略 是 不 可 行 的, 但 却 没 有 因 此 阻 止 人 们 对 它 的 提 议 如 果 你 有 数 十 年 的 时 间 来 完 成 工 作, 多 数 主 义 者 策 略 有 时 是 可 行 的 要 开 展 一 项 运 动, 人 们 必 须 从 开 始 的 几 年 做 起, 直 到 它 在 公 共 政 策 中 展 露 头 角, 再 到 它 在 与 反 对 派 之 间 的 斗 争 中 胜 出 多 数 主 义 者 策 略 花 费 大 量 的 时 间 和 巨 大 的 精 力 人 们 曾 经 着 手 去 那 么 做, 而 且 历 史 记 录 有 些 成 功 的 案 例 但 是 请 注 意 : 史 书 往 往 选 择 性 地 聚 焦 那 些 造 成 一 定 影 响 的 运 动, 而 不 是 那 些 众 多 的 以 失 败 告 终 的 运 动 这 里 有 运 气 的 因 素, 还 涉 及 到 公 众 聆 听 历 史 事 件 时 先 入 为 主 的 喜 好 这 种 策 路 中 关 键 点 上 常 常 牵 涉 到 你 个 人 控 制 力 以 外 的 事 情 如 果 你 不 愿 意 付 出 毕 生 的 精 力 去 推 动 一 项 多 数 主 义 策 路, 你 还 是 旁 观 为 妙 ; 况 且 只 有 一 个 人 献 身 也 是 不 够 的 一 般 说 来, 局 部 策 略 是 最 可 行 的 一 亿 美 元 的 资 金 并 不 容 易 筹 到, 一 个 全 局 性 政 治 改 变 也 并 非 不 可 能 完 成, 但 是 要 获 得 一 亿 美 元 的 资 金 仍 然 远 比 推 动 一 个 全 局 性 政 变 的 完 成 要 容 易 许 多 导 致 实 现 人 工 智 能 的 多 数 主 义 者 策 略 的 假 设 有 两 个 : 占 大 多 数 的 友 好 人 工 智 能 可 以 有 效 的 保 护 人 类 不 被 一 小 撮 非 友 好 人 工 智 能 的 侵 害

24 第 一 个 诞 生 的 人 工 智 能 单 独 靠 它 自 己 不 会 造 成 灾 难 性 损 害 这 本 质 上 是 重 复 了 核 能 开 发 和 生 物 武 器 之 前 人 类 文 明 的 情 形 : 大 部 分 人 生 活 在 一 个 总 体 说 来 和 谐 的 社 会 中, 少 数 叛 逆 者 能 带 来 一 些 破 坏 但 不 是 全 球 灾 难 性 的 破 坏 大 多 数 人 工 智 能 研 究 者 不 会 愿 意 造 一 个 非 友 好 的 人 工 智 能 只 要 有 人 知 道 如 何 制 造 一 个 稳 定 的 友 好 人 工 智 能 只 要 问 题 没 有 完 全 超 出 当 代 的 知 识 和 技 术 所 及 研 究 者 之 间 可 以 互 相 学 习, 借 鉴 成 功 经 验 并 予 以 重 复 法 律 可 以 ( 例 如 ) 要 求 研 究 者 公 开 报 导 他 们 的 友 好 性 策 略, 或 是 对 那 些 引 起 破 坏 的 人 工 智 能 的 研 究 者 加 以 惩 罚 ; 尽 管 这 样 的 法 律 法 规 不 能 避 免 所 有 的 错 误, 它 却 足 以 保 证 大 多 数 人 工 智 能 生 来 就 是 友 好 的 我 们 也 可 以 想 象 一 种 蕴 含 简 单 局 部 策 略 的 情 景 : 第 一 个 人 工 智 能 自 己 没 有 能 力 造 成 灾 难 性 破 坏 即 使 只 有 一 个 友 好 人 工 智 能 存 在, 那 么 它 联 合 人 类 的 智 慧 后 就 足 以 抵 挡 任 意 多 的 非 友 好 人 工 智 能 这 种 简 单 的 情 形 在 某 些 时 候 可 以 成 立, 例 如 人 类 能 准 确 地 区 分 友 好 与 非 友 好 人 工 智 能, 进 而 在 可 收 回 的 前 提 下 把 权 力 交 给 友 好 人 工 智 能, 从 而 我 们 可 以 选 择 我 们 的 盟 友 唯 一 的 要 求 是 友 好 人 工 智 能 问 题 必 须 是 可 解 决 的 ( 而 不 是 完 全 超 出 人 类 的 能 力 之 外 ) 上 面 两 种 情 形 都 假 设 第 一 个 人 工 智 能 ( 第 一 个 强 大 的, 通 用 的 人 工 智 能 ) 自 己 不 能 制 造 全 球 灾 难 性 破 坏 大 多 数 隐 含 此 假 设 的 具 体 直 观 化 过 程 用 了 g 因 子 隐 喻 : 把 人 工 智 能 比 为 非 同 寻 常 有 能 力 的 人 在 第 7 节 关 于 智 能 增 长 速 率 一 段 里, 我 列 出 了 一 些 需 要 警 惕 巨 大 的 快 速 的 智 力 跳 跃 的 原 因 : 从 傻 瓜 到 爱 因 斯 坦 的 距 离, 在 我 们 看 来 显 然 是 巨 大 的, 但 却 只 是 一 般 智 力 尺 度 上 的 一 小 点 尽 管 自 然 选 择 对 人 类 的 底 层 基 因 组 施 加 了 大 致 平 稳 的 优 化 压 力, 人 类 在 智 力 的 现 实 世 界 效 应 上 却 呈 现 出 急 剧 的 跳 跃 一 个 人 工 智 能 在 越 过 某 种 能 力 的 边 界 后 可 以 吸 收 庞 大 数 量 的 额 外 硬 件 ( 例 如, 吞 噬 互 联 网 ) 递 归 自 我 改 善 的 关 键 阈 值 一 个 自 我 改 进 触 发 个 自 我 改 进 与 触 发 个 之 间 存 在 质 变 正 如 第 9 节 中 指 出 的, 一 个 足 够 强 大 的 智 慧 可 以 在 很 短 的 时 间 内 ( 从 人 类 的 角 度 看 ) 实 现 分 子 纳 米 技 术, 或 一 些 其 它 形 式 的 高 速 基 础 设 施 由 此 我 们 能 够 看 到 一 个 超 级 智 慧 的 先 行 者 效 应 先 行 者 效 应 指 的 是 源 于 地 球 的 智 力 生 命 的 未 来 结 局 主 要 依 赖 于 首 先 达 到 一 些 智 力 的 关 键 阈 值 例 如 自 我 改 进 的 临 界 值 - 的 那 个 智 能 体 两 个 必 要 的 假 设 是 : 第 一 个 超 越 某 些 关 键 阈 值 ( 例 如 自 我 改 进 的 临 界 点 ) 的 人 工 智 能, 如 果 是 非 友

25 好 的, 能 够 将 人 类 彻 底 消 灭 第 一 个 超 越 同 样 关 键 阈 值 的 人 工 智 能, 如 果 是 友 好 的, 能 阻 止 一 个 敌 意 的 人 工 智 能 的 诞 生 或 是 伤 害 人 类 ; 或 找 到 其 它 有 创 意 的 方 式 确 保 源 自 地 球 的 智 力 生 命 的 生 存 与 繁 衍 不 止 一 种 情 形 可 被 称 为 是 先 行 者 效 应 下 面 每 个 例 子 都 反 应 了 一 个 不 同 的 关 键 阈 值 : 跨 越 临 界 点 之 后, 自 我 改 进 系 统 在 几 周 或 更 短 的 时 间 尺 度 内 达 到 超 智 慧 人 工 智 能 研 究 项 目 非 常 稀 少, 以 至 于 在 先 行 者 足 够 强 大 到 可 以 战 胜 所 有 反 对 者 之 前 没 有 别 的 人 工 智 能 达 到 临 界 点 此 处 关 键 阈 值 是 递 归 自 我 改 进 系 统 的 临 界 点 人 工 智 能 -1 比 人 工 智 能 -2 提 前 三 天 攻 破 蛋 白 质 折 迭 问 题 人 工 智 能 -1 比 人 工 智 能 -2 提 前 6 小 时 实 现 纳 米 技 术 由 于 拥 有 快 速 操 纵 器, 人 工 智 能 -1 可 以 ( 潜 在 地 ) 在 人 工 智 能 -2 出 成 果 之 前 切 断 它 的 研 发 竞 争 者 之 间 差 距 很 小, 但 无 论 是 谁 首 先 穿 越 终 点, 就 会 胜 出 这 里 关 键 阈 值 是 快 速 架 构 第 一 个 吞 噬 互 联 网 的 人 工 智 能 可 以 ( 潜 在 地 ) 独 占 互 联 网, 不 让 其 它 人 工 智 能 染 指 接 着, 通 过 经 济 支 配 或 秘 密 行 动 或 敲 诈 勒 索 或 对 社 会 实 行 霸 权 操 纵, 首 个 人 工 智 能 中 止 或 减 缓 其 它 人 工 智 能 项 目 以 至 于 没 有 其 它 人 工 智 能 可 以 赶 上 它 这 里 的 关 键 阈 值 是 对 独 特 资 源 的 吸 食 人 类, 是 一 个 先 行 者 从 进 化 的 角 度 看, 我 们 的 表 亲 黑 猩 猩 离 我 们 只 有 一 发 之 差 人 类 仍 然 逐 步 实 现 所 有 的 技 术 奇 观, 因 为 我 们 早 那 么 一 点 到 达 进 化 生 物 学 家 还 在 试 着 揭 示 关 键 阈 值 达 到 的 次 序, 因 为 先 行 物 种 在 许 多 方 面 领 先 : 语 言, 技 术, 抽 象 思 维 我 们 仍 在 试 着 重 现 哪 块 多 米 诺 骨 牌 推 到 其 余 的 不 管 怎 样, 结 果 就 是 人 类 是 走 出 竞 争 者 阴 影 的 先 行 者 先 行 者 效 应 是 一 个 理 论 上 局 部 的 策 略 ( 一 个 原 则 上 可 以 通 过 完 全 局 部 的 努 力 完 成 的 任 务 ), 但 它 引 起 一 个 极 端 困 难 的 技 术 挑 战 我 们 只 需 在 某 一 时 间 某 一 地 点 正 确 造 出 友 好 人 工 智 能, 而 不 是 随 时 到 处 但 是 必 须 有 人 在 首 次 尝 试 友 好 人 工 智 能 时 就 不 出 差 错, 赶 在 任 何 其 它 按 较 低 标 准 制 造 的 人 工 智 能 出 现 之 前 我 无 法 用 精 确 的 已 证 实 的 理 论 来 进 行 精 确 计 算, 但 我 当 前 的 观 点 是 智 力 上 出 现 急 剧 飞 跃 是 有 希 望 的 非 常 可 能 的 这 不 是 一 个 我 愿 意 给 出 狭 窄 置 信 区 间 的 领 域, 因 此 这 个 策 略 决 不 能 灾 难 性 的 失 败 不 能 让 我 们 处 于 比 之 前 更 糟 的 境 界 如 果 一 个 智 力 的 剧 烈 跳 跃 没 能 实 现 但 更 为 严 重 的 问 题 是 展 望 慢 速 生 长 人 工 智 能 的 策 略, 它 将 在 有 先 行 者 效 应 的 情 况 下 灾 难 性 失 败 这 个 问 题 之 所 以 更 为 严 重 是 因 为 : 快 速 生 长 的 人 工 智 能 代 表 更 大 的 技 术 挑 战 就 像 是 一 辆 轿 车 驶 过 为 卡 车 造 的 桥, 一 个 被 设 计 成 在 极 端 条 件 下 保 持 友 好 的 人 工 智 能 应 该 ( 假 设 上 ) 在 相 对 缓 和 的 条 件 下 持 续 友 好 反 之 则 否 快 速 智 力 跳 跃 在 平 日 社 会 现 实 中 是 违 反 直 觉 的 人 工 智 能 的 g 因 子 隐 喻 是 直 观