统计学：二十一世纪的挑战和机遇

Transcription

1 统 计 学 : 二 十 一 世 纪 的 挑 战 和 机 遇 Bruce Lindsay Jon Kettenring David Siegmund 2003 年 6 月 编 缪 柏 其 译 中 国 科 学 技 术 大 学 统 计 与 金 融 系

2 报 告 是 由 美 国 国 家 科 学 基 金 会 (NSF) 资 助 召 开 的 一 个 研 讨 会 的 一 份 工 作 报 告, 时 间 为 2002 年 的 5 月 6 日 至 8 日 大 约 由 50 位 来 自 世 界 各 地 的 统 计 学 家 参 加 研 讨 会 的 目 的 是 确 认 统 计 学 今 后 的 挑 战 和 机 遇 它 主 要 集 中 于 科 学 研 究, 但 也 涉 及 重 要 的 相 关 领 域, 如 统 计 教 育, 基 础 结 构, 国 际 前 景 和 长 期 目 标 该 科 学 委 员 会 负 责 起 草 出 这 份 报 告, 在 明 年 的 这 一 过 程 中, 还 将 收 到 来 自 该 委 员 会 其 他 成 员 和 专 业 统 计 组 织 负 责 人 的 意 见 这 个 报 告 试 图 反 映 出 这 些 意 见 的 一 个 综 合 观 念 统 计 本 身 是 一 门 科 学 从 数 据 中 学 习 的 科 学, 它 扎 根 于 继 续 增 长 的 知 识 核 心 这 表 明 它 的 根 是 概 率 论 和 数 学, 同 时 也 受 到 更 现 代 的 计 算 机 科 学 的 影 响 统 计 学 来 自 于 这 些 根, 又 反 馈 给 它 们 新 的 数 学 和 计 算 问 题 统 计 也 是 一 个 不 多 见 的 学 科 交 叉 领 域 的 确, 应 用 是 它 的 原 动 力 在 为 认 可 的 技 术 提 供 有 价 值 的 市 场 时 它 们 激 发 了 关 于 新 理 论 和 新 方 法 的 研 究 对 统 计 来 说 目 前 最 迫 切 的 是 要 适 应 于 这 种 数 据 集 的 需 求, 它 们 是 如 此 之 大 和 如 此 复 杂, 以 至 于 需 要 新 的 概 念 统 计 学 家 不 但 要 使 用 数 据, 而 且 要 设 计 试 验 和 阐 述 试 验 结 果 这 些 问 题 经 常 是 广 泛 的 学 科 间 合 作 的 源 泉 从 天 文 到 公 共 政 策 到 动 物 学 这 些 都 是 今 天 的 统 计 学 家 从 事 的 领 域 1 统 计 是 什 么? 假 如 面 对 广 大 的 听 众 演 讲, 委 员 会 感 到 有 必 要 来 阐 述 科 学 中 的 统 计 角 色 许 多 科 学 家 ( 如 果 不 是 全 部 ) 仅 仅 看 到 了 我 们 领 域 的 一 点 皮 毛 为 此 在 研 讨 会 上 的 第 一 个 演 讲 者, 牛 津 大 学 著 名 的 D. R. Cox 教 授, 被 要 求 从 最 基 本 的 讲 起, 以 及 确 认 统 计 是 什 么? 该 问 题 在 研 讨 过 程 中 被 反 复 提 及 我 们 在 这 儿 综 述 一 些 主 要 观 点 统 计 学 科 本 质 上 可 以 用 它 的 多 学 科 性 来 识 别 该 领 域 的 长 远 (over-arching ) 目 标 是 从 所 有 类 型 的 数 据 中 提 取 科 学 的 和 有 意 义 的 信 息 统 计 学 家 用 不 同 的 方 法 在 大 量 的 科 学 过 程 中 达 到 这 一 目 标 在 好 的 实 验 原 理 培 养 下, 他 们 可 以 成 为 从 初 级 实 验 设 计 一 直 到 最 终 数 据 分 析 和 得 出 结 论 这 一 科 学 过 程 的 合 作 者 统 计 工 作 的 科 学 领 域 几 乎 与 科 学 尝 试 一 样 广 泛, 在 研 讨 会 中, 我 们 集 中 讨 论 六 个 主 要 领 域 : 统 计 核 心 加 上 六 个 应 用 的 主 要 领 域 : 生 物 科 学 工 程 和 工 业 统 计 地 理 和 环 境 科 学 信 息 技 术 物 理 科 学 社 会 和 经 济 科 学 被 选 择 的 这 些 领 域 大 体 上 对 应 于 ( 美 国 ) 国 家 科 学 基 金 资 助 的 不 同 的 方 向 在 本 报 告 的 第 五 章, 这 些 领 域 的 每 个 部 分, 除 了 一 个 外 都 将 给 出 一 个 有 深 度 的 回 顾, 但 社 会 和 经 济 科 学 必 须 被 不 幸 地 排 除 编 委 们 面 临 的 困 难 是 这 个 领 域 不 但 很 难 与 别 的 领 域 分 开, 而 且 相 当 复 杂 在 该 领 域 的 研 究 工 作 者 大 多 不 在 统 计 系 工 作, 但 对 诸 如 经 济 学, 心 理 学 和 社 会 学 感 兴 趣 这 包 含 了 若 干 个 领 域, 这 些 领 域 有 它 们 自 己 成 熟 的 和 特 有 的 统 计 文 献, 如 心 理 计 量 学 和 经 济 计 量 学 等 关 于 对 这 种 成 熟 的 和 有 大 量 文 献 领 域 的 回 顾 已 超 出 我 们 的 时 间 框 架 和 资 源 在 合 作 领 域 外, 统 计 学 者 的 核 心 活 动 是 用 于 信 息 抽 取 的 数 学 和 概 念 工 具 的 构 造 虽 然 大 部 分 这 类 研 究 的 数 学 基 础 是 概 率 论, 但 最 终 目 的 是 要 提 供 在 经 验 工 作 中 有 用 的 结 果 这 区 分 了 统 计 学 家 理 论 研 究 结 果 和 大 多 数 数 学 领 域 的 结 果 在 其 中 抽 象 结 果 纯 粹 追 求 它 们 内 在 的 意 义 正 如 NSF 报 告 关 于 美 国 数 学 的 国 际 评 估 的 高 级 评 估 小 组 报 告 (report of the Senior Assessment Panel for the Inttrnationd Assessment of the U.S.A

3 Machematical Science)( 以 后 称 为 Odom Report ) 所 述,: 统 计 总 是 与 应 用 连 在 一 起 的, 结 论 的 重 要 性, 既 使 是 理 论 统 计, 也 是 强 烈 依 赖 于 与 结 论 有 关 的 应 用 类 型 在 这 方 面 它 非 常 不 同 于 计 算 数 学 以 外 的 其 它 所 有 数 学 分 支 ( 我 们 所 强 调 的 ) 统 计 领 域 的 显 著 特 点, 以 及 它 发 展 的 方 法 论, 集 中 在 从 数 据 得 出 科 学 结 论 的 小 心 谨 慎 原 则 的 设 计 上 该 原 则 性 方 法 使 统 计 有 别 于 数 据 处 理, 组 织 和 分 析 的 场 合 一 个 主 要 的 要 求 是 规 定 我 们 必 须 要 对 由 数 据 作 出 的 科 学 陈 述 的 不 确 定 性 提 供 一 种 度 量 设 计 的 这 类 统 计 工 具 如 置 信 系 数, 显 著 性 水 平 以 及 信 任 区 域 等, 提 供 了 关 于 有 效 性 的 容 易 解 释 的 度 量 适 当 使 用 这 些 工 具 有 助 于 控 制 来 自 于 数 据 的 虚 假 结 论 首 先 是 本 杰 明 狄 斯 瑞 利 (Benjamin Disraeli), 后 来 由 马 克 吐 温 引 用, 说 道 : 有 三 类 谎 言 : 谎 言, 可 恶 的 谎 言, 以 及 统 计 事 实 上, 统 计 学 家 被 训 练 成 能 区 分 科 学 真 理 和 科 学 虚 构 为 了 指 出 这 一 点, 在 本 报 告 的 后 面, 我 们 将 讨 论 有 效 性 的 一 种 新 的 度 量, 假 发 现 率 (false discovery rate), 它 是 由 于 在 现 代 科 学 研 究 中 的 海 量 数 据 和 假 设 范 围 很 大 而 发 展 起 来 的 当 然, 统 计 学 拥 有 统 计 工 具 一 点 也 不 比 数 学 家 拥 有 数 学 工 具 多 确 实, 大 多 数 的 统 计 应 用 和 统 计 研 究 是 由 其 它 学 科 领 域 的 科 学 家 得 到 的 统 计 研 究 的 基 本 作 用 是 发 展 新 工 具 用 于 尖 端 科 学 本 报 告 的 后 一 节 我 们 将 描 述 近 年 来 产 生 的 非 常 激 动 人 心 的 统 计 研 究 的 可 能 性 特 别, 数 据 收 集 和 储 存 的 可 能 性 已 打 开 了 对 数 据 分 析 问 题 的 全 新 方 法 的 需 求 统 计 学 会 根 据 统 计 工 作 的 性 质, 统 计 学 者 在 很 广 的 范 围 内 工 作 在 美 国, 有 许 多 统 计 学 家 在 统 计 系 工 作 这 种 系 可 以 在 大 多 数 研 究 型 大 学 中 找 到 目 前 在 统 计, 生 物 统 计 和 生 物 计 量 领 域 有 86 个 博 士 点 它 们 往 往 集 中 在 研 究 生 的 研 究 中, 包 括 与 其 它 学 科 合 作, 教 学, 以 及 为 本 科 服 务 的 课 程 本 报 告 后 面 要 演 讲 的 一 个 主 要 问 题 是, 在 为 主 修 统 计 的 本 科 生 拓 宽 进 入 统 计 领 域 渠 道 的 主 要 努 力 中 他 们 潜 在 的 未 来 角 色 这 些 系 大 部 分 是 在 二 十 世 纪 后 半 叶 从 数 学 系 分 出 来 的 因 此 统 计 常 常 被 认 为 是 数 学 的 一 个 分 支 这 种 结 构 观 点 也 很 明 显 反 映 在 NSF 本 身 在 其 中, 概 率 和 统 计 作 为 数 学 下 的 一 个 分 支, 与 纯 数 学 分 支, 如 拓 扑 和 代 数 等 同 放 在 一 起 但 是 未 来 研 讨 会 与 会 代 表 的 一 个 主 要 结 论 是 统 计 与 其 它 数 学 分 支 越 来 越 不 同 统 计 学 家 的 科 学 目 标 和 现 代 科 学 的 方 向 指 向 这 样 一 个 方 向 : 计 算 机 和 信 息 科 学 工 具 对 统 计 而 言 至 少 与 概 率 论 同 等 重 要 大 量 的 科 学 统 计 学 会 的 分 支 不 在 统 计 系 这 可 能 就 出 现 在 有 统 计 系 的 大 学 里, 我 们 可 以 在 商 学 院, 社 会 科 学 和 不 同 门 类 的 理 科 系 中 发 现 它 们 在 没 有 统 计 学 的 学 院, 例 如 在 四 年 制 的 学 院, 统 计 学 家 经 常 在 数 学 系, 因 为 数 学 系 需 要 他 们 为 本 科 生 上 课 最 后, 还 有 许 多 统 计 学 家 在 生 物 统 计 系 工 作 还 有 大 量 的 统 计 学 家 在 科 学 学 会 外, 但 与 学 会 有 良 好 联 系, 他 们 受 雇 于 政 府 企 业 和 许 多 统 计 使 用 者 NSF 报 告, 即 Odom 报 告, 叙 述 了 关 于 统 计 的 领 域 : 在 科 学 学 会 与 工 业 和 政 府 中 的 使 用 者 之 间 的 交 流 发 展 得 很 快, 因 此 理 论 思 想 与 来 于 应 用 的 挑 战 性 的 问 题, 以 及 各 学 科 传 统 之 间 的 散 布 都 非 常 快, 统 计 学 家 也 工 作 于 各 政 府 部 门, 从 人 口 普 查 局 到 国 家 标 准 化 和 技 术 研 究 所, 到 国 家 卫 生 研 究 所 他 们 也 受 雇 于 许 多 工 业 企 业, 经 常 是 从 事 质 量 控 制 工 作 特 别, 医 药 工 业 已 成 了 统 计 学 家 最 大 的 雇 主 他 们 完 成 药 品 以 及 所 需 的 试 验 设 计 和 分 析 著 作 二 十 一 世 纪 的 统 计 (Raftery 等 著 ) 包 含 了 当 今 许 多 领 头 学 者 们 撰 写 的 70 篇

4 论 文 可 以 把 它 介 绍 给 统 计 学 家 作 为 有 用 的 信 息 要 目, 它 在 很 广 的 统 计 主 题 范 围 内 涵 盖 了 统 计 当 前 的 地 位 和 将 来 的 研 究 方 向 2. 历 史 回 顾 统 计 方 法 在 科 学 上 的 应 用 已 经 有 很 长 的 历 史 了, 尽 管 将 之 认 知 为 一 门 独 立 的 学 科 要 追 溯 到 20 世 纪 西 格 尔 (Stigler)(1986) 将 现 代 统 计 学 确 认 为 一 门 统 一 的 学 科, 既 是 逻 辑 又 是 方 法 于 是 在 这 种 基 础 上 产 生 了 各 种 统 计 思 想 其 中 之 一 就 是 源 于 天 文 和 地 理 测 量 中 的 联 合 测 量 难 题 上 的 数 据 分 析 最 早 的 贡 献 就 是 1800 年 左 右 拉 格 朗 日 (Legendre) 的 最 小 二 乘 法 第 二 个 分 支 是 起 源 于 概 率 论 早 期 发 展 的 不 确 定 理 论 的 基 础 这 里, 数 学 家 贝 努 里 (Bernoulli), 德 谟 弗 (DeMoivre), 贝 叶 斯 (Bayes), 拉 普 拉 斯 (Lapalace), 高 斯 (Gauss) 奠 定 了 概 率 模 型 结 构 的 基 础, 同 时 也 提 供 了 从 概 率 模 型 得 出 关 于 数 据 结 论 的 基 础 十 九 世 纪 后 期 在 英 国 统 计 思 想 才 有 了 本 质 性 的 加 速, 现 在 那 些 产 生 概 念 的 度 量 正 是 起 源 于 遗 传 和 生 物 计 量 学 所 用 的 度 量 相 关 系 数 和 回 归 这 些 主 要 的 统 计 思 想 正 是 在 这 个 时 候 发 展 2 起 来 的 不 久 K 皮 尔 逊 (K Pearson) 发 展 了 χ 检 验 (1900) 这 是 一 个 相 当 重 要 的 概 念 性 的 突 破 直 到 今 天 它 还 被 用 作 统 计 模 型 中 科 学 假 设 的 严 格 检 验 伦 敦 大 学 的 应 用 统 计 系 在 1911 年 由 K 皮 尔 逊 建 立, 它 是 世 界 上 第 一 个 大 学 里 的 统 计 系 它 的 前 身 是 优 生 学 实 验 室 和 生 物 计 量 实 验 室. 几 年 之 内, R 费 歇 (R Fisher), 也 是 英 国 人, 创 建 了 很 多 现 代 统 计 学 的 基 础 费 歇 也 是 现 代 人 类 遗 传 学 的 创 立 者, 他 具 有 极 高 的 天 赋 他 创 建 了 复 杂 实 验 的 分 析 方 法, 即 现 在 每 天 被 科 学 家 们 使 用 成 千 上 万 次 的 方 差 分 析 他 证 明 了 一 个 称 之 为 似 然 的 函 数 可 以 用 来 研 究 几 乎 任 一 概 率 模 型 中 的 最 优 估 计 和 检 验 程 序 受 农 业 田 间 实 验 的 启 发, 他 建 立 并 发 展 了 实 验 设 计 的 主 要 思 想 费 歇 有 相 当 强 烈 的 统 计 直 觉 至 少 二 十 世 纪 的 一 些 重 要 工 作 都 仅 仅 是 弄 清 显 著 性 和 推 广 他 田 间 试 验 的 研 究 领 域 在 随 后 的 二 十 世 纪 30 年 代 的 重 要 工 作 就 是 伦 敦 大 学 的 J 纽 曼 和 E 皮 尔 逊 对 假 设 检 验 的 严 格 的 理 论 发 展 了 这 个 理 论 已 成 为 二 十 世 纪 后 期 这 个 领 域 中 其 他 研 究 的 基 础 到 了 二 十 世 纪 中 期, 美 国 的 统 计 学 家 做 出 了 一 些 开 创 性 的 工 作 哥 伦 比 亚 大 学 的 A 瓦 尔 特 (A.Wald) 是 发 展 序 贯 分 析 的 领 导 者, 这 是 二 战 时 期 需 要 有 效 抽 样 而 发 展 起 来 的 一 门 学 科 同 时, 他 也 是 统 计 决 策 理 论 发 展 方 向 的 领 导 者 这 个 时 期 的 另 一 个 大 师 级 人 物 就 是 宾 夕 法 尼 亚 州 立 大 学 的 C.R. 劳 (C.R. Rao) 前 不 久 全 国 科 学 金 牌 的 获 得 者 (national medal of science), 他 在 多 元 统 计 方 面 有 很 多 的 创 新, 解 决 了 研 究 多 维 数 据 的 复 杂 结 构 问 题 另 一 个 科 学 金 牌 获 得 者 普 林 斯 顿 的 J. 土 凯 (J.Tukey) 则 是 现 代 数 据 分 析 之 父 正 是 在 这 段 时 期, 统 计 学 在 美 国 作 为 一 门 独 立 学 科 开 始 制 度 化 和 系 统 化, 统 计 学 不 同 于 数 学 也 不 是 数 学 应 用 的 特 殊 领 域 美 国 的 哥 伦 比 亚 大 学 和 北 加 州 大 学 都 是 最 早 的 一 批 加 入 者 后 来, 随 着 科 学 的 发 展, 统 计 部 门 的 数 量 和 规 模 都 在 逐 步 壮 大 下 一 章 节 中 我 们 将 会 看 到 这 方 面 的 迹 象 上 个 世 纪 很 多 重 要 的 发 展 都 出 自 建 模 和 估 计 领 域, 这 些 研 究 出 来 的 方 法 扩 大 了 可 用 模 型 的 视 野 和 拓 宽 了 统 计 程 序 有 效 性 的 范 围 这 些 研 究 的 一 个 重 要 副 产 品 是 所 谓 的 大 样 本 理 论 的 扩 展 - 当 数 据 样 本 大 小 很 大 时 统 计 过 程 的 分 布 性 质 的 研 究 不 确 定 性 的 精 确 度 量 是 统 计 推 断 的 关 键 部 分 大 样 本 理 论 使 统 计 学 家 们 能 够 在 很 广 的 一 类 问 题 中 计 算 这 些 度 量 的 相 当 好 的 近 似 值 科 学 上 的 一 个 主 要 革 命 发 生 在 二 十 世 纪 七 十 年 代, 这 次 革 命 注 定 要 永 远 改 变 统 计 学 的 面

5 貌 起 初 是 笨 拙 地 用 打 孔 机 打 卡, 但 是 计 算 机 很 快 地 取 代 了 这 种 很 慢 的 打 孔 方 法, 它 完 全 改 变 了 得 出 统 计 分 析 结 论 的 意 义 它 也 改 变 了 科 学 家 们 收 集 数 据 和 存 储 数 据 的 工 作 那 么 随 之 而 来 的 是 什 么 呢? 这 个 报 告 正 是 关 于 这 些 问 题 的 关 于 历 史, 我 们 注 意 到 这 样 一 个 事 实 : 二 十 世 纪 末 最 成 功 的 方 法, 如 自 助 法 和 比 例 危 险 率 模 型, 如 果 没 有 计 算 机 的 帮 助, 这 些 方 法 可 能 就 不 能 付 诸 实 际 科 学 家 们 收 集 更 多 和 更 复 杂 数 据 的 能 力 给 我 们 指 出 了 一 个 令 人 兴 奋 和 极 具 挑 战 性 的, 并 有 更 多 基 础 性 结 果 的 未 来 3 现 状 概 述 统 计 的 理 论 和 应 用 涉 及 很 多 学 科 应 该 注 意 到, 统 计 学 科 不 可 能 有 一 种 在 传 统 分 类 意 义 下 分 成 不 同 研 究 领 域 的 统 一 分 法 专 业 性 质 Odom 报 告 对 于 美 国 学 者 们 在 统 计 上 的 努 力 给 予 了 充 分 肯 定, 报 告 指 出 : 美 国 的 统 计 科 学 非 常 正 常 地 涵 盖 了 所 有 分 支, 成 为 全 世 界 的 主 导 一 份 有 关 四 本 主 流 统 计 杂 志 ( 其 中 两 本 在 英 国 ) 的 非 正 式 调 查 证 实 了 这 一 结 论 下 表 展 示 了 这 些 杂 志 中 美 国 基 本 作 者 的 部 门 背 景 统 计 学 49% 生 物 统 计 学 23% 工 业 6% 数 学 科 学 5% 数 学 4% 其 它 13% 这 些 作 者 中 大 约 一 半 的 人 有 美 国 背 景 基 本 上 这 些 作 者 都 在 学 术 机 构 而 且, 大 部 分 来 自 统 计 和 生 物 统 计 系, 小 于 十 分 之 一 的 人 来 自 数 学 或 与 数 学 科 学 下 表 展 示 了 已 出 版 研 究 成 果 的 资 金 来 源 NIH 40% NSF 38% NSA( 美 国 标 准 化 协 会 ) 9% ARO/ONR/EPA 4% 其 它 9% 很 显 然, 国 家 科 学 基 金 (NSF) 和 国 家 健 康 研 究 所 (NIH) 是 统 计 研 究 资 金 的 两 个 主 要 的 来 源 专 业 的 规 模 衡 量 统 计 领 域 规 模 的 方 法 之 一 是 把 它 和 其 他 的 数 学 学 科 相 比 较 下 表 中 我 们 给 出 了 主 要 的 统 计 学 和 数 学 机 构 中 大 概 的 会 员 数 : 美 国 统 计 协 会 (ASA) 16,000 数 理 统 计 学 会 (IMS) 3,500 生 物 统 计 学 会 (ENAR/WNAR) 3,500 美 国 数 学 会 (AMS) 30,000 美 国 数 学 联 合 会 (MAA) 33,000 工 业 和 应 用 数 学 会 (SIAM) 9,000 这 些 数 目 比 较 起 来 有 些 困 难, 因 为 会 员 名 单 中 有 重 复 但 是 这 些 数 据 表 明 统 计 领 域 的 会

6 员 数 可 能 占 数 学 家 的 1/4 到 1/2 美 国 数 学 会 2001 年 度 的 调 查 表 明 在 统 计, 生 物 统 计 和 生 物 计 量 学 中 有 86 个 博 士 (program) 计 划,( 第 四 组 ) 这 可 以 和 其 他 数 学 领 域 的 196 个 (program) 计 划 相 比 较 ( 第 一, 二, 三, 五 组 ) 数 字 上 不 是 很 容 易 比 较, 但 是 确 实 提 供 了 规 模 的 一 些 概 念 每 年 统 计 博 士 的 人 数 可 能 是 一 个 更 好 的 度 量 然 而, 这 些 数 据 受 到 许 多 通 常 数 据 采 集 方 法 的 影 响 : 总 体 的 定 义, 数 据 的 质 量 以 及 调 查 无 反 应 下 表 展 示 了 三 个 对 统 计 而 言 完 全 不 同 的 会 员 数 和 关 于 数 学 其 余 部 分 的 两 个 估 计 数 AMS 调 查 2000( 概 率 除 外 ) 310 美 国 数 学 会 在 线 2000( 自 身 报 告 ) 457 NSF 2000 年 获 得 博 士 学 位 ( 包 括 统 计 分 支 ) 822 作 为 参 考, 排 除 统 计 的 数 学 : AMS 调 查 NSF 获 得 博 士 学 位 的 调 查 925 AMS 的 调 查 承 认 了 统 计 (program) 计 划 中 的 无 反 应 问 题 NSF 有 关 已 获 博 士 学 位 数 目 的 调 查 是 把 统 计 的 各 分 支 学 科 加 总 来 算 的 在 这 个 基 础 调 查 中, 这 些 学 科 中 博 士 被 分 成 几 乎 300 个 细 类 如 果 我 们 考 虑 除 掉 统 计 后 数 学 中 的 博 士 数 目, 那 么 在 AMS 和 NSF 的 调 查 中 就 有 许 多 的 一 致 之 处 这 样 再 一 次 表 明 了 对 统 计 而 言, 在 数 据 的 收 集 和 确 认 中 存 在 许 多 问 题 NSF 的 调 查 提 供 的 数 据 让 我 们 了 解 了 统 计 和 其 他 数 学 学 科 之 间 的 关 系 在 过 去 的 35 年 内 发 生 了 改 变 表 3.1 表 明 了 每 年 统 计 学 博 士 的 数 目 ( 由 NSF 定 义 ) 至 少 有 200 人, 但 比 数 学 学 位 人 数 的 1/3 还 要 小, 但 是 大 体 沿 着 线 性 速 度 增 长 到 800, 在 二 十 世 纪 八 十 年 代 和 数 学 学 位 的 人 数 基 本 相 同, 然 后 就 稍 稍 超 过 数 学 研 究 型 博 士 的 数 目 是 研 究 活 跃 水 平 的 一 个 大 体 反 映 不 管 怎 么 说, 在 DMS 中 有 三 个 项 目 方 向 是 统 计 和 概 率 的, 而 其 余 19 个 项 目 是 数 学 的 其 余 所 有 领 域 这 种 平 衡 似 乎 并 没 有 反 映 出 统 计 研 究 成 果 的 程 度, 这 是 由 参 与 者 衡 量 的, 不 涉 及 对 科 学 的 重 要 性, 我 们 将 在 后 面 说 明 数 据 收 集 我 们 报 告 的 主 题 是 统 计 领 域 在 它 的 科 学 价 值 和 科 学 工 作 量 上 正 经 历 着 一 个 引 人 注 目 的 增 长, 这 是 由 于 科 学 的 变 化, 特 别 是 数 据 收 集 变 化 的 结 果 Odom 报 告 指 出 : 随 着 高 速 计 算 机 和 传 感 器 的 出 现, 一 些 实 验 科 学 现 在 可 以 产 生 大 量 的 数 据 人 类 基 因 就 是 一 个 例 子 然 后 需 要 编 制 这 些 数 据 和 从 中 提 取 有 用 信 息 的 新 工 具, 这 些 新 工 具 将 依 赖 于 数 学 科 学 在 所 有 的 数 学 科 学 中, 统 计 学 是 唯 一 关 注 科 学 数 据 的 收 集 和 分 析 的 学 科 近 年 来 每 一 个 高 级 统 计 学 者 都 已 经 感 受 到 数 据 量 的 惊 人 成 长 所 带 来 的 冲 击 科 学 合 作 带 来 的 机 遇 增 长 这 个 报 告 的 第 二 个 主 要 议 题 是 科 学 上 对 统 计 知 识 需 求 的 增 长 给 统 计 学 者 们 带 来 了 与 日 俱 增 的 压 力, 他 们 本 身 需 要 抓 紧 时 间 学 习, 同 时 也 要 给 各 个 科 学 领 域 提 供 指 导 正 如 Odom 报 告 所 指 出 : 无 论 是 在 应 用 还 是 多 个 学 科 的 交 叉 项 目 中, 既 有 误 用 统 计 模 型 的 严 重 问 题 又 有 对 科 学 家, 工 程 师, 社 会 科 学 研 究 者 以 及 其 他 统 计 方 法 的 使 用 者 的 教 育 质 量 的 严 重 问 题 当 观 测 产 生 更 多 的 数 据 时, 或 许 就 要 由 包 括 统 计 学 者 的 研 究 队 伍 来 解 决 这 个 难 题

7 图 3.1 NSF 关 于 学 科 中 博 士 的 调 查 Odom 的 报 告 进 一 步 指 出 将 来 的 科 学 难 题 将 会 非 常 复 杂, 以 及 需 要 多 方 面 的 努 力 报 告 指 出 : 单 个 研 究 者 掌 握 数 学 / 计 算 机 科 学 两 个 学 科 以 及 对 复 杂 问 题 仅 仅 建 立 一 个 科 学 准 则 几 乎 是 不 可 能 的 事 我 们 完 全 同 意 这 个 发 现 并 且 会 进 一 步 给 予 详 细 阐 述 关 于 下 一 代 : 从 几 个 方 面 来 看, 未 来 的 挑 战 对 统 计 学 与 数 学 是 有 所 区 别 的 例 如, 在 Odom 的 报 告 中 指 出 三 个 要 点 : 美 国 数 学 会 同 其 他 国 家 一 样 面 临 着 诸 多 重 大 的 挑 战, 包 括 与 其 他 科 学 领 域 和 工 程 学 的 隔 离 的 环 境 进 入 这 一 领 域 的 年 青 人 数 量 的 滑 坡 与 非 科 学 领 域, 特 别 是 私 人 部 门 联 系 的 匮 乏 ( 我 们 所 强 调 的 观 点 ) 我 们 可 以 发 现, 在 过 去 的 一 些 年 中, 美 国 居 民 进 入 统 计 领 域 的 人 数 确 实 在 不 断 的 缩 减, 博 士 学 位 人 数 的 增 长 主 要 来 自 于 国 外 留 学 者 另 一 方 面, 从 科 学 委 员 会 的 观 点 看, Odom 报 告 中 提 到 的 与 其 他 学 科 领 域 及 非 自 然 科 学 联 系 不 够 的 问 题, 在 统 计 领 域 似 乎 不 存 在 4. 统 计 的 核 心 统 计 学 中 有 一 个 正 在 不 断 扩 展 的 知 识 传 统, 对 此, 没 有 一 个 合 适 的 词 语 来 称 呼, 暂 且 称 之 为 统 计 的 核 心 这 个 术 语 并 没 有 被 学 术 界 广 泛 地 接 受, 所 以 有 必 要 对 它 的 含 义 加 以 阐 明 我 们 定 义 统 计 核 心 为 众 多 统 计 工 作 的 子 集, 这 些 统 计 工 作 指 的 是 统 计 学 内 在 的 研 究 而 不 是 它 的 延 伸, 尤 其 是 那 些 触 及 特 定 学 科 领 域 的 统 计 需 求 作 为 核 心 的 同 义 词, 内 延 ( inreach ) 是 可 以 接 受 的 它 反 映 了 核 心 是 外 延 的 对 立 面 按 照 这 样 的 说 法, 几 乎 所 有 的 统 计 学 家 都 同 时 涉 及 到 了 内 延 和 外 延 对 核 心 领 域 的 研 究 集 中 在 对 统 计 模 型 方 法 和 根 据 统 计 学 一 般 原 理 的 相 关 理 论 的 研 究 目 的 是 创 建 统 一 的 基 本 原 理 概 念 统 计 方 法 以 及 计 算 工 具 尽 管 这 是 一 种 内 部 审 视 的 行 为, 但 是 核 心 的 一 个 中 心 理 念 是 : 一 个 问 题 的 重 要 性 不 是 由 其 内 在 美 ( 即 抽 象 数 学 ) 所 决 定 的, 而 是 由 其 潜 在 的 广 泛 应 用 价 值 所 决 定 的, 换 句 话 说, 是 由 我 们 的 方 法 对 扩 展 科 学 有 效 性 的 理 解 中 的 价 值 决 定 的

8 从 内 在 和 外 在 结 合 的 角 度 来 看, 核 心 可 看 作 一 个 信 息 插 座 核 心 可 以 由 它 和 所 有 其 它 学 科 的 有 效 连 接 和 应 用 来 定 义 核 心 中 的 统 计 概 念 和 方 法 可 同 时 被 用 于 非 常 广 泛 的 学 科, 同 时 应 用 是 统 计 发 展 的 巨 大 源 泉, 作 为 结 论, 核 心 对 所 有 科 学 提 供 了 高 的 价 值 核 心 研 究 有 别 于 特 殊 应 用 统 计 研 究, 后 者 完 全 是 为 解 决 某 一 特 定 科 学 领 域 里 的 问 题 而 需 要 分 析 数 据 所 驱 动 的 必 然 地, 这 种 研 究 以 核 心 知 识 作 为 工 具 以 及 作 为 对 这 些 工 具 局 限 性 的 一 种 认 识 这 种 研 究 为 将 来 核 心 研 究 提 供 了 原 始 素 材 4.1 对 统 计 核 心 互 动 性 的 理 解 有 一 个 指 标 可 以 反 应 统 计 核 心 在 科 学 界 贡 献 的 普 遍 价 值, 那 就 是 统 计 文 献 的 被 引 用 次 数 从 谨 慎 的 角 度 来 看, 被 引 用 次 数 不 要 解 释 过 度, 因 为 单 篇 论 文 的 高 引 用 可 以 反 映 质 量 或 内 在 重 要 性 以 外 的 事 情 我 们 在 这 里 选 择 引 用 次 数 是 因 为 它 可 以 提 供 一 个 简 单 而 又 可 行 的 度 量, 来 衡 量 统 计 在 其 他 科 学 领 域 研 究 里 的 广 泛 影 响 力 图 4.1 被 引 用 最 多 的 数 学 家 的 引 用 次 数 著 名 的 编 制 SCI 和 相 关 文 献 的 科 学 信 息 研 究 所 (ISI), 创 建 了 二 十 世 纪 九 十 年 代 被 引 用 最 多 的 科 学 家 的 几 个 排 行 榜 根 据 Jennifer Minnick 和 ISI 在 2000 年 10 月 11 日 提 供 的 数 据,1991 至 2001 年 之 间 在 前 25 名 被 引 用 最 多 的 数 学 家 中 由 18 位 是 统 计 学 家 或 生 物 统 计 学 家 每 位 学 者 的 被 引 用 次 数 情 况 见 图 4.1 补 充 一 点,JASA(Journal of the American Statistical Association) 则 是 远 远 超 过 被 引 用 次 数 最 多 的 数 学 科 学 杂 志 有 证 据 表 明, 统 计 文 献 相 对 于 整 体 数 学 的 高 引 用 率 是 与 它 广 泛 的 科 学 影 响 分 不 开 的 例 如,Hall 和 Titterington (1987) 的 一 篇 论 文, 文 中 考 虑 了 关 于 在 非 参 数 函 数 估 计 中 选 择 光 滑 参 数 的 棘 手 问 题, 大 约 三 分 之 二 的 引 用 都 是 来 自 与 统 计 核 心 的 任 一 定 义 无 关 的 领 域, 如 :IEEE 杂 志, 显 微 镜, 生 物 医 学 工 程, 以 及 物 理 学 杂 志 (Journal de Physique) 该 论 文 发 表 在 核 心 研 究 杂 志 上 并 不 影 响 它 的 理 论 传 播

9 图 4.2 统 计 信 息 向 其 它 学 科 的 扩 散 一 篇 介 绍 自 助 法 的 论 文, 作 为 最 重 要 的 论 文 之 一, 直 接 从 统 计 核 心 的 研 究 进 入 到 许 多 科 学 的 主 流 领 域 在 该 文 最 新 的 500 次 引 用 中, 只 有 152 次 出 现 在 统 计 文 献 中 图 4.2 表 明, 由 统 计 核 心 产 生 的 新 方 法 得 到 广 泛 的 传 播 当 然, 核 心 也 产 生 于 对 科 学 有 意 义 和 有 用 的 方 法 中, 因 为 它 延 伸 到 某 些 特 殊 领 域, 发 现 重 要 的 概 念, 以 及 创 立 扩 大 可 应 用 性 的 必 要 推 广 例 如, 在 保 险 精 算 中 有 个 特 定 年 龄 死 亡 率 的 问 题, 我 们 可 以 考 虑 这 些 方 法 的 拓 展 在 1972 年 和 1975 年, 提 出 的 比 例 危 险 率 回 归 和 偏 似 然 分 析 (partial likelihood analyses), 使 我 们 可 处 理 关 于 协 变 量 信 息 删 失 的 数 据, 这 极 大 丰 富 了 寿 命 数 据 分 析 的 可 用 工 具 从 那 个 时 候 起, 这 些 思 想 和 这 个 方 法 被 发 展 和 传 播 到 有 删 失 和 部 分 可 观 测 数 据 的 所 有 科 学 中 这 也 许 包 括 天 文 学, 例 如, 一 颗 用 某 种 观 测 工 具 可 以 看 到 的 可 视 星, 可 能 由 于 不 适 当 的 信 号 用 另 一 种 观 测 工 具 却 看 不 到 4.2 互 动 性 的 一 个 详 细 例 子 如 下 最 近 的 例 子 更 具 体 地 表 明 这 样 一 个 事 实 : 统 计 的 核 心 研 究 与 统 计 外 延 努 力 相 互 反 馈 和 相 互 作 用 因 为 至 少 有 一 些 这 类 工 作 是 NSF 资 助 的, 因 此 它 部 分 指 出 了 这 类 相 互 作 用 在 支 持 核 心 研 究 时 应 该 记 住 这 点 去 年, 三 个 天 体 物 理 学 家 在 Science 上 发 表 了 一 篇 证 实 宇 宙 起 源 大 爆 炸 理 论 的 论 文 他 们 研 究 了 当 今 宇 宙 物 质 分 布 中 所 谓 声 音 振 荡 的 痕 迹, 得 出 这 种 痕 迹 是 与 从 早 期 宇 宙 发 出 的 宇 宙 微 波 背 景 辐 射 是 一 致 的 这 不 仅 给 大 爆 炸 理 论 提 供 了 支 持, 也 提 供 了 一 种 认 识 早 期 宇 宙 物 理 性 质 的 方 法, 这 种 方 法 可 以 根 据 随 时 间 向 前 向 后 的 微 波 背 景 辐 射 来 预 测 物 质 的 分 布 情 况 这 个 发 现 是 通 过 使 用 一 种 叫 做 假 发 现 率 ( 周 知 为 FDR) 的 新 统 计 方 法 来 探 测 振 荡 而 得 到 的 在 假 发 现 率 为 1/4 的 情 形 下,8 被 标 记 为 可 能 与 光 滑 无 特 征 的 功 率 谱 不 一 致 这 个 发 现 和 更 深 入 的 分 析 使 得 作 者 得 出 这 样 的 结 论 : 振 荡 在 统 计 意 义 上 不 同 于 通 常 物 质 密 度 功 率 谱 这 种 方 法 是 通 过 与 两 位 统 计 学 家 合 作 完 成 的, 并 发 表 在 天 文 学 杂 志 (The Astronomical Journal) 上 用 这 种 方 法, 作 者 才 能 够 获 得 他 们 的 发 现 而 且 能 够 把 论 文 发 表 在 Science 上, 而 与 此 同 时, 其 它 的 竞 争 团 队 却 由 于 数 据 过 多 而 难 以 前 进 追 踪 这 个 成 功 的 历 史 是 件 很 有 意 义 的 事 情, 因 为 它 很 好 地 描 述 了 统 计 核 心 如 何 作 为 信 息 插 座 而 运 作 图 4.3 描 述 了 该 统 计 思 想 的 迁 移 路 径

10 当 人 们 根 据 同 一 数 据 集 检 验 许 多 假 设 时, 必 须 调 整 检 验 的 显 著 性 水 平 以 免 错 误 地 拒 绝 真 正 的 原 假 设 这 种 同 时 推 断 问 题 也 许 在 医 学 统 计 中 受 到 高 度 重 视, 至 少 所 引 用 的 所 有 参 考 文 献 是 作 为 动 机 出 现 在 医 学 文 献 中 的 确 实, 这 儿 统 计 的 贡 献 不 是 提 出 用 于 本 例 中 的 序 贯 P- 值 程 序 ( 这 种 程 序 实 际 上 可 以 追 溯 到 80 年 代 ( 也 许 更 早 ) 的 西 门 斯 (Simes)), 而 是 建 立 起 了 一 种 令 人 信 服 的 理 论 判 断 这 种 理 论 判 断, 也 就 是 FDR 控 制, 导 致 了 其 他 研 究 人 员 提 出 一 种 新 的 估 计 这 个 估 计 建 议 引 起 了 别 人 的 注 意, 因 为 它 对 统 计 信 号 过 程 中 小 波 缩 减 方 法 中 阈 值 的 选 取 有 着 潜 在 的 作 用 CMU CMU( 卡 内 基 梅 隆 大 学 ) 的 统 计 工 作 者 已 经 开 始 使 用 FDR 方 法 了, 不 仅 在 核 心 课 题 中 使 用, 而 且 也 在 他 们 与 天 体 物 理 学 家 Miller 和 Nichol 的 合 作 中 使 用 最 初, 他 们 考 虑 巨 大 像 素 阵 列 的 信 号 探 测 问 题 后 来, 在 他 们 的 合 作 中, 物 理 学 家 们 发 现 这 种 方 法 可 以 应 用 到 声 音 振 荡 信 号 中, 正 是 这 个 发 现 导 致 了 Science 的 一 篇 论 文 Miller 和 Nichol 称, 当 他 们 把 这 一 工 作 向 物 理 学 界 报 告 的 时 候, 人 们 对 FDR 方 法 表 示 了 极 大 的 兴 趣 CMU 物 理 学 教 授 Bob Nichol 写 道 : 我 个 人 愿 意 强 调, 在 CMU 的 统 计 学 家 和 天 体 物 理 学 家 已 经 产 生 了 某 种 共 生 关 系 现 在 已 经 很 清 楚 存 在 着 两 个 领 域 的 研 究 者 们 都 感 兴 趣 的 公 共 核 心 问 题, 如 把 FDR 方 法 用 于 天 体 物 理 问 题 实 际 上, 当 统 计 学 家 乐 于 扮 演 帮 助 认 识 宇 宙 的 角 色 时, 天 体 物 理 学 家 对 统 计 的 数 学 美 也 甚 是 赏 识 ( 甚 至 想 参 与 其 中 ) 除 了 这 些 联 合 项 目 外, 这 种 合 作 也 推 动 着 各 自 领 域 里 新 的 研 究 总 之, 这 种 多 渠 道 合 作 不 仅 激 发 了 新 的 联 合 研 究, 也 激 发 了 各 自 领 域 中 新 的 研 究 因 此, 这 是 一 个 完 美 的 结 合 4.3 一 系 列 研 究 挑 战 下 面 我 们 将 给 出 未 来 在 统 计 研 究 的 核 心 领 域 中 将 要 面 临 的 一 些 重 要 挑 战 的 建 议 我 们 认 为 统 计 领 域 中 的 这 些 挑 战 和 其 他 科 学 领 域 有 着 内 在 的 细 微 区 别 例 如 在 数 学 领 域, 大 多 数 重 点 都 放 在 那 些 延 续 下 来 的 持 久 性 的 挑 战, 而 在 统 计 领 域, 统 计 问 题 总 是 随 着 新 的 数 据 结 构 和 新 的 计 算 方 法 而 发 展 的 和 实 验 科 学 不 同, 统 计 学 没 有 在 主 要 研 究 前 沿 上 与 众 多 实 验 室 竞 争 或 共 同 运 行 而 需 要 大 的 花 费 问 题 大 多 数 最 重 要 的 进 步 是 不 可 预 测 的, 也 许 这 一 点 统 计 学 比 其 它 学 科 更 有 体 会 正 是 因 为 如 此, 我 们 需 要 保 持 一 种 理 解 的 哲 学, 即 足 够 的 灵 活 性 以 适 应 变 化 的 哲 学 同 时, 要 注 意 到 这 些 未 来 的 研 究 不 能 退 化 为 各 种 不 同 工 具 的 组 合 我 们 可 以 确 定 一 些 导 致 现 代 核 心 领 域 研 究 的 广 泛 的 论 题 这 些 挑 战 主 要 是 基 于 概 念 框 架 的 发 展 和 用 多 参 数, 多 刻 度, 以 及 有 复 杂 相 依 结 构 的 适 当 的 渐 近 逼 近 理 论 来 处 理 ( 可 能 的 ) 海 量 观 测 值 数 据 的 规 模 注 意 到 所 收 集 数 据 的 爆 炸 已 成 为 很 普 遍 的 事 如 下 观 点 虽 属 老 生 常 谈 但 仍 然 正 确 : 数 据 增 加 呈 指 数 型, 数 据 分 析 呈 二 次 增 长, 而 统 计 学 家 增 长 是 线 性 的 1994 年 Huber 关 于 数 据 大 小 的 分 类 方 法, 很 小 2 10, 小 4 10, 中 等 6 10, 大 8 10, 巨 大 看 起 来 是 很 奇 怪 的 (Wegman,1995) 例 如, 在 斯 坦 福 线 性 加 速 器 中 心, 当 用 BaBaR 探 15 测 器 作 单 粒 子 物 理 试 验 时 的 一 个 数 据 库 为 5 10 比 特 在 每 一 个 规 模 上, 我 们 有 许 多 问 题 需 要 研 究 在 100 以 下 的 数 据 集 范 围 内, 我 们 还 没 有 解 决 所 有 的 问 题 然 而, 对 统 计 新 的 挑 战 是 各 种 结 果 的 混 合, 例 如, 可 归 纳 性 可 测 量 性 稳 健 性, 以 及 对 数 据 科 学 理 解 的 深 度, 将 随 着 规 模 和 内 容 而 变 化 而 且, 显 然 我 们 的 研 究 及

11 研 究 生 教 育 还 没 有 完 全 认 识 到 与 大 规 模 数 据 相 联 系 的 计 算 和 其 它 结 果 数 据 缩 减 和 压 缩 我 们 需 要 更 多 的 压 缩 原 理 : 费 歇 尔 (R. A. Fisher) 给 出 了 许 多 重 要 的 思 想, 例 如 : 充 分 性 辅 助 性 条 件 变 量, 变 换 枢 轴 法, 和 渐 近 最 优 性, 后 来 又 有 了 不 变 方 差 然 而, 在 诸 如 模 型 选 择 预 测 和 分 类 等 领 域 显 然 需 要 新 思 想 来 指 导 我 们 一 种 新 思 想 是 用 压 缩 作 为 数 据 分 析 中 的 指 导 性 方 法 对 我 们 而 言 基 本 想 法 是 一 个 好 的 理 解 数 据 的 结 构 是 我 们 不 仅 能 够 压 缩 储 存 它 们 而 且 能 够 解 压 缩 和 几 乎 恢 复 原 始 信 息 例 如, 在 信 号 和 图 像 数 据 领 域, 小 波 在 表 达 和 压 缩 图 像 中 的 曲 线 边 界 时 实 际 上 不 是 最 优 的 这 就 要 求 我 们 需 要 新 的 表 示 系 统 以 便 更 好 地 压 缩 机 器 学 习 和 神 经 网 络 现 在 有 很 多 特 别 的 方 法 和 计 算 策 略 来 处 理 工 业 强 度 的 数 据 其 中 大 多 数 方 法 不 能 通 过 泛 泛 的 理 解 推 出 来, 而 且 它 们 也 没 有 被 溶 入 到 主 流 统 计 中 来 这 些 方 法 是 由 机 器 学 习 协 会 等 在 分 析 庞 大 而 复 杂 的 数 据 中 发 展 起 来 的, 因 此 未 来 的 工 作 应 该 包 含 把 这 些 方 法 有 条 理 地 整 合 到 核 心 统 计 中 去 这 些 研 究 大 体 上 是 建 立 模 型 和 结 构, 这 些 模 型 和 结 构 允 许 风 险 学 科 以 及 基 于 数 据 的 风 险 评 价 这 将 包 括 在 定 向 适 应 的 建 模 过 程 中 研 究 一 些 主 要 的 工 具 对 大 p 小 n 的 多 元 分 析 在 许 多 重 要 的 统 计 应 用 中, 变 量 数 ( p ) 往 往 要 比 观 测 单 元 数 ( n ) 小 这 样 的 例 子 包 括 曲 线 数 据 光 谱 图 像 以 及 DNA 微 阵 数 据 的 分 析 最 近 在 荷 兰 来 顿 (Leiden) 举 行 的 名 为 高 维 数 据 : p >> n 在 数 理 统 计 和 生 物 医 学 中 的 应 用 的 研 讨 会 突 出 了 该 课 题 与 统 计 中 很 多 领 域 交 叉 研 究 的 重 要 性 下 面 这 个 比 较 特 殊 的 例 子 可 以 用 来 描 述 其 它 领 域 的 新 息 如 何 能 够 证 明 本 问 题 是 有 用 的, 因 此 加 强 了 核 心 统 计 继 续 往 外 延 伸 的 观 点 随 机 矩 阵 理 论 描 述 了 这 样 一 类 模 型 和 方 法, 这 些 模 型 和 方 法 始 于 在 数 学 物 理 中 对 复 杂 原 子 核 能 级 的 研 究, 并 在 最 近 40 年 里 发 展 起 来 的 最 近 几 年 这 些 思 想 引 起 了 概 率 论 和 组 合 数 学 的 兴 趣 目 前 应 用 和 研 究 在 高 维 情 况 下 统 计 和 数 据 分 析 中 的 方 法 的 时 机 似 乎 已 经 成 熟 例 如, 在 许 多 领 域 中 科 学 家 用 大 的 数 据 矩 阵 ( 许 多 观 测 值 ( n ) 和 许 多 变 量 ( p )) 做 研 究, 几 乎 没 有 统 计 理 论 来 支 持 和 理 解 用 于 维 数 缩 减 的 启 发 性 方 法, 如 主 成 分, 典 型 相 关 等 早 期 结 果 显 示 大 n- 大 p 理 论 有 些 时 候 提 供 了 比 经 典 的 大 n- 固 定 p 的 渐 近 理 论 更 有 用 和 更 好 的 近 似 例 如, 关 于 高 斯 正 交 总 体 的 Tracy-Widom 分 布 提 供 了 单 一 的 分 布, 经 过 恰 当 的 中 心 化 和 刻 度 变 换, 它 提 供 了 关 于 极 值 主 成 分 和 典 型 相 关 系 数 在 零 假 设 下 分 布 的 非 常 精 确 的 描 述 贝 叶 斯 估 计 和 有 偏 估 计 九 十 年 代 带 来 的 计 算 技 术 的 发 展 和 效 率 使 得 贝 叶 斯 方 法 可 以 在 很 广 泛 的 模 型 类 中 实 现 未 来 几 十 年 的 挑 战 是 充 分 研 究 和 开 发 将 贝 叶 斯 方 法 和 近 代 非 参 数 半 参 数 统 计 方 法 联 系 在 一 起 的 纽 带, 包 括 将 贝 叶 斯 方 法 和 频 率 论 方 法 的 尽 可 能 结 合 的 研 究 一 个 显 然 的 结 果 是 对 于 有 许 多 变 量 的 海 量 数 据 模 型, 无 偏 性 和 近 似 无 偏 性 的 概 念 ( 例 如 MLE) 将 会 变 得 毫 无 用 处, 因 为 统 计 方 法 中 隐 含 的 数 据 综 合 的 概 念 将 由 于 无 偏 方 法 的 复 杂 性 和 变 化 性 而 失 去 意 义 因 此 需 要 更 广 的 有 偏 估 计 理 论 和 处 理 有 很 多 变 量 的 海 量 数 据 的 新 理 论

12 除 了 蒙 特 卡 罗 方 法 在 建 模 实 践 中 不 断 增 长 的 作 用 外, 显 然 也 需 要 深 入 的, 用 于 推 断 的 蒙 特 卡 罗 方 法 的 分 析 在 证 明 和 计 算 实 验 之 间 的 中 间 地 带 未 来 几 十 年 对 理 论 工 作 最 后 的 挑 战 是 研 究 证 明 速 度 ( 太 慢 ) 和 无 约 束 的 计 算 实 验 的 沼 泽 地 ( 太 武 断 且 没 有 说 服 力 ) 之 间 的 协 议 中 间 地 带 在 数 学 证 明 中 存 在 许 多 问 题, 由 于 证 明 太 难 以 及 证 明 不 太 重 要 这 两 个 原 因, 严 格 的 数 学 验 证 也 许 要 落 后 于 方 法 的 研 究 例 如, 尽 管 几 十 年 的 工 作, 有 许 多 重 要 的 统 计 模 型 类, 例 如 混 合 模 型, 其 中 可 识 别 性 问 题 根 本 不 考 虑, 因 为 含 有 很 难 的 分 析 和 需 要 研 究 的 模 型 结 构 的 不 断 扩 展 4.4 对 核 心 的 机 遇 和 需 求 如 果 收 集 的 数 据 和 数 据 分 析 的 需 求 呈 指 数 增 长, 核 心 为 什 么 要 达 到 相 应 水 平? 这 是 因 为 统 一 的 思 想 可 能 减 弱 增 长, 而 统 计 的 核 心 领 域 是 可 以 产 生 思 想 和 通 过 科 学 进 行 沟 通 的 地 方 也 就 是 说, 从 在 数 据 分 析 中 能 有 效 组 织 和 传 达 的 观 点 来 看, 发 展 核 心 领 域 统 计 实 际 上 对 科 学 而 言 是 一 个 重 要 的 基 础 目 的 在 数 据 分 析 方 法 激 增 的 领 域 之 间, 一 个 健 康 的 统 计 核 心 理 论 ( 通 过 与 应 用 有 机 的 联 系 ) 对 于 有 效 地 消 化, 开 发 和 传 播 来 说 是 最 有 希 望 的 由 此 可 见, 总 的 来 说 它 是 科 学 的 重 要 基 石 适 应 核 心 外 的 数 据 分 析 数 据 需 求 的 增 长 对 统 计 学 家 提 出 了 独 特 的 挑 战, 要 求 他 们 在 适 当 的 时 间 内 为 在 其 他 领 域 发 展 出 来 的 许 多 数 据 分 析 方 法 提 供 智 力 结 构 正 如 一 位 首 席 统 计 学 家 说 的 : 如 果 我 们 不 想 被 机 器 学 习 者 或 计 算 机 科 学 家 取 代, 他 们 专 门 从 事 某 些 有 意 义 的 应 用 领 域, 而 且 在 他 们 自 己 的 势 力 范 围 内 有 天 然 的 优 势, 则 我 们 必 须 经 常 考 虑 一 些 好 的 统 计 思 想, 这 些 统 计 思 想 容 易 被 使 用 者 接 受 核 心 研 究 的 分 裂 我 们 的 理 解 是 统 计 的 超 越 能 力 是 很 高 的, 且 由 于 各 种 好 的 理 由 这 种 势 头 还 在 上 升 一 统 的 观 念 可 能 减 弱 这 种 增 长, 而 统 计 的 核 心 领 域 是 可 以 产 生 思 想 和 通 过 科 学 进 行 交 流 的 地 方 但 是 这 种 增 长 也 会 产 生 这 样 一 种 结 果, 我 们 认 为 是 非 故 意 的, 即 对 基 础 研 究 的 相 对 忽 略, 以 及 统 计 领 域 分 裂 的 潜 在 危 险 我 们 再 次 强 调 核 心 研 究 的 重 要 性 :FDR 例 子 说 明 对 特 殊 方 法 的 方 法 论 / 理 论 洞 察 力 扩 大 了 它 们 潜 在 的 应 用 有 人 或 许 会 提 到 一 些 数 据 来 支 持 下 面 的 说 法 : 在 前 些 年 里, 根 据 由 Stephen Stigler 提 出 的 出 口 得 分 分 析, 统 计 年 鉴 是 最 有 影 响 力 的 统 计 杂 志 然 而, 根 据 最 近 的 趋 势 反 映, 提 交 该 杂 志 的 论 文 已 经 下 降 了 大 约 25%, 也 许 是 非 偶 然 的, 美 国 作 者 的 比 例 也 由 20 年 前 的 70% 降 到 到 现 在 的 35% 这 个 人 力 资 源 问 题 注 定 会 变 得 更 坏, 因 为 统 计 的 博 士 生 通 过 求 职 市 场 明 显 发 现 超 越 技 术 有 很 高 的 价 值 在 专 业 需 求 中 的 增 长 统 计 的 核 心 研 究 在 工 具 上 是 多 学 科 的 : 它 至 少 借 助 于 信 息 论 计 算 机 科 学 物 理 学 以 及 概 率 论 和 传 统 数 学 领 域 因 为 统 计 学 家 变 得 越 来 越 重 视 数 据 ( 在 解 决 现 代 规 模 和 范 围 的 实 际 问 题 的 意 义 上 ), 在

13 核 心 领 域 中 需 要 的 数 学 技 巧 已 经 提 高 例 如, 统 计 学 家 也 许 需 要 懂 得 复 分 析 ( 鞍 点 ) 代 数 学 ( 列 联 表 ) 马 尔 可 夫 链 (MCMC), 或 者 泛 函 分 析 ( 建 立 复 模 型 ) 同 时 需 要 足 够 多 的 计 算 机 科 学 家 去 发 展 数 据 分 析 所 需 的 算 法 和 计 算 机 软 件 需 要 不 断 增 长 的 技 术 手 段 给 予 了 我 们 第 二 个 方 面 的 挑 战 : 保 持 核 心 活 力 作 为 统 计 思 想 整 合 的 一 个 场 所 5. 科 学 与 工 业 中 的 统 计 统 计 学 作 为 一 门 学 科, 它 的 一 个 显 著 特 征 就 是 它 与 整 个 自 然 科 学 社 会 科 学 和 技 术 的 相 互 作 用 这 一 章 主 要 阐 述 统 计 学 在 广 泛 的 领 域 内 对 于 人 类 提 高 认 识 所 起 的 作 用 5.1 生 物 统 计 二 十 世 纪 上 半 叶 农 业 和 遗 传 统 计 学 首 先 获 得 了 发 展, 在 其 基 础 上 发 展 起 来 的 生 物 统 计 学 统 计 流 行 病 学 随 机 化 临 床 试 验 学 已 经 成 为 攻 克 人 类 疾 病 的 一 个 里 程 碑 这 在 过 去 的 半 个 世 纪 里 显 著 提 高 了 人 类 的 期 望 寿 命 最 近 在 分 子 生 物 和 遗 传 领 域 取 得 重 要 进 展, 使 得 人 类 在 可 以 预 见 的 将 来 在 分 子 层 面 上 对 基 础 生 命 过 程 的 理 解 将 有 飞 速 的 进 展 该 项 研 究 的 长 期 目 标 是 把 分 子 过 程 的 知 识 应 用 到 整 个 有 机 体 和 种 群 上 这 些 目 标 包 括 对 个 人 医 疗 方 案 的 改 善 ( 即 设 计 出 个 性 化 基 因 疗 法 ), 通 过 改 良 重 要 的 农 作 物 品 种 和 家 畜 来 缓 解 营 养 不 良 和 饥 饿 问 题, 改 进 公 共 卫 生, 以 及 更 好 地 防 范 生 物 恐 怖 袭 击 (bioterrorism) 除 了 对 即 将 在 下 文 讨 论 的 新 生 物 学 所 产 生 的 问 题 的 新 解 决 方 法 外, 统 计 研 究 的 成 功 也 依 赖 于 对 在 过 去 半 个 世 纪 中 发 展 起 来 的 临 床 诊 断 实 验 室 试 验 和 野 外 试 验, 以 及 观 测 研 究 等 统 计 方 法 更 好 的 理 解 和 这 些 方 法 的 进 一 步 的 发 展 统 计 和 计 算 方 法 已 经 扮 演 和 会 继 续 扮 演 重 要 角 色 的 大 体 上 包 括 如 下 四 个 领 域 :(A) 计 算 基 因 组 学, 特 别 包 括 生 物 分 子 序 列 分 析 和 功 能 基 因 组 学 ;(B) 遗 传 流 行 病 学 和 基 因 定 位 (gene mapping);(c) 进 化 和 种 群 遗 传 学 以 及 生 态 学 ;(D) 计 算 神 经 学 (A) 生 物 分 子 序 列 分 析 和 功 能 基 因 组 学 是 一 种 生 物 研 究 方 法, 它 是 基 于 DNA 序 列 ( 基 因 构 成 片 段 ) 分 析 氨 基 酸 序 列 ( 蛋 白 质 的 构 成 片 段 ) 分 析, 以 及 在 各 种 细 胞 状 态 下 的 RNA 和 蛋 白 质 的 全 剖 面 (grobal profile) 分 析, 来 发 现 基 因 和 蛋 白 质 的 结 构 和 演 化 过 程, 以 及 它 们 在 正 常 和 不 正 常 过 程 中 的 功 能, 例 子 包 括 1 数 据 库 搜 索 : 基 于 蛋 白 质 序 列 对 齐, 比 较 新 发 现 蛋 白 质 与 已 研 究 过 的 有 关 蛋 白 质 来 推 断 新 蛋 白 质 的 机 能 2 识 别 基 因 组 中 的 控 制 区 域 : 这 个 基 因 组 区 域 控 制 蛋 白 质 的 数 量 以 及 产 生 蛋 白 质 的 条 件 3 不 同 生 物 或 动 物 种 群 的 同 源 遗 传 区 域 的 序 列 对 比 : 这 是 推 断 它 们 种 群 史 的 第 一 步 4 在 正 常 和 疾 病 细 胞 中 基 因 表 达 水 平 的 比 较 分 析 : 它 不 仅 可 以 为 那 些 表 现 出 相 似 临 床 症 状 的 疾 病 提 供 客 观 和 不 同 的 诊 断, 而 且 在 了 解 疾 病 病 理 学 中 基 因 的 过 表 达 和 欠 表 达 规 律 的 基 础 上, 为 该 类 疾 病 大 体 上 提 供 成 功 治 疗 的 途 径 在 这 个 领 域 很 有 希 望 的 方 向 包 括 在 分 子 医 药 学 细 胞 和 发 展 生 物 学 这 些 领 域 使 用 计 算 的 和 功 能 遗 传 学 的 方 法 分 子 医 药 学 包 括 以 下 几 个 方 面 的 研 究 : 用 遗 传 数 据 来 识 别 对 药 品 毒 性 有 风 险 的 人 群 ; 基 于 基 因 型 RNA 和 蛋 白 质 外 形 (profile) 研 究 疾 病 子 类 型 的 更 细 的 分 类 ; 根 据 用 分 子 水 平 分 析 得 到 的 预 测 模 型 来 发 展 个 性 化 的 治 疗 方 法 在 这 个 方 向 上 研 究 的 理 由 最 终 将 依 赖 于 传 统

14 的 针 对 临 床 的 生 物 统 计 学 领 域, 如 临 床 试 验 和 队 列 研 究 对 生 物 统 计 学 科 来 说, 这 是 一 个 充 满 无 限 机 遇 的 领 域 尽 管 统 计 学 在 细 胞 和 发 展 生 物 学 方 面 还 没 有 完 全 建 立 起 来, 但 随 着 设 计 越 来 越 大 的 试 验 方 案, 例 如, 目 前 按 96 井 或 384 井 精 心 安 排 的 试 验 分 析 来 平 行 获 得 上 千 个 基 因 promoter 活 性 的 真 实 时 间 测 量, 新 的 统 计 和 计 算 方 法 对 将 来 该 方 向 的 进 步 是 本 质 的 借 助 于 时 衰 显 微 镜 (time-lapsed), 杂 交 和 抗 体 着 色 中 的 大 量 图 象 将 动 态 地 提 供 在 有 机 体 发 展 的 每 个 阶 段 上 发 生 的 关 键 分 子 事 件 特 别 令 人 兴 奋 的 一 个 研 究 方 向 是 研 究 方 法 的 进 步, 它 有 能 力 把 来 自 第 一 手 文 献 (PubMed, 在 线 文 章 ) 和 数 据 库 ( 如,Locus Link,OMIM, Flybase,Gene Ontology) 与 大 型 的 功 能 功 能 基 因 组 学 和 细 胞 成 像 数 据 分 析 信 息 结 合 起 来 (B) 遗 传 流 行 病 学 的 目 标 是 理 解 环 境 和 遗 传 在 人 类 疾 病 中 的 相 对 重 要 性 基 因 定 位 包 括 使 用 分 子 标 记 图, 来 确 定 与 感 兴 趣 的 表 现 型 有 关 的 基 因 的 位 子 这 经 常 是 它 迈 向 更 好 理 解 并 治 疗 动 植 物 中 遗 传 疾 病 的 第 一 步 人 们 也 希 望 对 导 致 那 些 在 重 要 农 作 物 和 家 畜 中 具 有 所 需 特 性 的 基 因 定 位, 或 对 生 物 体 模 型 中 表 现 型 的 基 因 定 位, 如 对 实 验 鼠, 这 可 以 对 类 似 的 人 类 表 现 型 的 遗 传 提 供 线 索 在 实 验 生 物 体 中 遗 传 定 位 包 括 生 殖 试 验 设 计 以 获 得 最 多 的 信 息 关 于 不 能 进 行 生 殖 实 验 的 人 类 基 因 定 位 则 更 复 杂, 一 些 方 法 解 释 了 家 族 成 员 间 的 关 联, 而 另 外 一 些 方 法 包 含 了 对 一 人 群 内 个 体 之 间 更 难 于 推 断 和 更 复 杂 的 关 联 (C) 进 化, 种 群 遗 传 学 和 生 态 学 研 究 发 生 在 动 植 物 中 总 群 水 平 下 的 变 化, 这 种 变 化 是 由 于 基 因 库 的 随 机 突 变 和 环 境 发 生 引 起 的 虽 然 最 初 定 位 于 进 化 关 系 的 研 究 ( 例 如, 支 持 现 代 人 类 有 共 同 非 洲 祖 先 假 设 的 证 据 ), 种 群 基 因 的 概 念 逐 渐 用 于 理 解 细 菌 和 病 毒 的 进 化 ( 为 了 提 供 合 适 的 疫 苗 和 药 品 ) 和 不 同 的 动 植 物 种 群 中 蛋 白 质 的 进 化 ( 通 过 识 别 进 化 中 保 存 下 来 的 不 同 物 种 中 的 相 关 蛋 白 质 部 分 来 理 解 蛋 白 质 的 结 构 和 功 能 ) (D) 运 用 现 代 神 经 成 像 学 (PET,fMRI), 计 算 神 经 学 试 图 在 少 量 的 交 互 神 经 水 平 下 和 整 个 大 脑 水 平 下 来 理 解 神 经 系 统 功 能 : 在 什 么 条 件 下, 哪 部 分 大 脑 被 激 活? 正 常 人 和 精 神 病 人 的 大 脑 在 结 构 和 / 或 功 能 方 面 有 什 么 区 别? 以 及 如 何 利 用 这 些 知 识 来 诊 断 和 治 疗? 计 算 神 经 学 涵 盖 了 基 本 的 分 子 生 物 学, 从 离 子 通 道 行 为 的 研 究 简 单 神 经 网 络 中 的 神 经 元 脉 冲 建 模 嗅 觉 视 觉 感 受 器 的 反 应, 到 用 于 活 大 脑 成 像 和 冷 冻 切 片 技 术 的 宏 观 测 量 方 法, 再 到 计 算 视 觉 中 的 抽 象 方 法 统 计 在 分 析 的 每 个 水 平 上 发 挥 了 至 关 重 要 的 作 用 统 计 方 法 和 计 算 方 法 对 于 这 些 大 量 的 科 学 问 题, 统 计 概 率 和 计 算 的 方 法 已 被 证 明 是 非 常 有 用 的 一 些 方 法 适 用 于 许 多 领 域, 而 另 外 一 些 方 法 适 用 于 某 些 特 殊 的 领 域 随 机 过 程, 从 有 限 马 尔 可 夫 链 到 点 过 程 和 高 斯 随 机 场, 在 所 有 问 题 中 都 很 有 用 分 类 聚 类 和 主 成 分 分 析 等 统 计 方 法 广 泛 地 应 用 于 (A) 和 (D), 随 机 过 程 中 的 似 然 分 析 和 / 或 贝 叶 斯 分 析 在 (A) (B) 和 (C) 中 是 非 常 重 要 的 由 于 大 量 产 生 的 数 据, 如 个 体 样 本 中 上 万 个 基 因 的 微 阵 表 达 水 平, 或 来 自 于 分 布 于 上 千 个 个 体 基 因 的 上 千 个 标 记 的 数 据 ( 将 来 可 能 达 到 十 万 个 ), 对 产 生 于 (A) (B) 和 (D) 中 的 多 重 比 较 问 题 提 出 了 挑 战 在 计 算 和 最 大 化 (A ) (B) 和 (C) 中 的 似 然 函 数 时, 隐 马 尔 科 夫 模 型 和 MCMC( 马 尔 科 夫 - 蒙 特 卡 洛 ) 提 供 了 重 要 的 计 算 算 法 一 部 分 统 计 方 法 虽 然 需 要 作 适 当 的 修 改 ( 主 成 分 曲 线, 随 机 过 程 的 似 然 分 析 ) 来 处 理 由 现 代 生 物 实 验 所 产 生 的 大 量 数 据, 但 是 这 些 方 法 仍 然 是 经 典 的 ( 例 如, 主 成 分 似 然 分 析 ); 其 他 统 计 方 法 ( 隐 马 尔 科 夫 模 型 MCMC) 是 近 期 与 实 现 它 们 所 需 的 现 代 计 算 技 术 同 步 发 展 起 来 的 另 外 还 有 一 些 统 计 方 法, 它 们 对 单 个 领 域 的 发 展 是 至 关 重 要 的 一 个 例 子 是 运 用 树 ( 系 统 发 育 树 和 粘 联 树 ) 来 描 述 群 体 内 部 个 体 之 间 以 及 不 同 群 体 之 间 的 进 化 关 系 ( 树 在 聚 类 分

15 析 中 也 起 到 一 个 方 法 的 作 用 ) 试 验 设 计 和 方 差 分 量 为 基 因 定 位 提 供 了 重 要 工 具 许 多 方 法 在 与 应 用 密 切 相 关 的 领 域 中 已 经 发 展 起 来 了, 人 们 期 望 将 来 重 要 的 贡 献 来 自 于 对 特 定 应 用 有 很 深 造 诣 的 统 计 学 家 无 论 如 何, 这 些 方 法 是 建 立 在 一 种 理 论 框 架 上, 这 种 理 论 是 为 了 响 应 其 他 一 些 感 知 的 需 要 而 发 展 起 来 的, 它 们 经 常 来 自 于 与 现 代 生 物 学 无 关 的 领 域 在 数 个 不 同 领 域 找 到 应 用 的 那 些 方 法 的 共 同 方 法 论 特 征 激 励 人 们 去 获 得 更 好 的 理 论 理 解, 到 那 时 那 种 理 解 也 不 局 限 于 一 个 特 定 的 应 用 值 得 注 意 的 是 由 于 知 识 大 爆 炸, 许 多 知 识 都 超 越 了 它 们 传 统 的 界 限, 正 在 培 养 的 下 一 代 科 学 家 将 需 要 某 种 舆 论, 这 包 括 什 么 概 念 将 是 重 要 的 以 及 一 般 方 法 论 与 专 业 物 质 学 科 知 识 之 间 的 平 衡 以 上 所 讲 到 的 共 同 特 征 就 是 数 据 的 量 化 复 杂 性 和 可 变 性 计 算 ( 通 常 包 括 图 形 ) 是 实 现 每 种 想 法 的 一 个 重 要 方 面 由 于 从 事 生 物 研 究 的 科 学 家 有 不 同 的 数 学 和 计 算 背 景, 因 此 把 算 法 尽 可 能 看 作 用 户 友 好 这 一 点 很 重 要 这 可 能 需 要 专 家 的 支 持 来 提 供 前 台 界 面 ( front end ) 和 必 要 的 文 档 支 持, 以 便 实 验 科 学 家 能 够 轻 松 自 如 和 正 确 地 运 用 统 计 学 家 开 发 的 工 具 例 子 例 1:, 在 解 决 生 物 学 重 要 的 具 体 问 题 时 需 要 广 博 的 数 学 知 识 是 非 常 重 要 的 这 可 以 从 如 何 计 算 DNA 序 列 对 齐 的 统 计 显 著 性 这 个 例 子 中 看 出 ( 参 见 上 述 (A)1 下 面 ) 这 门 学 科 的 现 代 历 史 大 约 开 始 于 1990 年, 当 时 一 组 从 事 分 析 单 个 DNA 或 蛋 白 质 序 列 用 途 的 研 究 人 员 证 实 了 与 Iglehart 在 1970 年 发 现 的 研 究 结 果 ( 排 队 论 的 一 个 研 究 成 果 ) 有 关 与 此 同 时, 其 他 研 究 人 员 推 测 对 成 对 序 列 对 齐 也 有 一 个 相 似 结 果, 另 一 组 研 究 队 伍 在 1994 年 证 明 了 一 个 更 困 难 的 结 果, 但 是 它 仅 适 用 于 没 有 缺 口 (gap) 数 据 的 人 为 简 化 的 问 题 根 据 Karlin 和 Altschul 猜 想 Waterman 和 Vingron 猜 想 (1994), 即 相 同 参 数 形 式 的 近 似 也 许 对 更 重 要 的 有 缺 口 的 实 际 情 况 是 有 效 的, 蒙 特 卡 洛 (MC) 方 法 被 发 展 来 估 计 上 述 参 数 这 些 MC 估 计 被 编 成 了 广 泛 使 用 的 BLAST 软 件, 但 是 由 于 计 算 速 度 太 慢, 它 们 的 应 用 仅 局 限 于 上 述 的 一 小 部 分 研 究 案 例 中 受 应 用 于 质 量 控 制 方 法 的 启 发, 人 们 得 到 了 对 有 缺 口 数 据 对 齐 的 一 种 近 似 方 法, 它 虽 然 不 精 确, 但 是 非 常 容 易 估 计 当 前 的 研 究 继 续 致 力 于 寻 找 一 个 能 成 功 地 把 适 用 性 估 计 的 速 度 和 精 度 结 合 在 一 起 的 一 种 近 似 例 2: 促 进 新 的 计 算 和 统 计 工 具 快 速 发 展 的 领 域 是 cdna 微 阵 分 析, 它 用 于 在 各 类 生 物 研 究 中 测 量 基 因 表 达 一 个 典 型 的 问 题 是 评 估 对 照 和 处 理 组 之 间 的 不 同 表 达, 它 们 来 自 于 相 对 小 的 个 体 样 本 的 大 量 ( 几 千 ) 基 因 描 述 性 统 计 学 ( 经 常 以 聚 类 算 法 形 式 出 现 ) 以 及 推 断 统 计 学 ( 用 于 处 理 由 同 时 比 较 上 千 个 基 因 而 产 生 的 特 殊 问 题 ) 都 起 着 重 要 的 作 用 例 如 统 计 学 家 与 肿 瘤 与 生 物 化 学 研 究 者 合 作 开 发 出 了 微 阵 显 著 性 分 析 软 件 (SAM)( 斯 坦 福 大 学 ) 这 个 软 件 是 在 测 量 人 类 细 胞 对 电 离 辐 射 遗 传 反 应 实 验 的 推 动 下 开 发 出 来 的 方 法 非 常 简 单, 在 Excel 表 中 就 可 以 操 作 这 个 软 件 包 在 2001 年 4 月 发 表 之 后, 已 经 被 下 载 3400 多 次 了 例 3: 由 K. Worsely 所 提 供 的 这 个 例 子 用 来 说 明 更 高 级 的 数 学 和 计 算 方 法 提 升 了 对 复 杂 数 据 的 视 觉 理 解 K.Worsely 在 他 最 近 的 十 年 里 主 要 致 力 于 脑 成 像 数 据 的 研 究, 这 些 数 据 来 自 于 正 电 子 发 射 断 层 成 像 术 (positron emission tomogtaphy)(pet ) 或 来 自 于 功 能 磁 性 共 振 成 像 (functional magnetic resonance imaging)(fmri)( 以 及 类 似 的 天 体 物 理 的 数 据 )( 参 见 Worsley Evans,Marrett and Neelin (1992)) 或 Worsley,et al.(2002) Worsley 运 用 微 分 和 积 分 几 何 的 数 学 思 想 来 评 价 在 受 到 外 部 刺 激 条 件 下 神 经 活 动 区 域 的 统 计 意 义 其 中 微 分 和 积 分 几 何 是 首 先 由 C. F. 高 斯 在 1800 年 代 发 展 起 来 的 图 5.1 就 是 从 Worsley 的 软 件 中 导 出 的 一 个 例 子

16 总 之, 由 现 代 生 物 实 验 产 生 的 大 量 数 据 及 人 类 对 医 疗 干 预 反 应 的 不 确 定 性, 使 得 能 够 同 生 物 学 家 进 行 交 流 并 能 设 计 新 的 试 验 方 法 和 数 据 分 析 5.2 工 程 和 工 业 历 史 观 点 和 最 近 进 展 统 计 概 念 和 方 法 在 上 个 世 纪 工 业 的 发 展 中 发 挥 了 重 要 作 用 反 过 来, 工 程 与 工 业 应 用 已 成 为 统 计 理 论 和 方 法 学 研 究 的 主 要 催 化 剂 这 些 丰 富 多 彩 的 问 题 已 经 极 大 地 影 响 了 统 计 这 门 学 科 的 发 展 工 业 统 计 的 起 源 可 以 追 溯 到 沃 尔 特 舒 赫 特 (Walter Shewhart) 于 1920 年 代 在 统 计 过 程 控 制 (SPC) 上 的 开 创 性 工 作 今 天,SPC 原 理 和 方 法 已 经 成 为 制 造 业 中 质 量 改 进 的 关 键 技 术, 并 正 被 越 来 越 多 的 用 于 商 业, 服 务 业 和 卫 生 行 业 农 业 生 产 的 需 求 激 发 了 费 歇 尔 (R.A. Fisher), 叶 茨 (F. Yates ) 和 他 们 的 合 作 者 在 Rothamsted 实 验 站 早 期 的 试 验 设 计 (DOE) 工 作 化 学 和 纺 织 工 业 的 产 品 测 试, 分 析 和 优 化 导 致 因 子 设 计 的 进 一 步 发 展 以 及 产 生 了 新 方 法, 如 响 应 表 面 法 和 由 伯 克 斯 (G. Box) 等 人 引 入 的 调 优 运 算 (evolutionary operation) 强 调 质 量 改 进 和 G. Taguchi 关 于 降 低 波 动 的 稳 健 设 计 理 念 导 致 试 验 设 计 在 产 品 和 过 程 设 计 质 量 与 过 程 改 进 以 及 软 件 测 试 中 的 广 泛 研 究 和 应 用 国 防, 电 子 工 业, 航 空 和 航 天 工 业 的 需 求 也 促 进 了 新 的 领 域 的 发 展, 如 序 列 分 析, 可 靠 性, 谱 估 计 和 快 速 傅 立 叶 变 换 算 法 可 以 看 到, 二 战 期 间 在 质 量 控 制 中 统 计 方 法 的 使 用 获 得 了 快 速 发 展 停 滞 了 一 段 时 期 后, 在 最 近 30 年 间 在 工 业 中 重 新 关 注 质 量 与 生 产 力 的 提 高 再 次 引 起 对 统 计 的 关 注 和 重 视 理 解 和 控 制 波 动 的 统 计 理 念 以 及 DOE 与 SPC 的 基 本 统 计 方 法 构 成 了 通 用 质 量 管 理 范 例 的 基 石, 如 全 面 质 量 管 理 (TQM),6 西 格 玛 和 著 名 的 Deming 14 点 许 多 主 要 的 公 司 都 已 大 力 投 资 以 便 用 质 量 管 理 原 理 和 基 本 统 计 方 法 来 重 新 训 练 他 们 的 员 工 大 量 的 早 期 统 计 方 法 是 由 农 业, 制 造 业 和 国 防 工 业 的 需 求 驱 动 的 近 年 来, 范 围 已 经 广

17 泛 地 扩 展 到 商 业 与 金 融 业 软 件 工 程 服 务 业 和 卫 生 行 业 这 些 领 域 的 应 用 包 括 信 用 评 分 客 户 分 类 智 能 公 路 与 交 通 工 具 的 设 计 电 子 商 务 欺 诈 甄 别 网 络 监 控 软 件 质 量 和 可 靠 性 虽 然 收 益 难 于 量 化, 但 是 应 该 清 楚, 即 使 从 简 单 的 历 史 综 述 中 也 可 看 出 统 计 和 统 计 思 想 已 经 在 美 国 的 工 程 与 工 业 中 发 挥 了 深 刻 的 正 面 影 响 高 影 响 研 究 领 域 全 球 竞 争 和 不 断 增 长 的 客 户 期 望 正 改 变 着 公 司 运 作 的 环 境 这 些 变 化 对 统 计 研 究 方 向 有 重 要 的 暗 示 下 面 是 四 个 一 般 性 例 子 的 概 要 描 述 A. 具 有 复 杂 结 构 的 大 型 数 据 集 : 这 个 主 题 涉 及 到 了 商 业 和 工 业 的 所 有 部 门 ( 以 及 在 本 报 告 中 讨 论 到 的 其 他 领 域 ) 商 业 和 制 造 过 程 正 在 变 得 越 来 越 复 杂 因 此, 与 以 往 相 比 工 程 师 和 管 理 者 需 要 更 多 的 相 关 数 据 以 便 指 导 决 策 同 时, 传 感 和 数 据 俘 获 技 术 的 进 步 使 得 收 集 大 量 的 数 据 成 为 可 能 这 些 数 据 经 常 具 有 复 杂 的 结 构, 呈 现 时 间 序 列, 空 间 过 程, 文 本, 图 像, 及 高 维 等 级 结 构 等 这 些 数 据 的 收 集 建 模 和 分 析 展 示 了 一 个 有 广 泛 难 度 的 研 究 挑 战 例 如, 监 测 诊 断 和 高 级 制 造 过 程 的 改 进 对 数 据 压 缩 和 特 征 提 取 智 能 诊 断 的 开 发 以 及 实 时 过 程 控 制 需 要 新 的 方 法 这 些 问 题 也 涉 及 到 一 般 性 质 的 问 题, 如 偏 差 选 择 计 算 算 法 可 量 测 性 和 可 视 化 在 这 个 新 的 环 境 中, 统 计 学 家 在 设 计 有 效 的 数 据 仓 库 解 决 方 案, 保 障 数 据 质 量, 发 展 信 息 数 据 搜 集 和 数 据 压 缩 方 案 中 发 挥 了 重 要 的 作 用 直 到 最 近, 这 方 面 的 许 多 成 果 才 被 计 算 机 科 学 家 和 工 程 师 掌 握 然 而, 为 了 更 有 效 果, 这 些 方 法 必 须 依 据 专 业 应 用 背 景 来 研 究, 以 及 经 验 信 息 必 须 和 工 程 和 用 于 决 策 的 学 科 内 容 相 结 合 例 如, 一 个 关 于 半 导 体 制 造 业 提 高 产 出 的 研 究 项 目 导 致 了 分 析 和 可 视 化 空 间 数 据 的 新 方 法, 包 括 监 测 空 间 过 程 刻 画 空 间 模 式 和 错 误 诊 断 研 究 的 方 法 关 于 冲 压 过 程 的 工 程 研 究 导 致 了 一 批 新 方 法, 这 些 方 法 针 对 数 据 压 缩 和 特 征 提 取, 用 于 监 测 把 小 波 技 术 与 工 程 知 识 结 合 在 一 起 的 功 能 数 据 其 他 应 用 领 域 例 如 信 用 评 分, 通 信 领 域 的 欺 诈 检 测 和 担 保 分 析 也 产 生 了 许 多 可 研 究 的 问 题 现 在 每 年 汽 车 工 业 中 的 保 单 消 费 达 到 了 几 十 亿 美 元 ( 没 有 计 算 安 全 和 生 命 损 失 ) 因 此 产 生 了 从 巨 大 和 几 乎 全 是 噪 声 的 数 据 中 快 速 检 测 保 单 问 题 ( 小 信 号 ) 的 需 求 多 数 过 去 的 工 作 也 是 针 对 个 人 的 活 动 而 没 有 采 用 整 体 方 式 来 建 模 和 优 化 主 要 的 挑 战 之 一 是 企 业 水 平 的 建 模 需 求 和 把 来 自 大 量 的 分 散 资 源 信 息 马 上 转 换 成 有 用 的 知 识 和 有 效 的 决 策 B. 大 规 模 计 算 模 型 试 验, 分 析 与 确 认 : 计 算 模 型 与 模 拟 正 越 来 越 频 繁 地 被 用 于 许 多 应 用 领 域 在 制 造 业, 竞 争 的 市 场 力 量 和 随 之 而 来 的 缩 短 产 品 发 展 周 期 的 压 力 已 经 导 致 物 质 测 试 的 减 少 和 更 多 地 使 用 计 算 机 辅 助 设 计 与 工 程 (CAD/CAE) 有 限 元 分 析 和 其 他 技 术 被 广 泛 应 用 于 汽 车 工 业 的 产 品 设 计 与 优 化 半 导 体 制 造, 航 空, 国 防 及 其 他 领 域 都 有 相 似 的 趋 势 计 算 模 型 具 有 很 高 的 维 数, 涉 及 成 百 甚 至 上 千 的 参 数 和 设 计 变 量 一 个 函 数 的 估 算 在 高 性 能 计 算 平 台 上 可 能 要 花 几 天 时 间 使 用 大 规 模 计 算 模 型 的 试 验 分 析 可 视 化 和 确 认 给 统 计 带 来 了 多 种 挑 战, 包 括 :a) 在 极 高 维 情 况 中 近 似 和 探 索 响 应 曲 面 的 试 验 设 计 研 究,b) 把 试 验 参 数 和 材 料 特 性 中 的 随 机 性 和 不 确 定 性 混 合 成 计 算 模 型,c) 建 模, 筛 选, 预 测 和 优 化 在 文 献 中, 已 经 有 一 些 关 于 计 算 试 验 分 析 和 设 计 的 研 究, 包 括 新 的 设 计 类 的 研 究 以 及 用 高 斯 随 机 场 和 空 间 内 插 技 术 进 行 推 断 ( 国 家 研 究 委 员 会 1996) 但 是, 这 个 领 域 的 研 究 没 有 与 工 业 的 发 展 同 步 大 规 模 计 算 模 型 的 确 认 没 有 在 统 计 文 献 中 反 映 出 来 序 贯 方 法,DOE ( 试 验 设 计 ) 和 贝 叶 斯 分 析 等 已 经 在 这 里 起 了 重 要 的 作 用 在 数 值 分 析 和 优 化 领 域 也 存 在 统

18 计 学 家 与 其 他 研 究 人 员 合 作 的 机 会 C. 可 靠 性 和 安 全 性 : 满 足 安 全 性 和 环 保 要 求 的 非 常 可 靠 的 产 品 的 设 计 研 发 和 制 造 代 表 了 工 业 面 临 的 另 一 个 主 要 挑 战 领 域 在 可 靠 性 中 传 统 的 重 点 是 失 效 时 间 数 据 的 收 集 和 分 析, 这 在 高 可 靠 性 问 题, 即 只 能 有 极 少 失 效 以 及 高 度 删 失 ( 数 据 ) 试 验 问 题 中 尤 其 困 难 幸 运 的 是, 传 感 技 术 的 进 步 使 我 们 能 收 集 到 更 广 泛 的 与 系 统 和 元 件 有 关 的 量 测 数 据 和 缺 失 (degradation) 数 据 而 这 些 数 据 是 可 靠 性 信 息 的 丰 富 源 泉, 对 有 效 的 可 靠 性 估 计, 预 测 和 维 护 方 面, 现 只 有 少 量 的 模 型 和 方 法 可 以 分 析 缺 失 数 据 以 及 把 它 们 与 物 理 失 效 机 理 相 结 合 缺 失 数 据 分 析 和 设 备 失 效 预 测 是 昂 贵 的 和 高 可 靠 性 系 统 的 预 测 维 护 的 必 备 部 分 现 代 正 在 被 研 发 的 新 材 料, 如 各 种 复 合 或 者 纳 米 结 构 的 材 料 需 要 用 适 当 的 模 型 和 方 法 来 预 测 失 效 和 其 他 性 质 现 代 航 空 器 和 其 他 结 构 将 对 关 键 部 位 ( 即 如 果 发 生 故 障 将 是 灾 难 性 的 这 些 部 位 ) 增 加 这 些 材 料 的 应 用, 使 用 户 更 安 全 为 了 在 这 个 竞 技 舞 台 上 成 功, 统 计 学 家 将 需 要 同 材 料 科 学 家 和 工 程 师 更 密 切 的 合 作 此 外, 还 有 大 量 来 自 产 品 担 保 和 维 护 的 性 能 特 性 数 据 库 从 这 些 数 据 中 挖 掘 出 信 号 并 把 它 们 用 到 过 程 改 进 应 该 是 一 个 主 要 的 关 键 领 域 同 样 也 有 把 系 统 运 行 的 所 在 环 境 并 入 到 可 靠 性 模 型 然 后 分 析 性 能 特 性 数 据 的 需 求 这 些 环 境 通 常 是 动 态 的 和 / 或 不 同 类 的, 在 这 样 的 条 件 下, 将 需 要 对 可 靠 性 评 价 与 预 测 的 现 实 模 型 D. 软 件 工 程 : 同 工 程 学 的 传 统 分 支 相 比 较, 这 仍 然 是 一 个 相 对 新 的 领 域 它 对 国 家 的 重 要 性 可 以 从 对 美 国 经 济 日 益 增 涨 的 信 任 高 质 量 的 国 防 和 关 键 的 任 务 软 件 中 看 出 ( 国 家 研 究 委 员 会 (1996)) 统 计 学 家 在 软 件 工 程 中 具 有 重 要 的 作 用, 因 为 数 据 是 管 理 软 件 开 发 过 程 的 中 心, 统 计 方 法 已 被 证 明 在 处 理 它 的 好 几 个 方 面 是 有 价 值 的 举 几 个 例 子, 统 计 考 虑 在 有 效 的 软 件 标 准 的 建 设 和 使 用 中 是 非 常 关 键 的 ; 试 验 设 计 理 念 是 降 低 需 要 测 试 软 件 有 效 性 的 试 验 次 数 的 技 术 支 柱 ( 但 不 是 穷 举 的 ) 此 外, 统 计 质 量 控 制 为 软 件 流 程 各 个 部 分 的 数 量 分 析 和 连 续 流 程 的 改 进 提 供 了 理 论 基 础 的 确, 对 软 件 开 发 的 正 式 流 程 的 整 体 改 进, 如 同 软 件 工 程 学 院 的 能 力 成 熟 度 模 型 一 样, 可 以 被 部 分 追 溯 到 W. A. Shewhart 和 W. E. Deming 在 统 计 质 量 控 制 和 相 关 主 题 上 的 开 创 性 工 作 尽 管 已 经 取 得 这 些 进 展, 大 量 其 他 的 研 究 工 作 对 于 处 理 软 件 工 程 的 挑 战 ( 或 更 夸 张 地 称 为 软 件 危 机 ) 是 必 要 的 5.3 地 理 和 环 境 科 学 背 景 术 语 地 理 和 环 境 科 学 涵 盖 了 很 多 研 究 的 专 业 领 域, 尤 其 是 如 果 环 境 科 学 被 认 同 包 括 生 态 现 象 和 过 程 的 研 究 统 计 活 动 的 广 阔 领 域 既 没 有 一 个 容 易 综 述 的 历 史, 也 不 能 用 一 个 简 单 的 发 展 模 式 来 概 括 的 确, 在 地 理 和 环 境 科 学 的 统 计 工 作 的 历 史 是 与 不 同 的 领 域 交 织 在 一 起 的, 如 农 业 基 础 生 物 学 城 市 工 程 学 大 气 化 学 和 生 态 学 等 等 这 儿 的 陈 述 集 中 于 阐 述 统 计 和 其 他 科 学 学 科 之 间 相 互 影 响 的 几 个 方 面, 而 不 是 对 统 计 已 具 有 影 响, 并 将 继 续 具 有 影 响 的 这 些 领 域 给 出 一 个 广 泛 的, 必 然 是 不 完 全 的 回 顾 尤 其, 被 选 择 的 例 子 描 述 了 使 用 决 定 性 过 程 模 型, 随 机 模 型, 环 境 过 程 变 化 检 测 模 型, 和 科 学 概 念 化 中 统 计 思 想 的 作 用 确 定 性 过 程 模 型 和 随 机 模 型 现 在, 大 多 数 重 点 被 放 在 了 确 定 性 模 型 和 随 机 模 型 的 前 后 使 用 上 过 程 模 型 典 型 地 采 纳 了 许 多 基 本 的 科 学 概 念, 如 在 化 学 要 素 中 作 为 基 础 的 质 量 守 恒, 通 过 代 表 物 理 和 化 学 反 应 方 程 的 包 装 ( 通 常 以 微 分 方 程 组 的 形 式 出 现 ), 建 立 了 更 加 优 雅 的 数 学 结 构 另 一 方 面, 作 为 模 型 研 究 的 基 本 动 机, 统 计 模 型 典 型 地 依 赖 于 观 测 数 据 类 型 的 描 述 人 们 越 来 越 认 识 到 对 于

19 地 理 和 环 境 过 程 的 理 解 可 以 通 过 结 合 来 自 两 个 建 模 方 法 的 观 念 来 提 高 把 过 程 和 统 计 模 型 结 合 在 一 起 使 用 的 一 种 方 法 是 把 确 定 性 模 型 的 结 果 作 为 随 机 表 达 式 的 输 入 信 息 一 个 例 子 是 代 表 南 北 半 球 平 均 温 度 的 二 元 变 量 时 间 序 列 的 分 析 随 着 使 用 传 统 的 线 性 趋 势 项 和 共 变 量, 如 厄 尔 尼 诺 - 南 半 球 摆 动 (ENSO) 现 象 的 效 果,24 个 确 定 性 大 气 模 型 的 输 出 被 认 为 可 以 描 述 从 1900 年 到 1996 年 的 半 球 平 均 温 度 作 为 这 些 结 果 一 个 例 子, 图 5.2 展 示 了 两 个 半 球 的 原 始 数 据 和 拟 合 直 线, 以 及 把 大 气 温 室 效 应 ( 即 大 气 模 型 输 出 结 果 ) 与 厄 尔 尼 诺 - 南 半 球 摆 动 效 果 结 合 所 得 到 的 估 计 趋 势 曲 线 直 观 上 很 明 显, 且 详 细 的 统 计 分 析 也 确 认 了 后 者 的 趋 势 曲 线 比 简 单 的 直 线 回 归 更 好 地 拟 合 了 数 据 这 个 例 子 表 明 使 用 统 计 分 析 可 以 提 供 证 据 说 明 在 过 程 模 型 中 考 虑 的 哪 些 因 子 是 重 要 的, 以 及 提 供 了 对 观 察 数 据 的 描 述 图 表 5.2 观 测 到 的 北 半 球 (NH) 和 南 半 球 (SH) 的 气 候 异 常, 拟 合 直 线 ( 虚 线 ) 和 考 虑 大 气 温 室 效 应 和 ENSO 后 的 估 计 趋 势 ( 实 曲 线 ), 来 自 Smith 等 (2001) 关 于 海 洋 表 面 风 速 最 近 工 作 的 作 者 们 阐 述 了 统 计 和 确 定 性 模 型 方 法 结 合 的 另 一 个 方 法, 他 们 是 国 家 大 气 研 究 中 心 (NCAR) 的 地 球 物 理 统 计 项 目 相 关 的 统 计 学 家 和 一 个 海 洋 学 者 数 据 从 两 个 来 源 获 得 一 个 是 来 自 美 国 国 家 航 空 和 宇 宙 航 行 局 (NASA) 散 射 仪 (NSCAT) 的 卫 星 数 据, 这 些 数 据 有 很 高 的 空 间 分 辨 率 但 空 间 覆 盖 很 窄 第 二 个 来 源 于 所 谓 的 国 家 环 境 预 报 中 心 (NCFP) 的 全 球 范 围 数 值 天 气 预 报 模 型 的 分 析 从 每 6 小 时 观 测 值 覆 盖 了 整 个 区 域 的 意 义 上 来 说, 这 些 数 据 是 完 全 的, 但 是 与 NSCAT 的 测 量 相 比 空 间 分 辨 率 低 得 多 这 些 数 据 的 统 计 分 析 所 需 要 的 技 术 超 过 了 标 准 空 间 统 计 和 时 空 统 计 除 了 时 间 和 空 间 的 因 素 外, 统 计 分 析 必 须 协 调 数 个 分 辨 率 和 覆 盖 率 不 一 样 的 数 据 源, 目 标 是 每 6 小 时 在 整 个 区 域 提 供 可 信 赖 的 风 速 状 态 相 关 联 的 数 据 和 环 境 趋 势 许 多 环 境 问 题 涉 及 到 在 一 段 时 间 内 变 化 的 识 别 和 估 计 例 如 一 个 环 境 监 测 机 构, 如 EPA, 用 趋 势 估 计 来 评 估 污 染 控 制 项 目 的 成 功 以 及 识 别 哪 儿 更 迫 切 需 要 控 制 在 气 候 建 模 中, 主 要 的 当 务 之 急 是 确 定 数 据 是 否 具 有 总 体 趋 势, 这 不 仅 对 被 广 泛 研 究 的 变 量 如 全 球 平 均 温 度, 而 且 包 括 许 多 其 它 的 后 果 不 太 清 楚 的 变 量 对 统 计 学 家 而 言, 估 计 具 有 相 关 误 差 的 趋 势 因 素 长 期 以 来 一 直 是 个 问 题, 大 部 分 工 作

20 涉 及 到 统 计 学 家 与 地 球 物 理 学 家 和 环 境 科 学 家 之 间 的 交 流 例 如, 以 对 时 间 序 列 分 析 做 出 诸 多 贡 献, 尤 其 以 Yule-Walker 方 程 闻 名 的 Gilbert Walker 爵 士, 也 是 一 位 著 名 的 气 象 学 者, 他 大 量 的 工 作 是 在 厄 尔 尼 诺 - 南 半 球 摆 动 (ENSO) 现 象 上, 这 些 贡 献 大 量 地 是 同 一 研 究 的 结 果 统 计 学 家 和 地 球 物 理 学 家 的 长 期 合 作 产 生 了 一 系 列 的 关 于 同 温 层 变 化 识 别 的 论 文, 这 些 论 文 中 的 大 多 数 模 型 都 考 虑 了 相 关 误 差 这 些 研 究 论 文, 大 多 数 由 统 计 学 家 作 为 第 一 作 者 但 发 表 在 主 流 统 计 领 域 以 外 的 杂 志 上, 是 对 统 计 学 外 延 进 入 其 他 科 学 领 域 的 出 色 的 描 述 许 多 研 究 大 气 科 学 问 题 的 作 者 也 考 虑 了 模 型 的 相 关 误 差, 特 别 检 验 了 气 候 变 化 的 结 论 是 如 何 随 着 假 定 不 同 的 误 差 过 程 而 变 化 的 这 些 假 设 包 括 具 有 长 程 相 依 性 的 时 间 序 列 模 型 和 由 大 气 模 型 动 力 学 导 出 的 频 谱 模 型 其 他 的 研 究 工 作 者 已 经 给 出 了 另 一 种 方 法, 它 用 长 程 相 依 过 程 的 小 波 表 示, 这 个 领 域 持 续 的 工 作 描 述 了 气 候 变 化 的 重 要 科 学 问 题 的 考 虑 对 研 究 环 境 过 程 新 的 统 计 表 示 的 反 馈 最 近, 由 统 计 学 家 撰 写 但 发 表 在 气 象 文 献 中 的 工 作 已 经 采 用 了 长 程 相 依 过 程 的 统 计 模 型, 这 些 模 型 大 部 分 是 在 经 济 学 问 题 的 分 析 中 发 展 起 来, 并 被 应 用 于 风 速 和 风 向 这 描 述 了 从 一 个 学 科 ( 在 本 例 中, 经 济 学 ) 到 另 一 个 学 科 ( 气 象 学 ) 在 方 法 论 的 转 换 中 统 计 的 角 色, 要 不 然 第 二 个 学 科 也 许 仍 然 没 有 意 识 到 它 可 应 用 于 该 学 科 中 的 问 题 5.3 统 计 建 模 和 科 学 的 概 念 化 在 统 计 框 架 下 环 境 数 据 记 录 的 变 化 被 概 念 化 为 信 号 加 噪 声 是 常 见 的 事 实 上, 这 是 我 们 上 面 讨 论 过 的 许 多 模 型 中 的 一 个, 其 中 对 模 型 中 的 信 号 ( 或 系 统 ) 和 噪 声 ( 或 误 差 ) 成 分 赋 予 各 种 形 式 以 便 更 好 地 表 达 研 究 中 的 过 程 在 水 化 学 变 量 的 分 析 中 信 号 加 噪 音 结 构 的 考 虑 导 致 许 多 湖 泊 学 家 得 出 这 样 的 结 论 : 观 察 到 的 数 据 记 录 里 大 部 分 是 噪 声, 只 有 少 量 的 信 号 但 是 这 个 概 念 可 能 导 出 麻 烦, 就 像 在 考 虑 美 国 华 盛 顿 湖 赛 克 (Secci) 深 度 ( 水 透 明 度 的 一 种 度 量 ) 的 记 录 时 所 展 现 的 一 样 图 5.3 表 示 的 是 从 这 一 相 对 短 的 时 间 间 隔 中 的 Secci 深 度 左 图 显 示 了 有 明 显 增 加 趋 势 的 一 列 值 但 是 当 这 些 观 测 值 被 嵌 入 到 右 图 中 稍 长 一 点 的 观 察 序 列 时, 我 们 可 以 看 到 在 决 定 湖 的 特 性 是 否 有 实 质 性 改 变 时 这 个 变 化 是 不 显 著 的 然 而, 要 接 受 1980 年 中 期 到 1981 早 期 的 数 据 仅 仅 是 噪 音 分 量 的 一 个 实 现 这 一 事 实 是 困 难 的 在 这 个 例 子 里, 感 兴 趣 的 环 境 过 程 也 许 最 好 被 概 念 化 为 有 许 多 层 过 程 组 成, 每 个 过 程 都 包 含 了 它 自 己 的 噪 音 分 量 图 5.3 华 盛 顿 湖 的 Secci 深 度 值 左 边 的 图 被 嵌 入 为 右 边 图 的 实 线 部 分

21 这 种 情 况 下 的 模 型 已 被 表 达 为 贝 叶 斯 动 态 模 型 的 一 种 扩 展 这 个 模 型 由 三 个 概 念 上 的 过 程 组 成 : 一 个 观 察 过 程, 一 个 当 前 的 条 件 过 程 和 一 个 湖 功 能 过 程, 这 是 在 监 测 水 的 质 量 时 最 感 兴 趣 的 过 程 这 个 模 型 显 示 可 以 清 楚 地 识 别 华 盛 顿 湖 从 1960 到 1990 的 三 个 时 段 中 湖 功 能 过 程 的 变 化 ; 这 些 时 段 对 应 于 三 个 已 知 事 件, 它 们 影 响 了 华 盛 顿 湖 的 基 本 特 性 这 里, 统 计 方 法 有 助 于 环 境 状 况 的 概 念 化, 对 环 境 状 况 而 言 过 程 模 型 的 研 究 是 极 其 复 杂 的 也 就 是, 在 动 态 模 型 中 所 用 的 三 个 过 程 没 有 对 应 于 物 理 或 者 化 学 机 理, 而 是 环 境 过 程 的 科 学 概 念 化, 类 似 于 湖 营 养 状 况 的 基 本 湖 泊 学 概 念 另 外 一 个 统 计 有 助 于 科 学 思 想 发 展 的 例 子 是 加 拿 大 山 猫 和 雪 靴 兔 种 群 的 周 期 分 析, 对 此 已 有 大 量 的 研 究 论 文 发 表 在 Proceeding of the National Academy of Science( 国 家 科 学 院 院 报 ) 和 Science 上 这 里 统 计 学 家 和 生 态 学 家 的 合 作 导 致 了 科 学 理 论 的 加 强 通 过 这 项 研 究, 发 展 了 许 多 概 念, 包 括 统 计 模 型 自 回 归 的 阶 和 物 种 之 间 ( 如 山 猫 和 兔 ) 反 馈 系 统 的 复 杂 性 的 关 系, 以 及 种 群 周 期 可 能 展 现 出 空 间 同 步 性 这 一 想 法 特 别, 研 究 者 分 析 了 从 1821 年 到 1990 年 代 这 段 时 间 山 猫 种 群 的 21 个 时 间 序 列 他 们 采 用 非 线 性 2 阶 自 回 归 过 程, 并 通 过 随 机 系 数 和 经 验 贝 叶 斯 估 计 来 组 合 序 列 他 们 在 逐 步 完 善 关 于 观 察 数 据 的 好 的 统 计 描 述 后 给 出 了 理 论 种 群 生 态 学 的 纯 数 学 模 型 的 等 价 形 式 根 据 我 们 的 看 法, 种 群 动 态 学 的 数 学 模 型 赋 予 了 所 用 统 计 模 型 的 意 义, 或 者 说 统 计 模 型 有 助 于 引 导 种 群 理 论 描 述 的 研 究 这 个 工 作 可 以 作 为 在 种 群 周 期 中 密 度 相 依 和 ( 空 间 ) 相 位 相 依 的 相 互 关 系 的 一 个 例 证 其 它 方 向 和 将 来 的 可 能 性 大 量 数 据 的 收 集 和 处 理 是 地 球 物 理 学 和 环 境 科 学 中 许 多 主 要 分 支 的 特 性, 例 如 气 象 学 海 洋 学 地 震 学 气 候 变 化 的 特 性 和 检 测 污 染 物 在 大 气 层 中 的 散 布 在 所 有 这 些 领 域 里 统 计 学 家 已 经 积 极 参 与 活 动, 由 于 统 计 方 法 已 经 进 展 到 包 括 诸 如 时 空 数 据 的 复 杂 模 型 和 相 关 联 的 计 算 方 法, 所 以 统 计 学 家 与 地 球 物 理 学 家 和 环 境 科 学 家 之 间 直 接 交 流 的 可 能 性 大 大 增 加 了 传 统 的 多 元 分 析 和 空 间 统 计 方 法 过 分 依 赖 于 矩 阵 计 算, 然 而 在 高 维 的 情 形 这 已 经 是 不 可 行 的 ; 这 导 致 了 寻 找 在 高 维 情 形 下 可 行 的 并 且 能 有 效 地 计 算 大 量 数 据 的 方 法 近 来 多 数 统 计 工 作 致 力 于 发 展 适 合 大 规 模 时 空 数 据 分 析 的 模 型 和 方 法 ; 在 前 面 描 述 的 海 洋 风 速 数 据 模 型 仅 仅 是 回 应 这 些 问 题 的 新 的 统 计 方 法 的 一 个 例 子 正 在 研 发 的 适 合 这 种 情 况 的 建 模 方 法 包 括 分 级 地 理 统 计 模 型 和 基 于 格 点 结 构 的 一 般 混 合 模 型 另 一 个 重 要 研 究 领 域 是 关 于 非 平 稳 的 空 间 模 型 的 研 究, 包 括 用 能 导 致 平 稳 性 的 变 形 空 间 表 示 一 个 非 平 稳 过 程 的 方 法, 由 一 个 底 随 机 场 的 光 滑 核 定 义 的 模 型, 由 多 分 辨 率 基 (multi-resolution) 定 义 的 模 型 监 测 网 络 的 设 计 是 另 一 个 有 大 量 文 献 的 领 域 设 计 问 题 也 与 数 据 同 化 的 背 景 有 关, 例 如 有 可 能 从 一 个 大 而 复 杂 的 系 统 中 仅 进 行 少 量 的 测 量, 此 时 的 关 键 是 要 考 虑 被 抽 取 样 本 的 位 置 我 们 期 望 在 数 字 环 境 模 型 的 数 据 分 析 中 能 看 到 巨 大 的 增 长 以 及 在 这 种 模 型 的 研 发 中 应 用 数 学 家 和 物 质 领 域 科 学 家 的 直 接 交 流 以 上 我 们 正 在 考 虑 的 模 型 出 现 在 气 候 学 和 数 字 天 气 预 报, 空 气 污 染 建 模 和 多 孔 渗 水 介 质 建 模 中 这 个 课 题 是 2003 年 统 计 与 应 用 数 学 科 学 研 究 院 (SAMSI) 即 将 执 行 的 计 划 的 一 个 主 题, 似 乎 也 是 将 来 研 究 的 一 个 大 课 题 尽 管 在 生 态 学 分 析 中 的 基 本 统 计 问 题 明 显 少 于 时 空 环 境 过 程 建 模, 统 计 学 家 也 一 直 活 跃 在 生 态 学 关 心 的 问 题 上 因 此 统 计 的 贡 献 倾 向 于 更 分 散, 并 且 很 少 有 统 计 学 家 和 生 态 学 家 长 期 合 作 的 队 伍 历 史 上, 统 计 学 家 对 生 态 学 领 域 研 究 的 抽 样 问 题 做 了 许 多 工 作, 如 群 体 估 计 的 评 估 和 群

22 体 成 分 的 分 析 但 是 生 态 学 研 究 的 基 金 分 配 上, 生 态 学 中 统 计 研 发 可 用 的 基 金 也 一 直 少 于 大 气 过 程 和 污 染 领 域 的 分 析 中 统 计 研 发 可 用 的 基 金 随 着 对 生 物 多 样 性 具 有 科 学 和 社 会 内 涵 认 识 的 日 益 增 加, 在 该 领 域 中 要 应 用 统 计 和 需 要 开 展 统 计 研 究 两 方 面 都 已 成 熟 地 貌 生 态 学 的 出 现 拓 宽 了 生 态 问 题 所 考 虑 的 空 间 范 围, 同 样 在 该 领 域 对 统 计 的 介 入 有 很 大 的 需 求 和 机 会 5.4 信 息 技 术 计 算 技 术 和 大 规 模 数 据 存 储 的 高 速 增 长 已 经 影 响 到 人 们 的 许 多 行 为, 有 时 候 以 深 刻 的 方 式 影 响 我 们 在 与 信 息 技 术 (IT) 相 关 领 域 工 作 的 统 计 学 家 从 来 没 有 象 现 在 这 样 令 人 激 动 网 络 的 发 展 和 计 算 机 系 统 指 数 增 长 的 容 量 已 经 打 开 了 难 以 想 象 的 信 息 交 流 的 可 能 性, 收 集 和 分 析 来 自 不 同 来 源 不 同 性 质 的 极 大 规 模 数 据 的 能 力, 以 及 交 流 结 果 的 能 力 公 开 资 源 软 件 的 发 展 扩 大 了 研 究 者 施 展 才 华 和 思 想 的 能 力 从 数 据 中 建 立 和 获 得 统 计 模 型 的 新 的 挑 战 非 常 多 统 计 学 家 和 受 过 统 计 训 练 的 科 学 家 的 努 力 已 经 对 科 学 技 术 的 所 有 领 域 产 生 了 重 要 影 响, 从 天 文 学 生 物 学 气 象 学 通 信 学 工 程 学 到 智 能 学, 这 还 仅 仅 是 列 举 了 一 部 分 与 其 他 科 学 领 域 人 们 的 接 触 总 是 增 加 机 会 来 发 展 新 方 法 以 便 表 达, 建 模 和 帮 助 解 释 他 们 的 实 验 / 观 察 / 模 拟 数 据, 以 及 在 试 验 设 计 和 数 据 收 集 中 发 展 的 新 方 法 这 一 节 的 剩 余 部 分 有 选 择 地 强 调 了 一 些 高 影 响 领 域 通 讯 每 天 每 分 钟 都 会 产 生 大 量 的 通 信 记 录 每 个 无 线 与 有 线 的 呼 叫 产 生 一 个 记 录, 谁 拨 打 了 这 个 呼 叫, 谁 接 收 了 这 个 呼 叫, 什 么 人 什 么 时 间 打 的, 延 续 有 多 长, 化 了 多 少 钱 每 个 用 户 要 求 从 因 特 网 上 下 载 一 个 文 件 都 记 录 在 一 个 日 志 文 件 里 公 共 论 坛 在 线 聊 天 的 每 个 贴 子 也 都 记 录 在 案 网 络 工 程 师 对 这 些 通 讯 记 录 感 兴 趣, 他 们 必 须 设 计 网 络 开 发 新 设 备 ; 引 起 社 会 学 家 的 兴 趣, 他 们 关 心 人 们 如 何 交 流 如 何 组 成 社 团 ; 也 引 起 服 务 供 应 商 的 兴 趣, 他 们 需 要 尽 快 搜 索 出 欺 诈 行 为 ; 还 引 起 执 法 机 构 和 安 全 部 门 的 兴 趣, 他 们 寻 找 犯 罪 和 恐 怖 行 为 在 数 据 财 富 转 换 成 信 息 财 富 之 前 必 须 面 对 大 量 的 有 挑 战 性 的 统 计 问 题 这 些 问 题 包 括 刻 画 描 述 产 生 这 些 记 录 的 上 百 万 人 们 当 前 行 为 的 概 率 分 布, 当 记 录 传 送 时 更 新 每 个 人 的 被 估 行 为, 尽 快 区 分 出 为 数 不 多 的 有 异 常 行 为 的 人 也 许 令 人 惊 讶 的 是, 这 些 本 来 是 小 样 本 问 题, 由 于 大 多 数 人 不 产 生 大 量 的 记 录, 由 于 受 到 计 算 时 间 和 空 间 的 严 格 限 制 而 复 杂 化 了 统 计 学 家 对 解 决 这 些 问 题 可 以 做 很 多 的 贡 献 机 器 学 习 和 数 据 挖 掘 机 器 学 习 和 数 据 挖 掘 研 究 ( 最 初 是 在 计 算 科 学 系 研 究 的 ) 与 非 参 数 估 计 研 究 ( 开 始 是 在 统 计 系 进 行 的 ) 之 间 的 界 限 正 日 益 变 得 模 糊 不 清 事 实 上, 机 械 学 习 和 数 据 挖 掘 的 标 签 正 越 来 越 多 地 被 统 计 学 家 使 用 在 统 计 系 研 究 非 常 活 跃 的 主 要 领 域 包 括 分 类 聚 类 预 测 建 模 的 新 方 法 统 计 学 家 开 发 分 类 工 具 已 经 有 很 长 时 间 了, 随 着 当 前 的 研 究 成 果 的 应 用, 计 算 能 力 的 迅 速 提 高 已 经 导 致 了 一 些 重 大 进 步 综 合 这 些 优 势 后, 在 分 类 方 面 这 样 的 一 个 新 进 展 是 支 持 向 量 机 (Support Vector Machine) 这 一 方 法 在 计 算 机 科 学 机 器 学 习 协 会 中 高 度 普 及, 而 且 由 于 统 计 学 家 的 介 入 已 经 大 受 裨 益, 统 计 学 家 的 贡 献 在 于 以 重 要 方 式 来 理 解 该 方 法 的 性 质 尽 管 如 此, 关 于 该 方 法 的 理 论 基 础 的 研 究 以 及 开 发 有 效 的 应 用 方 法 上 仍 有 许 多 重 要 的 机 会

23 目 前 支 持 向 量 机 的 应 用 包 括 : 微 阵 基 因 芯 片 的 疾 病 分 类, 根 据 天 气 和 当 前 云 层 的 类 型 对 卫 星 雷 达 剖 面 图 的 分 类 非 参 数 风 险 因 子 建 模 的 一 个 例 子 是 诸 多 风 险 因 子 的 联 合 复 杂 的 相 互 作 用 对 于 医 学 表 型 产 生 的 作 用 在 一 个 更 为 探 索 的 水 平 上, 通 过 混 合 建 模 的 mrna 信 号 聚 类 有 助 于 研 究 者 理 解 这 些 数 据 中 子 总 体 的 数 量 和 性 质 随 着 高 速 计 算 的 出 现, 对 极 大 数 据 集 以 及 有 许 多 潜 在 预 测 变 量 和 特 征 变 量 的 数 据, 统 计 学 家 能 更 好 地 建 立 和 试 验 更 复 杂 更 精 细 的 模 型 ( 即 可 以 用 更 现 实 和 更 容 易 理 解 的 方 式 来 处 理 的 模 型 ) 重 要 的 是 把 这 些 模 型 建 立 在 坚 实 的 理 论 和 计 算 基 础 上 以 便 来 指 导 应 用 网 络 对 因 特 网 流 量 的 研 究 大 体 分 为 流 量 测 量 和 建 模, 网 络 拓 扑 和 网 络 断 层 扫 描 ( network tomography) 所 有 这 些 领 域 都 表 现 出 大 量 的 统 计 挑 战 测 量 和 建 模 的 进 一 步 研 究 源 自 提 高 服 务 质 量 和 效 率 的 需 求 当 前 提 高 服 务 质 量 的 方 法 是 对 资 源 的 大 量 和 过 量 供 应, 这 既 是 浪 费 的, 也 不 完 全 有 效, 因 为 邮 件 爆 炸 的 部 分 原 因 是 不 适 当 的 协 议 和 邮 件 路 由 为 解 决 这 些 问 题 已 经 提 出 了 许 多 想 法, 因 此 关 键 是 比 较 这 些 方 法, 现 在 主 要 是 由 模 拟 来 实 现 的 这 需 要 建 模 和 认 真 寻 找 拟 合 优 度 的 统 计 问 题 特 别, 中 心 的 问 题 是 : 我 们 怎 么 知 道 这 些 工 作 象 真 实 的 信 息 流? 这 些 问 题 对 统 计 和 概 率 专 家 提 出 了 许 多 新 的 挑 战 古 典 的 统 计 方 法 和 技 术 显 得 不 切 实 际, 因 为 许 多 地 方 呈 递 出 重 尾 分 布 ( 经 常 使 得 诸 如 方 差 和 相 关 这 些 标 准 方 法 无 效 ) 以 及 长 相 依 和 不 平 稳 ( 超 出 了 经 典 时 间 序 列 的 基 本 假 设 ) 尽 管 如 此, 了 解 变 化 和 对 变 化 建 模 仍 然 十 分 重 要, 所 以 这 一 领 域 对 于 发 展 新 的 统 计 方 法 有 着 十 分 广 阔 的 天 地 网 络 拓 扑 展 现 出 不 同 类 型 的 统 计 问 题 这 里 的 目 标 是 了 解 因 特 网 的 连 通 结 构 该 领 域 中 的 重 大 进 展 需 要 图 论 概 念, 随 机 过 程 和 抽 样 理 论 网 络 断 层 扫 描 是 仅 仅 根 据 通 过 它 发 送 的 信 号 工 作 情 况 来 推 断 因 特 网 的 结 构 正 确 了 解 分 析 包 含 在 这 一 过 程 中 复 杂 的 不 确 定 性 以 及 对 它 建 模 对 于 该 领 域 的 发 展 是 重 要 的 数 据 流 对 大 规 模 数 据 集 的 统 计 分 析 经 常 以 批 量 模 式 执 行 这 种 数 据 集 可 能 需 要 数 年 的 收 集 和 准 备, 相 应 的 统 计 分 析 可 以 在 类 似 的 时 段 中 进 行 尽 管 如 此, 就 象 在 处 理 实 时 计 算 和 控 制 的 计 算 机 编 程 中 存 在 一 个 重 要 的 合 适 环 境 一 样, 对 统 计 学 家 处 理 实 时 数 据 挖 掘 也 存 在 一 个 快 速 增 长 的 合 适 环 境 问 题 例 如, 轨 道 卫 星 和 地 面 站 之 间 的 有 限 带 宽 遥 感 信 号 妨 碍 了 所 有 原 始 数 据 的 传 输, 这 种 情 况 会 出 现 第 二 个 例 子 是 像 航 空 机 票 预 定 服 务 系 统 这 样 的 商 业 网 站, 确 认 或 放 弃 的 详 细 击 键 数 据 系 列 未 被 存 储, 也 会 出 现 这 种 情 况 这 些 数 据 流 的 离 线 统 计 分 析 是 不 可 能 的, 因 为 这 些 原 始 数 据 完 全 得 不 到 尽 管 如 此, 可 以 把 一 个 统 计 装 置 直 接 放 进 数 据 流 来 实 时 检 测 和 量 化 当 前 数 据 挖 掘 的 典 型 结 果 挑 战 性 在 于 需 要 研 发 几 乎 快 速 运 行 的 统 计 分 析 工 具, 以 便 能 同 步 地 对 数 据 流 进 行 分 析 对 诸 如 样 本 矩 这 样 的 简 单 的 统 计 量, 计 算 并 不 困 难 但 是 这 些 工 具 必 须 适 应 实 时 计 算 另 外, 数 据 挖 掘 事 实 上 使 用 了 每 一 个 现 代 统 计 工 具 ( 如, 聚 类 算 法, 树,Logistic 回 归 ) 把 现 有 的 统 计 工 具 箱 改 变 和 重 造 成 一 个 新 的 和 非 常 重 要 的 工 具 箱 将 需 要 想 象 力 和 聪 明 智 慧, 以 及 与 数 学 科 学 其 他 领 域 算 法 专 家 的 合 作 更 多 统 计 学 家 在 IT 的 其 他 领 域, 如 医 学 成 象 计 算 机 可 视 计 算 机 图 形 声 音 和 文 字 识 别

24 客 户 和 交 易 分 析 文 件 管 理 和 恢 复 等, 已 经 和 将 继 续 扮 演 重 要 角 色 5.5 物 理 科 学 历 史 上, 天 文 学 是 最 早 受 到 统 计 思 想 的 启 发, 并 应 用 统 计 的 领 域 之 一 早 在 十 八 世 纪, 天 文 学 家 对 物 体 进 行 测 量 时, 用 同 一 条 件 下 的 多 次 测 量 结 果 的 平 均 值 作 为 结 果 这 导 致 了 在 十 九 世 纪 初 最 小 二 乘 法 的 出 现 近 年 来, 为 了 从 不 同 性 质 的 星 云 团 或 是 宇 宙 微 波 背 景 辐 射 的 波 动 谱 中 估 计 宇 宙 大 爆 炸 (Big Bang) 的 宇 宙 参 数, 天 文 学 的 数 据 在 数 量 和 复 杂 性 两 方 面 大 大 增 加 大 量 基 本 的 统 计 问 题 来 自 Virtual 天 文 台 中 的 多 太 拉 (1000 千 兆 ) 多 波 长 天 文 调 查 数 据 库 尽 管 统 计 学 和 天 文 学 有 共 同 的 渊 源, 两 者 都 强 调 对 数 据 的 分 析, 但 一 直 到 最 近, 才 出 现 统 计 学 家 和 天 文 学 家 之 间 较 重 要 的 合 作 ( 这 方 面 的 例 子 可 见 本 文 核 心 章 节 ) 长 期 存 在 的 统 计 和 天 文 领 域 中 的 鸿 沟 正 是 物 理 学 与 统 计 学 关 系 的 一 个 代 表 性 例 证 统 计 学 研 究 从 带 噪 声 的 个 体 信 息 源 中 有 效 地 增 加 证 据 从 历 史 的 角 度 讲, 大 部 分 统 计 方 法 论 可 以 被 描 述 为 噪 声 第 一 : 生 命 统 计 学, 经 济 学, 农 业, 教 育, 心 理 学, 医 学, 基 因 学 和 生 物 学 这 些 被 称 为 硬 科 学 的 科 学 家 们 相 信 他 们 可 以 在 经 典 的 实 验 中 得 到 几 乎 完 美 的 信 噪 比 正 由 于 此, 不 难 理 解 它 们 一 直 抵 制 统 计 方 法 需 求 然 而, 最 近 的 趋 势 正 在 软 化 这 些 硬 学 科, 所 以 出 现 了 对 统 计 学 原 理 和 方 法 的 不 断 增 长 的 现 在 的 技 术 能 够 进 行 更 大 和 更 雄 心 勃 勃 的 数 据 收 集 项 目, 如 萨 德 伯 里 (Sudbury) 微 中 子 天 文 台 和 Wilkinson 微 波 宇 宙 探 测 器 的 项 目 这 些 项 目 必 须 要 从 噪 声 数 据 山 中 提 取 至 关 紧 要 的 但 是 非 常 少 的 信 息 ( 在 Sudbury 信 噪 比 小 于 百 万 分 之 一 ) 技 术 的 发 展 使 得 很 多 诸 如 象 萨 德 伯 里 (Sudbury) 微 中 子 天 文 台 和 Wilkinson 微 波 宇 宙 探 测 器 这 样 数 据 庞 大 的 项 目 处 理 成 为 可 能 这 样 项 目 要 求 从 庞 大 的 噪 音 数 据 中 筛 选 出 重 要 的 信 息 毫 无 疑 问, 统 计 方 法 在 这 些 项 目 中 起 着 一 个 非 常 重 要 的, 有 时 候 是 关 键 的 作 用 为 了 说 明 未 来 统 计 学 在 物 理 科 学 中 的 重 要 作 用, 我 们 将 从 粒 子 物 理 化 学 光 谱 学 和 天 文 学 中 给 出 三 个 简 短 但 是 统 计 味 十 足 的 例 子 粒 子 探 测 中 的 置 信 区 间 下 面 的 情 况 出 现 在 探 测 某 种 难 以 捉 摸 的 的 粒 子 : 探 测 器 运 行 很 长 一 段 时 间, 记 录 了 x 个 特 定 事 件, 类 似 地 装 有 屏 蔽 这 种 粒 子 的 探 测 器 记 录 了 y 个 背 景 事 件 那 么, 这 种 粒 子 的 真 实 比 例 的 置 信 上 界 是 多 少? 如 果 y 超 过 x, 统 计 结 论 变 得 特 别 敏 感, 以 至 于 比 例 的 无 偏 估 计 实 际 上 是 负 的 随 后 问 题 是 是 否 这 个 置 信 上 界 足 够 大 就 能 鼓 励 进 一 步 的 探 测 努 力 即 使 在 最 简 单 的 形 式 下 ( 实 际 情 况 中 涉 及 很 多 对 复 杂 背 景 的 精 细 修 正 ), 这 个 难 题 引 起 物 理 学 界 的 广 泛 兴 趣 引 用 最 多 的 文 献 是 Feldman 和 Cousins 的 1998 年 Physical Review D 的 论 文 (p ) Louis Lyons, 牛 津 大 学 物 理 教 授,2003 年 9 月 在 Stanford 线 性 加 速 器 中 心 组 织 了 一 个 致 力 于 研 究 粒 子 物 理 天 体 物 理 学 和 宇 宙 学 中 统 计 问 题 的 会 议 (www-conf.slac.stanford.edu/phystat2002/) 化 学 光 谱 学 中 的 比 较 实 验 Richard Zare ( 斯 坦 福 大 学 化 学 教 授 ) 开 发 了 一 种 高 级 的 物 质 分 光 计, 可 以 同 时 记 录 大 量 重 粒 子 的 移 动 路 程 这 就 允 许 在 不 同 条 件 下 对 所 得 粒 子 收 集 物 之 间 进 行 比 较, 例 如 : 不 同 化 学 环 境 下 生 长 的 复 杂 分 子 的 比 较 典 型 的 谱 以 若 干 小 的 时 段 内 的 粒 子 计 数 (bin) 来 表 示 ( 也 许 一 次 典 型 的 试 验 中 有 个 bins) 比 较 这 样 的 两 种 谱, 就 是 找 出 在 两 种 条 件 下 有 显 著 计 数 差 的 bins, 这 是 一 个 同 时