2015
编 辑 天 津 财 经 大 学 统 计 系 统 计 说 编 委 会 地 址 天 津 市 河 西 区 珠 江 道 25 号 邮 编 300222 E-mail statistics_say@163.com 编 委 会 委 员 张 圆 董 婵 毕 莎 莎 申 亚 飞 刘 珊 珊 周 兰 兰 宋 培 培 张 猛 张 洋 杨 晓 康 刘 博 朱 祁 恒 逯 敏 高 磊 刘 骏 豪 田 静 孙 丹 丹 王 洋 袁 远 金 莉 闫 超 运 营 负 责 王 洋 朱 祁 恒 张 圆 统 计 说 名 誉 主 编 刘 乐 平 主 编 王 洋 副 主 编 朱 祁 恒 张 圆 美 术 编 辑 刘 骏 豪 王 洋 杨 晓 康 朱 祁 恒 张 圆 技 术 指 导 闫 超 高 磊
卷 首 01 成 长 的 艺 术 王 洋 人 物 名 人 访 谈 02 美 丽 心 灵 约 翰. 纳 什 张 圆 视 野 历 史 回 眸 06 君 子 善 假 于 物 从 统 计 的 工 具 性 说 开 来 去 董 婵 前 沿 热 点 09 浅 谈 大 数 据 医 疗 毕 莎 莎 国 内 动 态 12 大 数 据 发 展 的 里 程 碑 申 亚 飞 会 议 新 闻 14 新 鲜 出 炉 的 统 计 学 会 议 盛 宴 刘 珊 珊 学 习 学 习 笔 记 17 Gibbs 抽 样 周 兰 兰 统 计 软 件 20 R 语 言, 知 多 少? 宋 培 培 用 图 说 话 24 数 据 可 视 化 张 猛 学 科 交 叉 26 廉 价 的 财 富 互 联 网 数 据 张 洋 美 文 共 鉴 28 正 反 上 下, 古 今 中 外 杨 晓 康
会 晤 生 活 隅 角 30 统 计, 生 活 之 钥 刘 博 杂 谈 解 惑 33 一 个 统 计 的 足 球 预 测 骗 局 张 圆 统 计 思 维 35 蒙 提 霍 尔 问 题 展 现 统 计 思 维 的 魅 力 朱 祁 恒 工 作 实 战 37 基 于 大 数 据 的 征 信 体 系 探 索 与 应 用 实 践 逯 敏 滴 水 藏 海 44 疾 病 监 测 与 贝 叶 斯 公 式 高 磊 寓 学 于 乐 46 Shiny R 刘 骏 豪 交 流 成 长 丽 程 48 致 校 园 中 的 你 田 静 毕 业 感 悟 51 写 在 毕 业 季 孙 丹 丹 实 习 经 历 53 实 习 教 会 我 的 事 情 王 洋 求 职 之 旅 55 公 务 员 考 试 心 得 体 会 袁 远 求 职 之 旅 57 简 话 求 职 一 二 三 金 莉 卷 尾 60 卷 尾 语 闫 超
卷 首 语 成 长 的 艺 术 王 洋 林 语 堂 说, 如 果 天 使 没 有 了 感 觉, 那 人 们 也 未 必 会 欣 羡 她 的 幸 福 吧 而 青 春 的 弥 足 珍 贵, 正 是 由 于 我 们 的 感 觉 尚 且 鲜 活 灵 敏, 可 以 呼 吸 空 气 的 味 道, 触 碰 清 早 的 微 风, 体 会 时 而 的 欢 喜 与 转 瞬 的 忧 愁, 我 们 能 够 感 觉 与 外 界 碰 撞 的 疼 痛, 也 能 够 看 见 疼 痛 过 后 愈 加 完 整 的 自 己 这 是 最 轻 柔 的 时 光, 它 允 许 我 们 从 容 经 过 也 许 再 不 会 有 这 样 的 机 会, 我 们 什 么 都 没 有, 所 以 无 需 戒 备, 也 不 想 要 什 么, 因 此 格 外 自 由 我 们 渐 渐 学 着 去 挣 脱 虚 无, 学 习 那 些 原 本 缺 乏 的 东 西, 来 填 补 这 个 轻 盈 的 年 纪 透 过 那 些 文 字 和 声 音, 去 寻 找 一 点 触 动 或 是 点 醒 于 是, 我 们 慢 慢 看 清 楚 世 界 的 真 实 模 样, 而 不 再 像 之 前 盲 人 摸 象 一 般 然 后 更 了 解 自 己 想 要 成 为 一 个 怎 样 的 人, 什 么 事 物 值 得 我 们 喜 欢 和 热 爱 这 一 切 都 那 么 自 然, 也 庆 幸 我 们 一 起 走 过, 才 不 至 于 孤 独 和 迷 茫 即 使 有 留 恋 吧, 却 也 欣 然 接 受 自 己 成 长 了 的 样 子 那 时 稚 嫩 的, 青 涩 的, 曾 经 不 完 整 的 自 己, 看 似 远 去 却 始 终 悄 悄 跟 随 着 我 们, 成 为 我 们 的 一 部 分 就 像 即 便 我 们 再 也 背 不 出 供 需 定 理, 却 依 然 能 够 察 觉 它 在 生 活 中 如 影 随 形 就 像 依 稀 记 得 自 己 昨 天 的 小 心 思, 现 在 仍 旧 理 解 也 原 谅 此 时, 当 我 们 和 旧 时 光 擦 肩 而 去, 总 希 望 用 自 己 的 方 式 予 以 纪 念 统 计 说 到 这 里 已 经 是 第 三 期 了, 感 谢 刘 老 师 对 我 们 的 支 持, 感 谢 所 有 参 与 者 的 热 情 它 是 我 们 对 于 统 计 科 学 热 爱 的 宣 泄 释 放, 是 我 们 闪 烁 智 慧 的 记 录 笔 纹, 是 我 们 在 这 个 年 纪 里 鲜 艳 立 体 的 凸 显 它 不 为 使 我 们 变 化 得 高 深 莫 测, 而 是 帮 助 我 们 进 步 到 纯 朴 平 和 我 们 在 这 里 交 流 分 享, 同 时 留 下 些 许 走 过 的 痕 迹 1
名 人 故 事 John Forbes Nash 约 翰 纳 什 张 圆 说 到 学 术 界 最 近 的 头 条, 那 非 约 翰 纳 什 莫 属, 他 的 一 生 本 身 就 是 一 个 传 奇 2015 年 5 月 24 日, 约 翰 纳 什 夫 妇 遇 车 祸, 在 美 国 新 泽 西 州 逝 世 人 们 以 各 种 形 式 缅 怀 这 位 伟 大 的 经 济 学 家, 根 据 其 人 生 经 历 所 改 编 的 电 影 美 丽 心 灵 (A Beautiful Born June 13, 1928 Died May 24, 2015 Nationality American Fields Mathematics Institutions Princeton University Alma matter Carnegie Mellon University Princeton University Notable awards Nobel prize for Economics (1994) Leroy P Steele Prize (1999) Abel prize (2015) Known for Nash equilibrium Modern game theory Mind) 也 给 人 们 留 下 了 深 刻 的 印 象, 该 影 片 在 2001 年 上 映, 并 斩 获 第 74 届 奥 斯 卡 金 像 奖 以 及 最 佳 影 片, 也 正 是 通 过 这 部 影 片, 让 我 们 了 解 了 一 个 不 仅 拥 有 美 好 情 感, 并 具 有 美 丽 心 灵 的 约 翰 纳 什 年 轻 的 天 才 约 翰 纳 什 于 1928 年 6 月 13 日 出 生 于 美 国 西 弗 吉 尼 亚 州 工 业 城 布 鲁 菲 尔 德 的 一 个 中 产 阶 级 家 庭 父 亲 是 一 名 电 子 工 程 师, 母 亲 是 一 名 拉 丁 语 教 师 纳 什 从 小 性 格 孤 僻, 不 喜 与 人 交 流, 学 习 刻 苦, 很 少 与 同 龄 人 玩 耍 对 于 数 学, 纳 什 从 小 就 表 现 出 独 特 的 天 赋, 他 在 做 题 时 喜 欢 奇 思 妙 想 另 辟 蹊 径, 化 繁 为 简, 一 道 复 杂 的 数 学 题, 纳 什 仅 用 简 简 单 单 的 几 个 步 骤 就 能 解 答 出 来 中 学 毕 业 后, 纳 什 进 入 了 匹 兹 堡 的 卡 耐 基 技 术 学 院 ( 如 今 的 卡 内 基 大 学 ) 化 学 工 程 系 学 习, 一 位 教 授 将 他 称 为 高 斯 第 二 来 赞 美 他 的 数 学 才 能 1948 年, 还 在 上 大 三 的 纳 什 同 时 被 哈 佛 大 学 普 林 斯 顿 大 学 芝 加 哥 大 学 和 密 执 安 大 学 等 世 界 知 名 学 府 录 取, 而 纳 什 最 终 选 择 了 普 林 斯 顿 当 时 的 普 林 斯 顿 是 全 世 界 的 数 学 中 心, 罗 伯 特 奥 本 海 默 爱 因 斯 坦 冯 诺 伊 曼 诺 曼 斯 蒂 恩 罗 德 等 诸 多 科 学 大 师 们 在 这 里 大 放 异 彩 纳 什 来 到 了 这 个 无 数 人 梦 寐 以 求 的 数 学 系 的 红 砖 大 楼 中 攻 读 博 士 学 位 2
名 人 故 事 在 普 林 斯 顿 自 由 开 放 的 学 术 氛 围 中, 纳 什 展 现 了 其 过 人 的 数 学 才 华, 他 在 21 岁 就 已 经 博 士 毕 业, 以 非 合 作 博 弈 (Non-cooperative Games) 为 题 仅 仅 用 了 27 页 在 博 士 论 文 中 提 出 了 一 个 重 要 概 念, 也 就 是 后 来 被 称 为 纳 什 均 衡 的 博 弈 理 论 为 其 数 十 年 后 获 得 诺 贝 尔 经 济 学 奖 奠 定 了 基 础 到 30 岁 时, 纳 什 已 经 于 学 术 界 闻 名 遐 迩 1958 年, 纳 什 因 其 在 数 学 领 域 的 优 异 工 作 被 美 国 财 富 杂 志 评 为 新 一 代 天 才 数 学 家 中 最 杰 出 的 人 物 纳 什 均 衡 说 道 纳 什 均 衡, 作 为 学 统 计 和 经 济 学 的 我 们 可 以 说 是 无 人 不 知 无 人 不 晓, 不 论 在 哪 本 微 观 经 济 学 中 都 会 介 绍 纳 什 均 衡 的 基 本 原 理 那 时 候 的 我 们 都 以 为 纳 什 是 一 位 同 亚 当 斯 密 或 是 凯 恩 斯 同 时 代 的 人 物, 而 事 实 上, 纳 什 却 是 生 活 在 我 们 当 今 时 代 的 一 位 天 才 所 谓 的 纳 什 均 衡, 指 的 是 参 与 人 的 这 样 一 种 策 略 组 合, 在 该 策 略 组 合 上, 任 何 参 与 人 单 独 改 变 策 略 都 不 会 得 到 好 处 换 句 话 说, 如 果 在 一 个 策 略 组 合 上, 当 所 有 其 他 人 都 不 改 变 策 略 时, 没 有 人 会 改 变 自 己 的 策 略, 则 该 策 略 组 合 就 是 一 个 纳 什 均 衡 纳 什 均 衡 最 经 典 的 案 例 就 是 我 们 所 熟 知 的 囚 徒 困 境, 假 如 两 个 同 伙 抢 劫 犯 A B 被 抓, 隔 离 审 判 ( 两 人 没 有 任 何 信 息 交 流 ), 警 察 给 出 的 条 件 是 : 若 两 人 都 保 持 沉 默, 则 两 人 皆 被 判 刑 1 年 ; 若 一 人 沉 默, 另 一 人 揭 发 他, 则 沉 默 者 被 判 刑 20 年, 而 揭 发 者 无 罪 释 放 ; 若 两 人 互 相 揭 发 对 方, 则 两 人 都 被 判 刑 5 年 这 时,A B 囚 犯 的 心 理 活 动 如 下 :1. 若 对 方 选 择 沉 默, 而 我 选 择 揭 发, 那 么 我 会 被 无 罪 释 放 2. 若 对 方 选 择 揭 发, 而 我 也 选 择 揭 发, 那 么 我 只 被 判 5 年 ( 较 低 刑 期 ) 若 我 选 择 沉 默, 对 方 很 大 可 能 揭 发, 我 会 被 判 20 年 所 以, 我 选 择 揭 发 双 方 通 过 博 弈, 达 到 纳 什 均 衡 的 结 果 是 互 相 揭 发 对 方, 所 以 都 被 判 5 年 纳 什 均 衡 之 所 以 伟 大, 就 因 为 它 普 通, 而 且 普 通 到 几 乎 无 处 不 在 纳 什 均 衡 理 论 既 适 用 于 人 类 的 行 为 规 律, 也 适 合 于 人 类 以 外 的 其 他 生 物 的 生 存 运 动 和 发 展 的 规 律 纳 什 均 衡 和 博 弈 论 的 桥 梁 作 用, 使 经 济 学 与 其 他 社 会 科 学 自 然 科 学 的 联 系 更 加 紧 密, 形 成 了 经 济 学 与 其 他 学 科 相 互 促 进 的 良 性 循 环 3
名 人 故 事 幸 福 与 打 击 在 纳 什 的 事 业 如 日 中 天 的 同 时, 幸 福 也 悄 然 而 至 当 时 的 纳 什 就 像 天 神 一 样 英 俊,1.85 米 高 的 个 子, 体 重 接 近 77 公 斤, 还 有 一 张 英 国 贵 族 的 英 俊 容 貌 他 的 才 华 和 个 人 魅 力 吸 引 了 一 个 漂 亮 的 女 生 艾 里 西 亚 拉 尔 德 1957 年, 纳 什 与 艾 里 西 亚 结 婚 之 后 漫 长 的 岁 月 证 明, 这 也 许 正 是 纳 什 一 生 中 比 获 得 诺 贝 尔 奖 更 重 要 的 事 世 事 无 常, 正 当 纳 什 爱 情 与 事 业 取 得 双 丰 收 时, 命 运 又 和 纳 什 开 了 很 大 的 玩 笑 1958 年 的 秋 天, 正 当 艾 里 西 亚 半 惊 半 喜 地 发 现 自 己 怀 孕 时, 纳 什 却 为 自 己 的 未 来 满 怀 心 事, 越 来 越 不 安 出 现 了 各 种 稀 奇 古 怪 的 行 了 自 己 的 数 学 创 造 力, 他 认 为 纽 约 时 报 上 每 一 义, 而 只 有 他 才 能 读 懂 其 为 : 他 担 心 被 征 兵 入 伍 而 毁 梦 想 成 立 一 个 世 界 政 府, 他 个 字 母 都 隐 含 着 神 秘 的 意 中 的 寓 意 他 认 为 世 界 上 的 一 切 都 可 以 用 一 个 数 学 公 式 表 达 他 给 联 合 国 写 信, 跑 到 华 盛 顿 给 每 个 国 家 的 使 馆 支 持 他 成 立 世 界 政 府 至 要 用 法 语 写 数 学 论 文, 关 联 终 于, 在 孩 子 出 大 使 馆 投 递 信 件, 要 求 各 国 的 想 法 他 迷 上 了 法 语, 甚 他 认 为 语 言 与 数 学 有 神 秘 的 生 以 前, 纳 什 被 送 进 了 精 神 病 医 院, 经 医 生 诊 断, 纳 什 得 了 妄 想 型 精 神 分 裂 症 祸 不 单 行, 几 年 以 后 妻 子 艾 里 西 亚 因 忍 受 不 了 纳 什 长 期 的 阴 影 而 选 择 与 他 离 婚, 但 是 她 并 没 有 放 弃 纳 什, 离 婚 后, 仍 然 照 顾 纳 什 和 她 们 的 儿 子, 悉 心 照 料 他 30 余 年 与 此 同 时, 许 多 学 术 性 大 奖 也 因 纳 什 的 精 神 情 况 与 他 失 之 交 臂 苏 醒 后 的 天 才 正 当 纳 什 本 人 处 于 梦 境 一 般 的 精 神 状 态 时, 他 的 名 字 开 始 出 现 在 70 年 代 和 80 年 代 的 经 济 学 课 本 纳 什 的 博 弈 理 论 越 来 越 有 影 响 力, 但 他 本 人 却 默 默 无 闻 大 部 分 曾 经 运 用 过 他 的 理 论 的 年 轻 数 学 家 和 经 济 学 家 都 根 据 他 的 论 文 发 表 日 期, 想 当 然 地 以 为 他 已 经 去 世 但 幸 运 的 是, 纳 什 的 妻 子 朋 友 并 没 有 放 弃 他, 不 遗 余 力 的 帮 助 他, 挽 救 他, 终 于 一 点 点 的 将 他 从 精 神 疾 病 的 深 渊 拉 了 回 来 金 城 所 致 金 石 为 开, 纳 什 渐 渐 康 复, 从 疯 癫 中 苏 醒, 他 的 苏 醒 实 际 上 是 上 帝 为 他 写 好 的 剧 本, 为 了 迎 接 他 生 命 中 的 一 件 大 事 : 荣 获 诺 贝 尔 经 济 学 奖 当 1994 年 瑞 典 国 王 4
名 人 故 事 宣 布 年 度 诺 贝 尔 经 济 学 奖 的 获 得 者 是 约 翰 纳 什 时, 人 们 不 禁 感 叹 : 原 来 纳 什 还 活 着 好 事 多 磨,2001 年, 经 过 几 十 年 风 风 雨 雨 的 艾 里 西 亚 与 约 翰 纳 什 复 婚 了 在 漫 长 的 岁 月 里, 艾 里 西 亚 从 来 没 有 离 开 过 纳 什 这 个 伟 大 的 女 性 用 一 生 与 命 运 进 行 博 弈, 她 终 于 取 得 了 胜 利 而 纳 什, 也 在 得 与 失 的 博 弈 中 取 得 了 均 衡 结 语 2015 年 5 月 24 日, 约 翰 纳 什 夫 妇 遇 车 祸, 在 美 国 新 泽 西 州 逝 世, 结 束 了 他 传 奇 的 一 生, 他 与 妻 子 艾 里 西 亚 的 爱 情 也 为 人 们 津 津 乐 道 的 歌 颂 着, 纳 什 并 没 有 离 开 我 们, 在 经 济 学 中, 在 博 弈 论 中, 这 位 老 人 与 我 们 同 在, 与 世 界 同 在, 我 们 永 远 不 会 忘 记 这 位 伟 大 数 学 家 和 经 济 学 家 带 给 我 们 的 一 切, 更 加 不 会 忘 记 他 那 战 胜 困 难 坎 坷, 与 命 运 做 斗 争 的 美 丽 心 灵 5
历 史 回 眸 些 努 力 催 生 了 一 种 新 思 想, 即 现 象 可 以 被 客 观 地 测 量 并 服 从 某 种 数 学 分 析, 她 在 医 用 统 计 学 方 面 的 令 人 折 服, 真 正 达 到 了 造 福 全 人 类 的 高 度 在 之 后 的 发 展 中, 大 家 逐 渐 放 松 了 对 于 严 格 的 因 果 关 系 的 依 赖, 转 而 寻 求 统 计 上 的 相 关 关 系 尽 管 关 于 统 计 学 的 各 种 意 见 还 在 争 论 不 休, 但 不 可 否 认 的 是 统 计 已 经 改 变 了 世 界, 统 计 也 成 为 现 代 人 的 一 种 基 本 素 质, 成 为 我 们 世 界 观 的 一 个 组 成 部 分 统 计 学 是 各 学 科 的 仆 人, 作 为 一 种 工 具 用 统 君 子 善 假 于 物 从 统 计 的 工 具 性 说 开 来 去 董 婵 女 神 发 现 统 计, 统 计 改 变 世 界 提 到 弗 洛 伦 斯 南 丁 格 尔 (Florence Nightingale), 大 家 都 会 想 到 5.12 国 际 护 士 节, 今 天 我 们 来 看 女 神 鲜 为 人 知 的 另 一 面 提 灯 女 神 南 丁 格 尔 说 过 若 想 了 解 上 帝 在 想 什 么, 我 们 就 必 须 学 统 计, 因 为 统 计 学 就 是 在 量 测 他 的 旨 意 在 医 疗 卫 生 条 件 改 革 中, 南 丁 格 尔 应 用 了 大 量 的 统 计 数 据 和 统 计 方 法 在 前 线 照 顾 伤 员 的 日 子 里, 她 收 集 数 据 并 将 其 系 统 化 作 为 用 图 解 方 法 表 示 数 计 规 律 逼 近 客 观 规 律 的 工 具 被 广 泛 应 用 到 各 方 面 在 某 次 的 美 国 超 级 碗 (Super Bowl) 橄 榄 球 冠 军 赛 中 场 休 息 的 时 间, 施 利 茨 啤 酒 利 用 统 计 规 律 做 了 一 场 胜 券 在 握 的 广 告 这 场 效 果 绝 佳 的 广 告 并 不 复 杂, 有 如 统 计 本 身 追 求 的 简 约 一 样 首 先, 主 办 方 施 里 茨 啤 酒 邀 请 了 100 位 啤 酒 爱 好 者 来 参 与 盲 品 测 试 事 实 上, 如 我 们 所 知, 所 有 品 牌 的 啤 酒, 口 感 相 差 无 几 每 位 盲 品 者 面 对 的 是 施 里 茨 啤 酒 和 其 他 任 意 一 种 啤 酒, 品 尝 选 择 的 过 程 类 似 于 抛 硬 币, 每 位 盲 品 者 选 择 施 里 茨 啤 酒 的 概 率 都 是 50% 以 下 分 别 是 测 试 人 数 为 10 100 1000 时 的 概 率 密 度 函 数, 即 不 同 结 果 出 现 的 概 率 据 的 先 驱 之 一, 她 发 明 了 彩 色 的 极 区 图 (polar-area charts) 来 形 象 地 描 述 医 疗 统 计 数 据, 以 引 起 大 家 的 重 视 南 丁 格 尔 的 这 6
历 史 回 眸 100 人 :0.98 1000 人 :0.9 999 999 999 如 此, 应 用 简 单 的 统 计 规 律, 主 办 方 在 活 动 之 前 就 已 经 稳 操 胜 券 坐 等 丰 收 了 当 然, 也 有 些 绝 顶 聪 明 的 天 才 把 统 计 玩 坏 了 2008 年 金 融 危 机 之 前, 整 个 美 国 金 融 行 业 都 使 用 同 一 个 风 险 计 量 工 具 风 险 价 值 (VaR) 模 型. 理 论 上 说 VaR 既 是 一 个 简 洁 的 指 标 ( 将 大 量 信 息 整 合 为 一 个 单 独 的 数 字 ), 又 有 强 大 的 概 率 学 支 撑 ( 对 每 家 公 司 的 资 产 和 交 易 头 寸 都 给 出 了 预 期 收 益 和 损 失 值 ), 是 一 个 不 可 多 得 的 投 资 工 具 该 模 型 认 为, 公 司 的 每 一 项 投 资 都 存 在 着 大 量 可 能 的 结 果, 比 如 投 资 某 个 公 司 的 股 票, 可 能 升 值, 也 可 能 贬 值 如 果 在 一 个 相 对 较 短 的 时 期 内 ( 比 如 一 周 ) 采 用 VaR 模 型 进 行 投 资 评 估, 最 有 可 能 得 到 的 结 果 是 购 入 股 票 在 短 期 可 以 看 到, 随 着 测 试 人 数 的 增 加, 越 来 越 多 的 预 期 结 果 向 中 间 集 中, 位 于 两 端 的 极 端 结 果 出 现 的 概 率 则 下 降 得 厉 害 也 就 是 说, 测 试 人 数 越 多, 测 试 者 选 择 施 里 茨 啤 酒 的 概 率 越 大, 选 择 其 他 啤 酒 的 概 率 越 小 且 下 降 得 越 发 剧 烈 主 办 方 希 望 有 不 少 于 40% 的 测 试 者 选 择 施 里 茨 啤 酒, 这 样 就 达 到 了 满 意 的 宣 传 效 果 那 么 不 同 测 试 人 数 达 到 满 意 结 果 的 概 率 分 别 是 : 10 人 :0.83 内 基 本 维 持 现 状, 上 涨 或 下 跌 10% 的 概 率 很 小, 上 涨 或 下 跌 50% 的 概 率 就 更 小 了, 简 而 言 之, 变 化 越 大, 概 率 越 小 数 量 专 家 在 分 析 以 往 市 场 变 动 数 据 的 基 础 上, 应 用 VaR 模 型 得 出 一 个 数 字, 比 如 1000 万 美 元, 用 来 表 示 一 项 投 资 在 一 个 特 定 时 期 内 极 有 可 能 让 公 司 蒙 受 的 最 大 损 失, 出 现 这 种 结 果 的 概 率 是 1% 也 就 是 说, 这 项 投 资 在 99% 的 情 况 下 会 使 公 司 的 损 失 低 于 1000 万 美 元, 但 还 有 1% 的 概 率 是 超 过 1000 万 美 元 的 重 大 损 失 正 是 这 个 精 确 的 1% 小 概 率 风 险, 在 7
历 史 回 眸 2008 年 成 为 击 垮 美 国 华 尔 街 的 黑 天 鹅, 己 已 经 对 小 概 率 风 险 做 足 了 充 分 的 准 备, 这 无 疑 是 雪 上 加 霜 归 根 结 底, 统 计 只 是 工 具, 肯 定 没 有 工 具 使 用 者 聪 明 提 灯 女 神 开 创 性 地 用 统 计 数 据 及 图 表 救 治 病 人, 并 促 进 了 医 疗 改 革 ; 施 里 茨 啤 酒 巧 妙 利 用 统 计 分 布, 达 到 良 好 的 宣 传 效 果, 赚 得 盆 满 钵 满 ; 华 尔 街 天 才 却 出 人 意 料 地 在 小 概 率 事 件 上 重 重 摔 了 一 跤 统 计 学 作 为 一 种 工 具, 本 身 并 无 好 坏 之 分, 关 键 并 摧 毁 了 全 球 金 融 体 系 华 尔 街 的 数 量 分 析 专 家 们 在 应 用 统 计 工 具 的 时 候, 忽 略 了 三 点 最 基 本 的 知 识 第 一, 他 们 混 淆 了 精 确 和 准 确 的 概 念 准 确 强 调 期 望 值 与 真 实 值 的 接 近 程 度, 精 确 强 调 期 望 值 与 估 计 值 的 接 近 程 度 不 准 确 的 精 确 让 华 尔 街 高 管 们 自 认 为 风 险 尽 在 掌 握 之 中 第 二, 对 于 基 础 概 率 的 估 算 方 式 存 在 问 题, 不 能 只 用 2005 年 以 前 相 对 平 稳 和 繁 荣 的 经 济 数 据 来 预 测 接 下 来 几 十 年 的 市 场 表 现 这 就 好 比 一 个 赌 徒 想 着 这 次 有 90% 的 概 率 会 赢, 因 为 上 次 赢 的 概 率 是 90%, 这 个 逻 辑 显 然 已 经 走 火 入 魔 第 三, 忽 略 了 尾 部 风 险, VaR 模 型 预 测 的 是 那 些 发 生 概 率 为 99% 的 结 果, 这 也 正 是 概 率 统 计 的 原 理 但 是, 我 们 不 能 因 此 忽 略 概 率 为 1% 的 结 果 比 如, 遭 到 天 打 雷 劈 的 概 率 真 的 很 小, 但 却 真 的 发 在 于 如 何 应 用 个 人 认 为, 统 计 学 追 求 简 约 美, 从 繁 复 混 杂 的 数 据 中, 找 到 规 律, 为 我 所 用 所 谓 不 忘 初 心, 方 得 始 终 在 应 用 统 计 工 具 的 过 程 中, 要 时 常 回 头 看 一 看, 切 忌 越 走 越 远 忘 记 初 衷 否 则, 无 论 多 么 复 杂 或 完 美 的 模 型, 脱 离 了 准 确, 就 没 有 任 何 意 义, 反 而 会 有 负 面 影 响 好 比 一 个 不 准 确 的 车 速 表, 对 于 司 机 来 说, 远 不 如 没 有 车 速 表 来 得 安 全 君 子 生 非 异 也, 善 假 于 物 也 当 下, 是 一 个 大 规 模 生 产 分 享 和 应 用 数 据 的 时 代, 统 计 学 作 为 一 种 处 理 问 题 的 思 想, 一 种 实 战 工 具, 已 经 渗 透 在 我 们 日 常 生 活 和 科 学 研 究 的 每 一 个 角 落 大 数 据 时 代, 我 们 更 需 要 借 助 统 计 这 一 工 具 来 拨 开 云 雾, 识 得 真 相 希 望 大 家 都 善 用 统 计, 多 用 统 计, 用 好 统 计, 用 活 统 计, 统 计 让 生 活 更 美 好 生 过 最 要 命 的 是, 许 多 公 司 天 真 地 以 为 自 8
前 沿 热 点 浅 谈 大 数 据 医 疗 毕 莎 莎 除 了 较 早 前 就 开 始 利 用 大 数 据 的 互 联 网 公 司, 医 疗 行 业 可 能 是 让 大 数 据 分 析 最 先 发 扬 光 大 的 传 统 行 业 之 一 正 如 马 云 所 说 数 据 越 分 享 越 值 钱, 随 着 区 域 医 疗 的 发 展, 将 分 布 在 一 个 城 市 的 若 干 家 医 院 的 电 子 病 历 系 统 通 过 互 联 网 相 连 接, 实 现 数 据 共 享, 可 减 少 患 者 的 重 复 检 验 减 轻 患 者 的 经 济 负 担, 提 高 看 病 效 率 所 以 说 大 数 据 是 一 种 边 际 效 应 递 增 的 可 再 生 资 源 中 国 的 移 动 医 疗 2014 年 9 月, 百 度 世 界 大 数 据 论 坛 召 开 百 度 正 式 对 外 公 布 了 一 项 辅 助 医 疗 行 业 的 新 计 划 - 百 度 医 疗 大 脑, 这 是 百 度 大 脑 在 医 疗 领 域 的 细 分, 它 结 合 了 大 数 据 分 析 人 工 智 能 图 像 识 别 机 器 学 习 等 先 进 技 术, 以 及 来 自 于 传 统 医 疗 机 构 的 庞 大 海 量 数 据, 两 者 的 结 合 让 百 度 医 疗 大 脑 可 以 在 个 人 健 康 管 理 医 疗 大 数 据 研 究 和 公 共 卫 生 领 域 发 挥 出 巨 大 的 价 值 目 前, 百 度 医 疗 大 脑 已 经 被 应 用 在 百 度 疾 病 预 测 以 及 祥 云 医 疗 推 出 的 智 能 终 端 上, 致 力 于 皮 肤 病 的 大 数 据 分 析 这 款 皮 肤 APP 基 于 皮 肤 疾 病 的 可 视 化 特 点, 通 过 先 进 的 图 像 识 别 技 术 来 鉴 别 是 那 种 皮 肤 病, 结 合 大 量 病 历 及 治 疗 效 果, 通 过 大 数 据 分 析, 为 病 人 推 荐 相 应 的 医 生 药 物 在 过 去, 医 学 是 一 种 神 学, 如 果 你 生 病 了 那 时 的 江 湖 术 士 可 能 给 你 一 张 符 纸 让 你 回 家 烧 了 泡 水 喝 ; 在 现 代, 医 学 是 科 学, 不 论 是 讲 究 简 单 粗 暴 追 求 立 竿 见 影 的 西 医 或 是 犹 抱 琵 琶 半 遮 面 一 直 保 持 神 秘 的 中 医, 都 有 各 种 方 法 缓 解 你 的 病 症 ; 而 未 来 的 医 学 是 一 种 人 学, 医 生 在 医 学 活 动 中 绝 对 的 权 威 和 家 长 式 的 地 位 正 在 动 摇, 而 病 人 可 以 充 分 的 利 用 信 息 网 络 及 各 种 工 具, 来 更 多 的 参 与 自 我 医 疗 管 理 和 健 康 管 理 决 策 这 也 正 是 目 前 的 移 动 医 疗 所 倡 导 的 新 型 医 疗 模 式 大 数 据 的 医 疗 应 用 1. 用 大 数 据 控 制 医 疗 费 用 对 于 不 存 在 特 殊 因 素 的 常 见 疾 病, 通 过 对 大 量 临 床 数 据 的 分 析, 找 到 适 合 大 多 数 人 的 医 疗 方 案 可 以 实 现 方 法 统 一 控 制, 药 物 药 物 控 制, 既 实 现 了 费 用 透 明, 也 提 高 了 治 病 效 率 9
前 沿 热 点 2. 提 高 制 药 企 业 竞 争 力 使 制 药 企 业 也 参 与 到 临 床 治 疗 中, 对 药 物 费 用 的 支 付 不 看 广 告, 看 疗 效 只 有 生 产 真 正 有 效 果 的 产 品, 制 药 企 业 才 能 从 中 获 益 这 样 不 仅 减 少 了 无 效 药 品 对 资 源 的 浪 费, 也 使 制 药 企 业 更 贴 近 病 人, 最 终 是 双 赢 的 结 果 实 现 了 从 按 病 种 收 费 到 按 效 果 收 费 的 跨 越 3. 认 清 药 物 副 作 用 传 统 的 药 物 副 作 用 分 析 主 要 采 用 临 床 试 验 法 药 物 副 作 用 报 告 分 析 法 等, 这 些 方 法 受 到 样 本 数 小 采 样 分 布 有 限 等 因 素 影 响, 难 以 全 面 反 映 药 物 副 作 用 造 成 的 影 响 如 果 5. 个 性 化 医 疗 个 性 化 医 疗, 涉 及 到 人 类 基 因 组 计 划, 该 计 划 主 旨 在 于 探 测 每 个 人 的 基 因 信 息, 利 用 先 进 技 术 分 析 病 人 相 关 数 据, 进 而 私 人 订 制 的 为 病 人 打 造 治 疗 方 案 不 仅 如 此, 通 过 对 大 量 基 因 信 息 的 分 析, 我 们 就 可 以 判 断 哪 一 类 人 群 能 够 从 预 防 或 者 改 变 生 活 习 惯 中 获 益, 实 现 从 治 病 到 预 防 的 跨 越 6. 建 立 有 据 可 依 的 医 疗 如 果 医 疗 大 数 据 挖 掘 分 析 系 统 已 经 建 立 并 在 医 院 投 入 使 用, 大 夫 在 诊 断 疾 病 和 给 出 治 疗 方 案 时, 就 可 以 将 患 者 的 所 有 数 据 录 入 大 数 据 系 统 通 过 对 成 千 上 万 的 患 者 数 据 进 行 机 器 学 习 和 挖 掘 分 析, 大 夫 即 可 获 得 类 似 症 状 患 者 的 疾 病 机 理 病 因 以 及 治 疗 方 案, 这 有 助 于 大 夫 更 好 地 把 握 疾 病 的 诊 断 和 治 疗 通 过 分 析 大 量 结 构 非 结 构 数 据 临 床 数 据 染 色 体 数 据 把 治 疗 与 结 果 相 匹 配, 预 测 病 人 面 临 的 危 险 ( 例 如 病 变, 癌 细 胞 转 移 应 用 医 疗 大 数 据 库 系 统, 可 从 千 百 万 患 者 的 数 据 中 挖 掘 到 与 某 种 药 物 相 关 的 不 良 反 应, 样 本 数 大, 采 样 分 布 广, 所 获 得 结 果 更 具 有 说 服 力 4. 公 共 健 康 通 过 分 析 疾 病 模 式, 追 踪 疾 病 爆 发 和 加 强 公 共 监 管, 加 快 社 会 响 应 度 大 数 据 能 够 更 快 发 现 病 毒 作 用 机 制 发 现 准 确 疫 苗 及 时 产 生 能 够 满 足 个 人 需 求, 提 供 健 康 服 务, 等 ), 提 供 更 有 理 论 依 据 和 临 床 依 据 的 治 疗 方 案 这 些 信 息 能 够 帮 助 研 究 某 些 疾 病 发 病 的 家 族 性 和 地 区 区 域 的 分 布 性 除 此 之 外 大 数 据 参 与 的 远 程 病 人 监 控, 可 以 减 少 病 人 的 住 院 时 间 ; 大 数 据 参 与 的 预 测 建 模, 可 以 节 省 研 发 成 本 获 取 经 济 效 益 总 的 来 说, 大 数 据 的 利 用 可 以 帮 助 医 疗 行 业 提 高 生 产 力 改 进 护 理 水 平 增 强 竞 争 力 大 数 据 在 世 界 预 测 预 防 疾 病, 助 力 于 公 共 安 全 的 可 控 信 息 10
前 沿 热 点 尽 管 有 人 认 为 大 数 据 其 实 仅 仅 是 信 息 爆 炸 所 带 来 的 一 种 现 象 是 一 些 数 据 商 家 用 来 吸 引 眼 球 的 一 个 噱 头, 但 现 实 的 实 例 也 告 诉 我 们 大 数 据 正 在 创 造 价 值 目 前 最 众 所 周 知 的 例 子 就 是 在 甲 型 H1N1 流 感 爆 发 的 前 几 周, 互 联 网 巨 头 谷 歌 就 预 测 到 了 美 国 范 围 流 感 的 传 播, 地 点 准 确 性 甚 至 到 了 具 体 某 个 州 或 者 地 区 他 们 把 五 千 条 最 频 繁 检 索 词 条 和 美 国 疾 控 中 心 在 2003 年 到 2008 年 间 季 节 性 流 感 传 播 时 期 的 数 据 进 行 比 较, 集 合 多 年 来 所 有 网 上 搜 索 记 录 来 判 断 人 们 是 否 患 上 流 感 以 及 流 感 的 传 播 方 向, 为 控 制 病 情 争 取 宝 贵 时 间 无 独 有 偶, 在 埃 博 拉 病 毒 蔓 延 期 间, 科 学 家 们 通 过 对 非 洲 西 部 一 些 国 家 机 场 数 据 的 监 控, 来 判 断 病 毒 下 一 阶 段 的 传 播 方 向 他 们 所 运 用 的 数 据 主 要 是 机 场 乘 客 目 的 地, 以 及 乘 客 所 拨 打 的 手 机 联 系 人 所 在 位 置 对 于 上 文 提 到 的 基 因 组 计 划, 美 国 苹 果 公 司 的 传 奇 CEO 史 蒂 夫 乔 布 斯 成 为 世 界 上 第 一 个 拥 有 自 身 全 部 DNA 和 肿 瘤 DNA 排 序 的 人, 他 的 医 生 们 基 于 乔 布 斯 的 特 定 基 因 组 成, 按 所 需 效 果 用 药 当 癌 症 基 因 变 异 导 致 药 物 失 效 时, 医 生 可 以 及 时 更 换 另 外 一 种 药, 正 如 乔 布 斯 说 的 从 一 片 睡 莲 跳 到 另 一 片 上 虽 然 乔 布 斯 战 胜 癌 症 的 愿 望 没 有 实 现, 但 是 这 种 方 法 获 得 生 物 信 息 数 据 还 是 将 他 的 生 命 延 长 了 好 几 年 麦 肯 锡 公 司 在 医 疗 行 业 的 大 数 据 革 命 报 告 中 指 出 : 大 数 据 将 为 美 国 节 省 12-17% 的 医 疗 成 本, 相 当 于 节 省 3000-4500 亿 美 元 毫 无 疑 问, 大 数 据 与 医 疗 的 结 合 将 产 生 我 们 无 法 预 计 的 社 会 效 益 和 经 济 效 益 大 数 据 应 用 引 领 了 世 界 范 围 内 医 疗 水 平 的 进 步, 你 能 想 象 到 吗? 1 瑞 士 研 究 人 员 开 发 了 一 种 能 让 瘫 痪 病 人 操 纵 的 轮 椅 它 通 过 扫 描 脑 电 图 来 了 解 人 的 意 图, 从 而 控 制 轮 椅 移 动 而 且 人 工 智 能 系 统 通 过 摄 像 头 和 图 像 处 理 软 件 识 别 障 碍 物, 让 轮 椅 自 行 避 开 2 瑞 士 一 家 医 院 为 截 肢 病 人 进 行 了 仿 生 学 假 肢 植 入 手 术 这 个 仿 生 学 假 肢 能 通 过 电 极 芯 片 与 人 类 手 臂 上 两 个 主 要 神 经 相 连, 可 以 让 患 者 拥 有 逼 真 触 感 3 来 自 美 国 密 歇 根 大 学 综 合 癌 症 中 心 的 研 究 人 员 发 现 一 种 能 用 于 鉴 定 乳 腺 肿 瘤 中 干 细 胞 的 标 志 物, 这 项 发 现 可 能 为 确 定 乳 腺 癌 治 疗 最 佳 方 案 提 供 了 一 种 可 能 的 简 单 化 验 方 法 以 上 研 究 成 果 虽 然 还 处 在 实 验 阶 段, 我 相 信 他 们 一 定 会 比 我 们 想 象 中 更 早 实 现 11
国 内 动 态 祎, 田 溯 宁, 郭 台 铭 等 也 尽 数 出 席, 这 就 是 一 场 科 技 界 的 戛 纳 电 影 节 这 说 明 了 我 国 紧 跟 时 代 潮 流 的 决 心 以 及 进 行 大 数 据 发 展 的 迫 切 愿 望 在 这 次 饕 餮 盛 宴 中, 各 大 佬 进 行 了 重 要 讲 话, 这 些 讲 话 可 能 代 表 了 未 来 30 年 我 国 大 数 据 的 发 展 方 向 马 云 讲 到 : 未 来 最 大 的 能 源 是 大 数 据 如 果 你 不 参 与 整 个 大 数 据 的 建 设, 不 把 自 己 的 企 业 真 正 变 成 一 个 互 联 网 的 制 造 业, 我 大 数 据 发 展 的 里 程 碑 申 亚 飞 随 着 时 代 的 发 展 以 及 基 于 现 代 信 息 技 术 的 信 息 记 录 与 储 存 能 力 的 极 大 突 破, 我 们 逐 渐 步 入 大 数 据 时 代 从 1998 年 科 学 杂 志 刊 登 的 一 篇 大 数 据 的 处 理 程 序 (A Handler for Big Data) 中 第 一 次 正 式 提 出 大 数 据 的 概 念 到 如 今 的 各 行 各 业 都 在 强 调 大 数 据 也 不 过 短 短 十 几 年 时 间 在 这 十 年 时 间 中 我 们 已 经 看 到 了 大 数 据 的 魔 力 大 数 据 是 一 次 时 代 潮 流, 必 将 是 势 不 可 挡 的 可 以 这 样 说, 谁 可 以 充 分 合 理 的 利 用 大 数 据, 谁 就 可 以 在 激 烈 的 社 会 竞 争 中 立 于 不 败 之 地 现 在, 我 们 将 目 光 转 向 贵 州 贵 阳 2015 年 5 月 26 日 在 贵 阳 召 开 了 2015 年 贵 阳 国 际 大 数 据 产 业 博 览 会 暨 全 球 大 数 据 时 代 贵 阳 峰 会 国 务 院 总 理 李 克 强 发 贺 信, 国 务 院 副 总 理 马 凯 亲 自 出 席 并 发 表 演 讲 另 外, 中 国 科 技 界 的 大 佬 : 马 云, 马 化 腾, 雷 军, 周 鸿 相 信 你 一 定 会 抱 怨 和 埋 怨 未 来 的 制 造 业 不 仅 仅 是 会 生 产 商 品 和 产 品, 未 来 的 制 造 业 制 造 出 来 的 机 器 必 须 会 思 考, 必 须 会 说 话, 必 须 会 交 流, 未 来 所 有 的 制 造 业 都 将 会 成 为 互 联 网 和 大 数 据 的 终 端 企 业 未 来 的 制 造 业 要 的 不 是 石 油, 它 最 大 的 能 源 是 数 据 马 化 腾 在 会 议 上 说 到 : 互 联 网 + 是 一 种 能 力 互 联 网 + 也 是 最 近 也 甚 嚣 尘 上 在 第 十 二 届 全 国 人 民 代 表 大 会 第 三 次 会 议 上 李 克 强 总 理 就 强 调 了 其 重 要 性 在 政 府 工 作 报 告 中 提 出, 制 定 互 联 网 + 行 动 计 划, 推 动 移 动 互 联 网 云 计 算 大 数 据 物 联 网 等 与 现 代 制 造 业 结 合, 促 进 电 子 商 务 工 业 互 联 网 和 互 联 网 金 融 健 康 发 展, 引 导 互 联 网 企 业 拓 展 国 际 市 场 周 鸿 祎 重 点 强 调 了 大 数 据 时 代 的 安 全 三 原 则 一 个 是 用 户 信 息 实 际 上 还 是 用 户 的 个 人 资 产, 它 的 所 有 权 属 于 用 户 它 只 是 存 放 在 政 府 或 者 公 司 的 服 务 器 上 第 二 个 互 联 网 公 司 和 政 府 是 通 过 给 用 户 提 供 有 12
国 内 动 态 价 值 的 信 息 服 务, 实 际 上 是 作 为 一 种 平 等 交 换, 换 取 了 用 户 的 数 据, 对 用 户 数 据 的 使 用 必 须 经 过 用 户 的 授 权 和 认 可 最 后 一 个 就 是 作 为 存 储 用 户 数 据 的 这 些 主 体, 无 论 是 政 府 还 是 公 司, 应 该 做 到 安 全 存 储, 安 全 传 输, 来 对 用 户 数 据 提 供 最 安 全 的 保 障 另 外, 在 这 次 峰 会 上, 雷 军, 田 溯 宁 等 章 前 八 章 以 宏 观 视 角 介 绍 了 全 球 的 大 数 据 交 易 发 展 现 状 大 数 据 产 业 规 模 国 际 主 要 的 大 数 据 公 司 世 界 主 要 国 家 的 大 数 据 产 业 现 状 及 政 策, 以 及 我 国 贵 阳 大 数 据 交 易 所 成 立 情 况 和 意 义 第 九 章 是 该 书 的 重 点 内 容, 落 脚 于 我 国 国 内 各 大 行 业, 从 金 融 大 数 据 政 府 大 数 据 企 业 大 数 据 医 疗 大 数 据 交 也 做 了 重 要 讲 话, 指 明 了 我 国 大 数 据 发 展 的 方 向, 同 时 也 提 出 了 大 数 据 发 展 将 会 面 对 的 诸 多 难 题 在 我 看 来, 大 数 据 是 一 把 双 刃 剑, 在 大 数 据 时 代 生 存 必 须 紧 紧 依 靠 大 数 据 这 一 航 空 母 舰, 同 时 我 们 也 必 须 做 好 数 据 安 全 工 作, 对 国 际 属 性 数 据 产 权 隐 私 权 主 权 等 诸 多 问 题 要 足 够 重 视 除 了 科 技 大 佬 们 做 出 的 重 要 讲 话, 这 次 盛 会 也 在 实 质 上 为 我 国 大 数 据 的 发 展 提 出 了 正 式 纲 领 由 贵 阳 大 数 据 交 易 所 推 出 的 2015 年 中 国 大 数 据 产 业 白 皮 书 和 贵 阳 大 数 据 交 易 所 702 公 约 在 中 国 大 数 据 交 易 高 峰 论 坛 上 隆 重 亮 相 这 可 以 说 是 我 国 大 数 据 发 展 的 里 程 碑 2015 年 中 国 大 数 据 交 易 白 皮 书 做 出 了 提 纲 挈 领 式 的 规 划 : 系 统 地 阐 述 了 当 通 大 数 据 环 境 大 数 据 教 育 大 数 据 互 联 网 大 数 据 等 16 个 产 业 做 了 专 业 的 研 究 分 析 和 权 威 的 趋 势 预 测 毋 庸 置 疑, 这 次 峰 会 在 我 国 大 数 据 发 展 历 程 中 有 着 至 关 重 要 的 作 用, 可 以 说 是 我 国 大 数 据 发 展 的 舵 手 另 外, 更 会 引 领 我 们 与 世 界 大 数 据 发 展 接 轨, 逐 渐 赶 上 乃 至 超 越 世 界 先 进 国 家 在 这 个 大 数 据 时 代 来 临 之 际, 我 们 必 将 会 按 照 这 次 峰 会 提 出 的 宏 观 战 略 发 展 我 国 的 大 数 据, 为 我 国 新 时 代 的 发 展 开 辟 道 路 前 我 国 的 大 数 据 交 易 现 状, 对 从 全 球 到 国 家, 从 国 家 到 产 业 的 大 数 据 交 易 进 行 了 介 绍 和 分 析, 对 大 数 据 产 业 的 发 展 及 大 数 据 交 易 具 有 重 要 的 推 动 与 指 导 作 用 白 皮 书 共 分 为 九 大 13
会 议 新 闻 文 作 为 重 点 文 章 刊 出 大 数 据 已 然 成 为 统 计 领 域 炙 手 可 热 的 话 题 因 而, 有 关 大 数 据 的 统 计 学 会 议 也 应 运 而 生 2014 年 10 月 18 19 日 在 厦 门 大 学 举 办 的 的 第 五 届 中 国 统 计 学 年 会 (CSAC) 的 年 会 主 题 定 为 大 数 据 时 代 下 的 统 计 学, 以 喻 义 统 计 学 在 新 时 代 下 所 面 临 的 挑 战 和 重 大 新 鲜 出 炉 的 统 计 学 会 议 盛 宴 刘 珊 珊 随 着 统 计 学 在 中 国 越 来 越 热, 各 种 统 计 学 会 议 也 在 如 火 如 荼 的 进 行 着, 下 面 就 为 大 家 简 单 介 绍 最 新 一 年 的 统 计 学 会 议 炙 手 可 热 的 大 数 据 与 统 计 2013 年 9 月 12 日, 第 四 届 中 国 统 计 开 放 日 上, 国 家 统 计 局 最 新 推 出 的 普 查 利 器 手 持 PDA 这 个 设 备 不 仅 集 录 入 登 记 发 发 展 机 遇 德 国 洪 堡 大 学 台 湾 辅 仁 大 学 北 京 师 范 大 学 中 国 人 民 大 学 等 海 内 外 高 校 著 名 统 计 学 家 学 者 的 特 邀 报 告 涉 及 中 国 宏 观 经 济 形 势 云 计 算 在 大 数 据 时 代 统 计 研 究 发 展 国 民 经 济 核 算 抽 样 方 案 设 计 统 计 学 专 业 教 学 质 量 国 家 标 准 等 领 域 除 此 之 外, 与 会 者 还 将 围 绕 经 济 统 计 理 论 方 法 与 应 用 研 究, 国 民 核 算 与 宏 观 经 济 分 析 研 究, 数 理 统 计 理 论 方 法 与 应 用 研 究, 计 量 经 济 学 理 送 处 理 汇 总 等 多 种 功 能 为 一 体, 还 能 及 时 采 集 调 查 单 位 的 图 像 信 息 以 及 空 间 定 位 信 息 等 非 结 构 化 数 据 2013 年 11 月 19 日 下 午, 阿 里 巴 巴 百 度 中 国 联 通 等 11 家 涉 足 大 数 据 的 领 军 企 业 代 表 走 进 北 京 月 坛 南 街 57 号, 与 国 家 统 计 局 签 署 关 于 大 数 据 的 战 略 合 作 协 议, 共 同 探 讨 和 推 进 大 数 据 在 政 府 统 计 中 的 应 用 2015 年 05 月 29 日, 中 国 统 计 学 会 主 办 刊 物 统 计 研 究 出 版 了 大 数 据 研 究 专 辑 增 刊, 刊 发 系 列 具 有 前 瞻 性 和 创 新 性 的 论 文, 集 中 展 示 大 数 据 背 景 下 统 计 学 研 究 最 新 进 展, 勾 勒 未 来 统 计 科 学 的 发 展 方 向 并 且,2015 年, 杂 志 每 期 都 将 大 数 据 相 关 论 论 与 应 用 研 究 等 9 个 议 题 分 组 进 行 深 入 研 讨 2014 年 11 月 29 日 至 30 日, 首 届 大 数 据 与 应 用 统 计 国 际 会 议 (The First International Conference on Big Data & Applied Stat) 在 中 国 人 民 大 学 成 功 举 办 本 次 会 议 由 中 国 人 民 大 学 兰 州 商 学 院 中 14
会 议 新 闻 国 科 学 院 北 京 大 学 首 都 师 范 大 学 联 合 主 办, 有 来 自 多 个 国 家 和 地 区 的 70 余 位 代 表 参 加 会 议 大 会 邀 请 了 海 内 外 的 11 位 著 名 统 计 学 专 家 学 者 作 为 特 邀 报 告 人 展 示 了 自 己 近 期 关 于 大 数 据 分 析 的 研 究 成 果, 主 要 内 容 涉 及 当 传 统 统 计 方 法 不 能 充 分 利 用 先 验 知 识, 小 样 本 统 计 可 靠 性 统 计 研 究 中 逐 渐 显 现 出 严 重 局 限 性, 贝 叶 斯 学 派 的 崛 起 将 是 不 可 忽 视 的 现 象 2014 年 12 月 21 日 在 我 们 的 天 津 财 经 大 学 成 功 召 开 了 第 二 届 中 国 贝 叶 斯 统 计 学 术 论 坛, 本 次 会 议 由 天 津 财 经 大 学 中 国 经 济 统 计 研 究 中 心 贝 叶 斯 之 道 研 究 室 共 同 主 办, 统 计 之 都 协 办 会 议 规 模 不 大, 旨 在 贝 叶 斯 爱 好 者 提 供 分 享 与 交 流 的 平 台 上 午 是 四 场 特 邀 报 告 : 来 自 国 家 统 计 局 的 谷 彬 老 师 北 京 大 学 的 张 俊 妮 老 师 辰 智 咨 询 / 江 苏 先 锋 信 息 到 大 数 据 分 析 国 际 前 沿 研 究 问 题, 应 用 统 计 中 大 数 据 分 析 问 题, 特 别 是 大 数 据 统 计 理 论 方 法 最 新 研 究 成 果 及 其 在 基 因 学 天 文 学 宇 宙 学 流 行 病 学 经 济 金 融 学, 生 命 科 学 和 工 程 学 等 领 域 中 的 应 用, 以 及 大 数 据 分 析 人 才 培 养 问 题 等 此 次 大 会 在 增 进 学 术 交 流 推 动 学 科 建 设 发 展 等 方 面 起 到 重 要 的 促 进 作 用, 对 于 了 解 国 际 大 数 据 统 计 分 析 理 论 方 法 及 应 用 研 究 的 前 沿 和 热 点 问 题 有 着 重 要 的 意 义 科 技 的 CEO 林 祯 舜 老 师 和 天 津 财 经 大 学 的 刘 乐 平 老 师 分 别 为 我 们 分 享 了 主 题 为 农 村 土 地 流 转 综 合 评 估 与 大 数 据 监 测 Bayesian Forecasting of Demographic Rates for Small Areas 大 型 多 人 在 线 数 据 分 析 协 作 平 台 (Massively Multi-analyst Online Data Analysis Platform) 统 计 分 析 的 第 三 范 式 : 大 数 据 与 贝 叶 斯 统 计 思 维 的 精 彩 报 告, 来 自 各 地 的 与 会 者 们 也 进 行 了 精 彩 的 提 问 下 午, 是 三 场 贝 叶 斯 入 门 的 简 单 数 理 统 计 的 热 门 话 题 贝 叶 斯 上 海 大 学 经 济 学 院 的 叶 明 确 黄 舒 二 人 基 于 对 36818 篇 外 国 文 献 和 16398 篇 国 内 文 献 的 分 析, 发 现 贝 叶 斯 是 数 理 统 计 研 究 前 沿 的 三 个 重 要 主 题 之 一 不 论 是 美 国 统 计 学 会 JASA 期 刊 还 是 英 国 皇 家 学 会 JRSS 期 刊 等, 几 乎 每 期 都 有 关 于 贝 叶 斯 统 计 的 论 文 尤 其 是 15
会 议 新 闻 培 训, 让 初 学 者 从 简 单 操 作 上 进 一 步 认 识 贝 叶 斯 以 贝 叶 斯 为 主 题 的 会 议 很 少, 因 此, 这 次 会 议 更 显 得 尤 为 珍 贵 通 过 贝 叶 斯 爱 好 者 们 的 一 次 简 单 聚 会, 给 了 大 家 一 次 分 享 与 讨 论 的 机 会, 让 更 多 的 人 了 解 贝 叶 斯, 最 终 能 够 为 贝 叶 斯 在 中 国 的 发 展 起 到 推 波 助 澜 的 作 用, 这 就 是 这 个 会 议 的 目 标 与 意 义 所 在 最 值 得 学 习 的 语 言 R R 是 一 套 完 整 的 数 据 处 理 计 算 和 制 图 软 件 系 统 R 语 言 是 统 计 领 域 广 泛 使 用 的 一 个 统 计 学 语 言 Rexer Analytics 发 布 的 2013 年 数 据 挖 掘 人 员 调 查 显 示,70% 的 数 据 挖 掘 人 员 使 用 R 软 件 进 行 分 析 工 作, 其 中 有 24% 将 其 用 作 主 要 工 具 这 些 结 果 类 似 于 2013 年 KDnuggets 调 查 的 结 果, 该 调 查 指 出 有 61% 的 响 应 者 表 示 使 用 R 处 理 分 析 数 据 挖 掘 和 数 据 科 学 工 作 相 比 前 一 年, 这 一 比 例 上 升 了 16% R 绝 对 是 统 计 学 人 最 值 得 学 习 的 语 言 历 年 火 热 的 R 语 言 会 议 也 再 一 次 证 明 了 这 一 点 和 生 物 技 术 等 方 面 应 用 的 最 新 进 展, 共 包 含 23 场 特 邀 报 告 众 多 背 景 各 异 行 业 不 同 的 人 以 R 软 件 为 纽 带, 共 享 了 一 场 关 于 R 语 言 和 统 计 分 析 的 盛 会 2015 年 6 月 6-7 日 即 将 在 北 京 大 学 举 办 北 京 分 会 场 的 第 八 届 中 国 R 语 言 会 议 此 次 会 议 邀 请 了 以 美 国 科 学 院 院 士, 加 州 大 学 伯 克 利 分 校 统 计 学 教 授 郁 彬 老 师 为 代 表 的 一 大 批 国 内 外 杰 出 学 者 ; 以 及 百 度 大 数 据 部 主 任 张 潼 为 代 表 的 优 秀 企 业 科 学 家 ; 以 百 分 点 创 始 人 苏 萌 博 士, 量 邦 科 技 微 量 网 创 始 人 冯 永 昌 博 士 为 代 表 的 创 业 精 英 等 会 议 主 题 覆 盖 了 医 学, 生 物, 商 业 等 几 乎 所 有 同 数 据 科 学 相 关 的 领 域, 是 一 场 难 得 的 R 语 言 的 盛 宴 小 结 由 于 本 人 知 之 甚 少, 因 此 本 文 只 是 简 单 介 绍 了 这 些 统 计 会 议, 还 有 许 多 精 彩 的 统 计 会 议 没 有 提 及 如 果 想 真 正 领 悟 到 它 们 的 魅 力 与 价 值, 需 要 我 们 真 正 的 参 与 其 中, 身 临 其 境 的 感 受 各 种 统 计 前 沿 知 识 的 熏 陶 2014 年 第 七 届 中 国 R 语 言 会 议 分 别 于 5 月 24 日 ~25 日,11 月 15 日,11 月 29 日 和 12 月 6 日 ~7 日 在 北 京 广 州 杭 州 和 上 海 四 个 分 会 场 进 行, 每 一 次 都 涉 及 到 R 语 言 在 各 行 各 业 的 广 泛 应 用, 因 而 吸 引 了 很 多 人 参 加 学 习 2015 年 5 月 23-24 日, 第 八 届 中 国 R 语 言 ( 广 州 ) 会 议 暨 华 南 地 区 数 据 科 学 会 议 在 中 山 大 学 成 功 召 开, 此 次 会 议 交 流 的 主 题 涵 盖 了 R 语 言 在 互 联 网 统 计 气 象 地 理 金 融 16
学 习 笔 记 Gibbs 抽 样 周 兰 兰 踏 入 研 究 生 生 活, 说 心 里 话, 还 真 和 自 己 想 的 不 大 一 样 呢! 说 好 的 娱 乐 活 动 呢, 说 好 的 旅 行 呢, 说 好 的 实 习 小 费 呢 没 有 了, 都 没 有 了, 但 却 迎 来 了 更 有 意 义 更 有 价 值 的 生 活 我 们 开 始 了 一 周 一 次 的 讨 论 课 ( 后 来 进 步 成 一 周 两 次 ), 庆 幸 有 万 能 的 学 长 带 领 着 我 真 的 收 获 了 很 多! 下 面 我 想 来 说 说 Gibbs 抽 样 Gibbs 抽 样 是 实 现 MCMC 的 一 种 极 具 吸 引 力 的 方 法 简 单 地 说,MCMC 就 是 通 过 一 定 的 方 法 对 感 兴 趣 的 参 数 进 行 大 量 的 模 拟, 最 后 使 模 拟 参 数 达 到 一 个 稳 定 状 态 这 时, 模 拟 得 到 的 参 数 可 以 视 为 来 自 参 数 真 实 分 布 的 一 个 样 本 那 么, 我 们 就 可 以 根 据 这 些 模 拟 参 数 样 本 来 对 真 实 参 数 的 特 征 进 行 分 析 Gibbs 抽 样 就 是 实 现 模 拟 过 程 的 一 种 具 体 算 法, 在 模 拟 抽 取 的 过 程 实 现 上, Gibbs 抽 样 有 着 很 大 的 优 势 1) Gibbs 算 法 可 以 比 较 简 单 的 实 现 对 高 维 度 参 数 的 同 时 抽 取 ( 基 本 原 理 部 分 有 较 详 细 的 解 释 ), 这 也 是 我 们 选 取 使 用 该 方 法 的 一 个 标 准 2) 在 Gibbs 模 拟 算 法 中 不 需 要 定 义 调 整 常 数 或 是 建 议 分 布 调 整 常 数 和 建 议 分 布 往 往 需 要 根 据 具 体 的 模 拟 对 象 的 特 征 来 定 义, 有 很 大 的 主 观 性 鉴 于 通 常 我 们 模 拟 的 对 象 都 很 复 杂, 迅 速 的 找 到 合 适 的 调 整 常 数 和 建 议 分 布 并 不 容 易, 而 吉 布 斯 算 法 恰 恰 成 功 的 避 免 了 这 一 点 此 外, 可 以 运 用 比 较 简 单 的 R 语 言, 在 R 软 件 中 实 现 该 算 法 并 且 完 成 一 次 编 程 可 以 保 存 下 来, 以 后 针 对 不 同 的 问 题 只 需 把 某 些 具 体 的 参 数 值 和 表 达 式 更 换 即 可, 命 令 的 结 构 不 必 做 大 的 变 动 Gibbs 抽 样 的 实 现 依 赖 于 参 数 的 条 件 分 布, 假 定 我 们 感 兴 趣 的 各 参 数 组 成 的 参 数 向 量 是 1,..., p, 并 把 所 有 参 数 的 联 合 后 验 记 为 data, 那 么 我 们 可 以 得 出 各 条 件 后 验 分 布, 如 1 2,... p,data, 17
学 习 笔 记 18 p,data... 1, 2 3... p p,data 1,... 1, 然 后 从 每 一 个 条 件 分 布 中 抽 取 相 应 的 参 数 值, 并 且 每 一 次 抽 取 都 以 已 获 得 的 其 他 参 数 的 最 新 值 作 为 条 件, 从 而 实 现 对 整 个 联 合 分 布 data 的 模 拟 过 程 依 据 这 些 条 件 分 布, 分 别 对 每 一 个 参 数 都 完 成 一 次 抽 取, 则 成 为 Gibbs 抽 样 的 一 次 循 环 为 了 使 模 拟 达 到 稳 定 状 态, 通 常 要 进 行 10000 次 甚 至 更 多 的 模 拟 这 样 实 现 Gibbs 抽 样 的 关 键 就 转 向 了 如 何 确 定 各 参 数 的 条 件 分 布 求 条 件 分 布 的 基 本 思 路 : 求 哪 个 参 数 的 条 件 分 布, 就 只 把 该 参 数 视 为 变 量, 其 他 参 数 视 为 常 数, 对 所 有 参 数 的 联 合 后 验 进 行 化 简, 化 简 后 分 布 为 该 参 数 的 条 件 后 验 分 布 例 : 推 导 data,, 2 的 分 布 时 : 首 先 视 为 常 数, 但 处 于 变 量 的 指 数 部 位, 因 此 不 能 化 简 ; i 视 为 常 数, 则 第 一 个 连 乘 号 内 2 / 1 i 可 化 简, 第 二 个 连 乘 号 内 整 体 为 常 数 也 可 化 简, 所 以 整 理 后 n i yi i yi i n i data f n 1 2 2 2 exp 1 1 2 2 2 exp 1 1 1 ),, 2 ( 2 2 = 2 2 1 2 exp 1 2 1 2 n i i y i n 又 参 数 为 (a,b) 的 逆 伽 马 分 布 的 密 度 函 数 为 y b a y x f exp 1 1 ) (, 所 以 2 1 2, 2 ~,, 2 n i i y i n gamma inv data 运 用 同 样 的 推 导 方 法 可 得 到 : ),, 2 ( data f
学 习 笔 记, 2 i, data ~ v 1 gamma, 2 2 yi 2 2 v 2 2 i,, data ~ N n y i 1 i i n i 1 i, n i 1 i 对 于 这 一 项, 整 理 结 果 为 f ( 2,, data) exp yi n i1 1 2 2 2 这 个 形 式 很 常 见, 而 且 推 导 稍 麻 烦, 所 以 这 个 函 数 形 式 所 对 应 的 分 布 结 果 可 以 当 成 一 种 固 定 的 形 式 加 以 记 忆 那 么, 我 们 可 以 在 R 中 通 过 以 下 命 令 分 别 来 抽 取 三 个 参 数 在 R 软 件 的 LearnBayes 包 中, 有 特 定 的 函 数 robustt 来 实 现 上 述 分 布 的 Gibbs 抽 样 但 如 果 我 们 面 对 的 参 数 不 再 服 从 以 上 提 到 的 三 个 分 布 形 式 ( 伽 马 逆 伽 马 正 太 ), 则 不 能 直 接 使 用 robustt 这 个 函 数, 但 也 不 必 紧 张, 这 时 我 们 只 需 在 R 中 输 入 robustt 敲 回 车, 便 会 出 现 robustt 的 具 体 形 式, 然 后 修 改 其 中 参 数 抽 取 的 部 分 ( 上 述 三 行 命 令 ) 即 可 ( 如 有 需 要, 可 能 也 要 修 改 结 果 的 存 储 向 量 的 形 式 ) 这 样 就 实 现 了 一 次 完 整 的 Gibbs 抽 样 19
统 计 软 件 R 语 言, 知 多 少 宋 培 培 随 着 R 语 言 如 火 如 荼 的 发 展, 已 成 为 数 据 分 析 师 的 新 宠 的 它, 持 续 地 吸 引 着 来 自 各 行 各 业 的 关 注 不 断 增 长 的 R 包 的 数 量 以 及 它 的 强 大 功 能, 带 给 使 用 者 接 连 不 断 的 惊 喜 身 在 R 语 言 门 外 的 小 伙 伴 们, 禁 不 住 要 问 R 语 言 到 底 是 什 么? 为 什 么 它 可 以 有 魔 力 般 的 力 量 牢 牢 吸 引 着 人 们? 给 我 一 个 学 习 R 语 言 的 理 由 下 面 就 让 我 们 带 着 疑 问 去 探 索 R 语 言 的 世 界 吧! R 语 言 是 什 么? R 的 最 让 人 惊 艳 之 处 在 于 你 可 以 通 过 修 改 它 来 做 所 有 的 事 情, 而 你 已 经 拥 有 大 量 可 用 的 工 具 包, 这 无 疑 让 你 是 站 在 巨 人 的 肩 膀 上 工 作 哈 尔. 罗 纳 德. 范 里 安 (Google 首 席 经 济 学 家 ) R 是 一 门 用 于 统 计 分 析 和 绘 图 的 免 费 开 源 的 语 言, 更 是 一 个 数 据 计 算 与 分 析 的 环 境 R 语 言 由 新 西 兰 奥 克 兰 大 学 的 Ross Ihaka 和 Robert Gentleman 为 了 方 便 统 计 教 学 共 同 开 发 的, 并 以 二 人 姓 名 的 首 字 母 R 来 给 这 门 语 言 命 名 Ross Ihaka Robert Gentleman R 语 言 和 S 语 言 有 着 千 丝 万 缕 的 联 系 R 语 言 是 S 语 言 的 一 种 实 现 1976 年,John M. Chambers 在 贝 尔 实 验 室 开 发 的 S 语 言 是 为 了 替 代 昂 贵 的 SPSS 和 SAS 工 具 如 果 说 S 语 言 是 VAX 和 UNIX 小 型 机 时 代 的 产 物, 那 么 R 则 是 PC 和 Linux 时 代 的 产 物,R 语 言 大 量 借 助 了 S 语 言 的 方 法 不 仅 如 此,S 语 言 的 发 明 者 John M. Chambers 也 是 R 语 言 开 发 核 心 团 队 的 成 员, 因 此 R 语 言 的 一 些 数 据 处 理 方 法 和 S 语 言 相 同 S 语 言 的 代 码 几 乎 不 需 要 进 行 任 何 修 改 即 可 在 R 语 言 环 境 下 运 行, 从 这 个 角 度 讲 两 种 语 言 几 乎 等 价 John M. Chambers 一 直 不 遗 余 力 地 致 力 于 R 语 言 的 发 展, 至 今 仍 然 是 活 跃 的 R 语 言 开 发 者 在 2009 年 第 一 期 R Journal 上 他 是 这 样 定 义 R 语 言 的 : an interface to computational procedures of many kinds( 各 类 计 算 过 程 的 接 口 ); interactive, hands-on in real time( 具 有 可 交 互 性, 可 以 实 时 手 动 操 作 ); 20
统 计 软 件 functional in its model of programming( 函 数 式 编 程 模 式 ); object-oriented, everythingisanobject ( 面 向 对 象, 所 有 东 西 都 是 对 象 ); modular,built from standardized pieces( 模 块 化, 由 标 准 化 块 构 建 ); collaborative, aworld-wide, open-source effort( 协 作 性, 全 球 范 围 的 开 源 力 量 ) 分 析 功 能 R 是 一 种 开 源 的 语 言, 它 包 含 许 多 功 能 强 大 的 R 包, 其 内 容 涵 盖 了 从 统 计 计 算 到 机 器 学 习, 从 金 融 领 域 到 医 学 圣 地, 从 数 据 挖 掘 到 大 数 据 分 析, 从 各 种 数 据 库 接 口 到 高 性 能 计 算 模 型, 可 以 说 无 所 不 包, 无 所 不 容, 这 些 R 包 是 由 全 球 的 数 据 分 析 师 和 程 序 员 免 费 提 供, 截 至 到 目 前 CRAN 收 录 各 类 数 据 包 的 数 量 已 达 到 6692 个 R 包 强 大 的 功 能 加 之 R 语 言 的 特 性 R 是 一 套 完 整 的 数 据 处 理 分 析 和 绘 图 软 件 系 统 它 提 供 了 广 泛 的 统 计 分 析, 包 括 线 性 和 非 线 性 模 型 统 计 检 验 时 间 序 列 分 类 聚 类 等 方 法 借 助 于 R 包 的 辅 助,R 语 言 的 功 能 不 再 局 限 于 做 统 计 计 算, 其 功 能 包 括 : 数 据 存 储 和 处 理 系 统 ; 数 组 运 算 工 具 ( 其 向 量 矩 阵 运 算 方 面 功 能 尤 其 强 大 ); 完 整 连 贯 的 统 计 分 析 工 具 ; 优 秀 的 统 计 制 图 功 能 ; 简 便 而 强 大 的 编 程 语 言 : 可 操 纵 数 据 的 输 入 和 输 入, 可 实 现 分 支 循 环, 用 户 可 自 定 义 功 能 与 其 说 R 是 一 种 统 计 软 件, 还 其 庞 大 的 供 应 团 队 是 R 语 言 发 展 得 如 火 如 荼 的 一 个 重 要 原 因 Ottawa 大 学 教 授 Catherine 指 出,R 主 要 用 于 做 统 计 工 作, 你 可 以 把 它 看 成 是 像 SAS Analytics 分 析 系 统 的 竞 争 者 之 一, R 如 此 强 大, 诸 如 StatSoft STATISTICA 或 者 Minitab 与 R 相 比, 就 不 值 一 提 了 给 你 一 个 理 由 学 习 R 语 言 免 费 开 源 的 特 性 促 进 了 R 语 言 的 发 展 从 R 语 言 的 发 展 历 史 上 看,R 主 要 是 统 计 学 家 为 解 决 数 据 分 析 领 域 的 问 题 而 开 发 的 语 言, 因 此 R 具 有 一 些 独 特 的 优 势 不 如 说 R 是 一 种 数 学 计 算 的 环 境, 因 为 R 并 不 是 仅 仅 提 供 若 干 统 计 程 序, 使 用 者 只 需 指 统 计 分 析 和 前 沿 算 法 专 门 为 统 计 和 数 据 分 析 开 发 的 语 言, 有 定 数 据 库 和 若 干 参 数 便 可 进 行 一 个 统 计 分 析 R 的 思 想 是 : 它 可 以 提 供 一 些 集 成 的 统 计 工 具, 但 更 大 量 的 是 它 提 供 各 种 数 学 计 算 统 计 计 算 的 函 数, 从 而 使 使 用 者 能 灵 活 机 动 的 进 行 数 据 分 析, 甚 至 创 造 出 符 合 需 要 的 新 的 统 计 计 算 方 法 R 内 嵌 多 种 统 计 学 及 数 字 高 质 量 广 泛 的 统 计 分 析 且 拥 有 前 沿 算 法, 各 种 功 能 和 函 数 琳 琅 满 目, 能 够 满 足 使 用 者 不 同 的 需 求 此 外,R 语 言 有 强 大 的 社 区 支 持, 提 供 数 量 众 多 功 能 各 异 的 R 包, 不 仅 为 R 语 言 的 使 用 锦 上 添 花, 而 且 R 包 的 存 在 成 为 R 语 言 的 最 大 亮 点 21
统 计 软 件 开 放 的 源 代 码, 自 由 且 免 费 R 语 言 不 受 制 于 操 作 系 统, 它 可 以 部 署 在 任 何 操 作 系 统, 例 如 Windows Linux Mac OS X Unix 等, 这 促 进 了 R 迅 猛 的 发 展 卓 越 的 绘 图 功 能 R 的 绘 图 功 能 以 其 方 便 丰 富 俘 获 了 大 量 R 语 言 用 户 的 芳 心, 并 且 它 是 被 R 语 言 用 户 津 津 乐 道 的 模 块 R 语 言 中 存 在 低 级 绘 图 和 高 级 绘 图 两 种 绘 图 函 数, 每 类 绘 图 包 含 许 多 功 能 不 同 的 函 数, 此 外 ggplot2 包 和 lattice 包 为 用 户 提 供 更 多 的 绘 图 功 能, 在 极 大 地 满 足 了 用 户 需 求 的 同 时, 顺 应 了 数 据 可 视 化 的 潮 流 R 语 言 的 使 用 现 状 如 图 展 示 了 KDnuggets 2015 年 数 据 挖 掘 工 具 使 用 情 况 的 调 查 : 该 调 查 针 对 在 过 去 的 12 个 月 里 实 际 项 目 中 使 用 的 数 据 分 析 大 数 据 数 据 挖 掘 数 据 科 学 类 的 软 件 该 调 查 共 包 含 2759 名 被 调 查 者, 问 卷 结 果 表 明 :R 语 言 的 使 用 率 远 远 超 越 了 排 名 第 二 的 RapidMiner 达 到 46.9%, 一 跃 成 为 使 用 率 最 高 的 数 据 挖 掘 工 具, 比 RapidMiner 的 使 用 率 KDnuggets:2015 年 数 据 挖 掘 工 具 使 用 情 况 调 查 下 表 展 示 了 KDnuggets 2013 2015 年 数 据 挖 掘 工 具 使 用 情 况 调 查 的 结 果, 由 表 1 可 以 清 晰 地 看 出 R 语 言 的 迅 猛 发 展 2013 2014 年 的 调 查 结 果 显 示,RapidMiner 和 R 语 言 激 烈 的 争 夺 第 一 名, 最 终 RapidMiner 以 微 弱 的 优 势 战 胜 了 R, 连 续 两 年 夺 冠 R 语 言 在 2015 年 发 展 迅 速, 使 用 率 从 2014 年 的 38.5% 飙 升 到 46.9%, 最 终 打 败 了 RapidMiner 成 为 2015 年 使 用 率 最 高 的 数 据 挖 掘 工 具 R 语 言 虽 然 诞 生 于 统 计 学 界, 服 务 于 数 据, 但 随 着 数 据 渗 透 到 各 行 各 业,R 语 言 已 经 远 远 超 过 统 计 范 畴 了 解 了 R 语 言 的 迅 猛 发 展, 你 找 到 学 习 R 语 言 的 理 由 了 吗? 你 还 在 等 什 么? 马 上 加 入 学 习 R 语 言 的 队 伍 吧! 高 出 15.4 个 百 分 点 我 们 接 触 最 多 的 最 为 熟 悉 的 微 软 的 EXCEl 办 公 软 件 仅 排 名 第 五, 其 使 用 率 为 22.9% 尽 管 该 项 调 查 抽 样 框 不 明 确, 样 本 量 较 小, 但 在 一 定 程 度 上 反 映 出 在 大 数 据 时 代,R 语 言 已 经 成 为 数 据 挖 掘 的 一 把 金 钥 匙,R 语 言 的 发 展 势 不 可 挡 22
统 计 软 件 KDnuggets:2013 2015 年 数 据 挖 掘 工 具 使 用 情 况 调 查 What Analytics, Big Data, Data mining, Data Science software you used in the past 12 months for a real project? [2759 voters] Legend: Red: Free/Open Source tools Green: Commercial tools Fuchsia: Hadoop/Big Data tools % users in 2015 % users in 2014 % users in 2013 R (1293), 3.6% alone 46.9% 38.5% 37.4% RapidMiner (870), 13.7% alone 31.5% 39.2% 44.2% SQL (853), 0% alone 30.9% na 25.3% Python (837), 0% alone 30.3% 19.5% 13.3% Excel (631), 0% alone 22.9% 25.8% 28.0% 参 考 资 料 : [1] 李 诗 羽, 张 飞, 王 正 林. 大 数 据 时 代 的 R 语 言 数 据 分 析 :R 语 言 实 战 [M]. 北 京 : 电 子 工 业 出 版 社,2014:5 [2] 百 度 百 科.http://baike.baidu.com/view/942569.htm [3] 刘 思 哲.R 语 言 : 优 雅 卓 越 的 统 计 分 析 及 绘 图 环 境 [J]. 程 序 员,2012(2). [4]Catherine.Do I need to learn R?Four good reasons to try the open source platform for data analysis.ibm developerworks.2013.9.3 [5]Kdnuggets 官 网 :R leads RapidMiner, Python catches up, Big Data tools grow, Spark ignites. 23
用 图 说 话 数 据 可 视 化 张 猛 数 据 可 视 化 ( Data Visualization ) 起 源 于 18 世 纪,William Playfair 在 他 出 版 的 书 籍 The Commercial and Political Atlas 中 第 一 次 使 用 了 柱 形 图 和 折 线 图 当 时 是 为 了 表 示 国 家 的 进 出 口 量, 在 今 天 依 然 这 么 使 用 19 世 纪 初, 他 出 版 了 Statistical Breviary 一 书, 里 面 第 一 次 使 用 了 饼 状 图 这 三 种 都 是 至 今 最 常 用 的 最 著 名 的 可 视 化 图 形 策 公 共 服 务 市 场 营 销 领 域, 比 如 应 用 在 金 融 行 业 电 力 行 业 通 讯 行 业 工 业 制 造 医 疗 保 健 行 业 等 数 据 可 视 化 技 术 的 基 本 思 想, 是 将 数 据 库 中 每 一 个 数 据 项 作 为 单 个 图 元 元 素 表 示, 大 量 的 数 据 集 构 成 数 据 图 像, 同 时 将 数 据 的 各 个 属 性 值 以 多 维 数 据 的 形 式 表 示, 可 以 从 不 同 的 维 度 观 察 数 据, 从 而 对 数 据 进 行 更 深 入 的 观 察 和 分 析 数 据 可 视 化 学 习 工 具 数 据 可 视 化 是 科 学 艺 术 和 设 计 的 结 合, 当 枯 燥 隐 晦 的 数 据 被 数 据 科 学 家 们 以 优 雅 简 明 直 观 的 视 觉 方 式 呈 现 时, 带 给 人 们 的 不 仅 仅 是 一 种 全 新 的 观 察 世 界 的 方 法, 而 且 往 往 具 备 艺 术 作 品 般 的 强 大 冲 击 力 和 说 服 力 随 着 2012 年 世 界 进 入 大 数 据 时 代, 数 据 可 视 化 作 为 大 量 数 据 的 呈 现 方 式, 成 为 当 前 重 要 的 课 题 业 内 众 多 关 于 大 数 据 可 视 化 应 用 领 域 的 声 音 与 讨 论, 大 多 集 中 在 行 业 领 域 和 业 务 领 域, 比 如 应 用 在 商 业 智 能 政 府 决 数 据 可 视 化 推 荐 书 籍 鲜 活 的 数 据 数 据 可 视 化 数 据 可 视 化 的 基 本 原 理 与 方 法 最 简 单 的 图 形 与 最 复 杂 的 信 息 <The Visual Display of Quantitative Information> <Visual Explanations> <Beautiful Evidence> <The Visual Organization: Data Visualization, Big Data, and the Quest for Better Decisions> 24
用 图 说 话 数 据 可 视 化 图 形 示 例 25
学 科 交 叉 互 联 网 每 分 钟 能 产 生 的 数 据 规 模 有 多 大 廉 价 的 财 富 互 联 网 数 据 张 洋 百 度 博 客 论 坛 微 博 淘 宝 网 络 的 迅 速 发 展 改 变 了 我 们 的 行 为 方 式, 查 资 料 上 百 度, 买 衣 服 去 淘 宝, 网 民 产 生 了 各 种 各 样 的 数 据 文 本 音 频 图 片 视 频 等 等, 网 络 使 得 我 们 进 入 一 个 数 据 时 代 互 联 网 数 据 带 给 我 们 的 是 什 么 呢? 2015 年 2 月 3 日 中 国 互 联 网 络 信 息 中 心 (CNNIC) 发 布 的 第 35 次 中 国 互 联 网 络 发 展 状 况 统 计 报 告 显 示 截 止 到 2014 年 12 月, 我 国 的 网 民 规 模 达 到 6.49 亿, 互 联 网 普 及 率 达 到 47.9%, 手 机 网 民 的 规 模 达 到 5.57 亿, 比 2013 年 增 加 了 5672 万 人, 手 机 网 民 的 数 量 大 幅 度 上 涨, 而 且 网 民 人 均 周 上 网 时 长 达 到 26.1 个 小 时,60% 的 网 民 对 互 联 网 共 享 呈 呢? 到 目 前 为 止, 产 生 的 数 据 规 模 到 底 有 多 大? 也 许 数 字 已 经 不 够 用 了 数 据 量 来 源 于 搜 索 引 擎 社 交 网 络 网 络 购 物 网 上 支 付 旅 行 预 订 即 时 通 信 微 信 网 络 游 戏 网 络 视 频 等 等 互 联 网 产 品 互 联 网 数 据 是 网 民 的 行 为 生 活 习 惯 需 求 的 反 应, 而 这 巨 大 的 数 据 量 中 隐 藏 着 巨 大 的 价 值 如 何 将 以 互 联 网 为 基 础 的 大 数 据 转 化 为 有 价 值 的 信 息 呢? 第 一 步 是 数 据 收 集 和 整 理, 第 二 步 是 数 据 建 模, 第 三 部 是 结 果 分 析, 这 个 过 程 便 是 大 数 据 技 术 目 前, 已 经 有 不 少 公 司 和 学 者 基 于 互 联 网 数 据 探 索 规 律 预 测 未 来 比 如, 谷 歌 公 司 利 用 谷 歌 搜 索 引 擎 数 据 预 测 流 感 趋 势,Culotta 利 用 Twitter 数 据 也 对 流 感 进 行 检 测, 统 计 学 家 Nate Silver 成 功 预 测 了 2012 年 谁 当 选 美 国 总 统, 其 中 部 分 数 据 来 源 于 Twitter 社 交 网 络 现 支 持 态 度, 同 时,53.1% 的 网 民 持 对 互 联 网 依 赖 态 度, 互 联 网 已 经 在 我 们 的 生 活 工 作 学 习 中 产 生 了 巨 大 的 影 响 图 2 中 国 互 联 网 一 分 钟 会 发 生 什 么 图 1 我 国 网 民 规 模 和 互 联 网 普 及 率 Salath 利 用 2009 年 8 月 到 2010 年 1 月 的 10 万 个 Twitter 用 户 所 发 出 的 信 息, 结 合 这 些 用 户 的 地 理 信 息, 发 现 用 户 在 Twitter 上 的 情 绪 反 应 与 疫 苗 的 接 种 率 有 很 大 关 系, 一 个 社 26
学 科 交 叉 区 的 消 极 情 绪 会 导 致 这 个 社 区 的 大 部 分 成 员 没 有 接 种 疫 苗, 则 这 个 群 体 爆 发 流 感 的 可 能 性 会 比 较 大 在 流 感 期 间,Salath 的 研 究 使 得 疫 苗 合 理 投 放, 从 而 有 效 控 制 流 感 的 发 展 Salath 首 先 对 数 据 进 行 整 理, 过 滤 出 用 户 发 出 的 与 流 感 有 关 的 信 息, 对 用 户 发 出 的 信 息 分 别 识 别 出 消 极 积 极 中 立 和 不 相 关 四 种 属 性 ; 然 后 对 数 据 进 行 分 析, 利 用 朴 素 贝 叶 斯 原 理 和 最 大 熵 原 理 对 数 据 进 行 情 感 分 类 ; 最 后 对 结 果 进 行 分 析 数 据 收 集 和 整 理 数 据 建 模 结 果 分 析 剖 析 网 上 各 种 数 据 的 团 队 互 联 网 产 生 的 大 数 据 隐 藏 着 巨 大 的 效 益, 对 电 子 商 务 网 络 游 戏 网 络 广 告 网 络 视 频 等 等 行 业 的 发 展 有 重 大 影 响 淘 宝 京 东 等 每 天 有 大 量 的 订 单 产 生, 用 户 在 网 站 的 搜 索 行 为 反 映 了 用 户 的 喜 好 行 为 等, 大 数 据 技 术 可 以 对 用 户 行 为 进 行 挖 掘, 发 现 其 价 值, 从 而 对 电 子 商 务 的 健 康 发 展 提 供 保 障 相 对 于 传 统 的 广 告 而 言, 网 络 广 告 可 以 利 用 大 数 据 的 技 术 使 我 们 明 确 投 放 广 告 的 群 体 是 哪 些, 投 放 广 告 的 效 果 如 何 随 着 互 联 网 的 发 展, 数 据 量 越 来 越 大, 而 且 越 来 越 多 的 人 图 3 大 数 据 技 术 意 识 到 大 数 据 的 价 值, 如 何 处 理 和 分 析 大 数 2014 年 在 几 内 亚 利 比 里 亚 和 塞 拉 利 昂 爆 发 的 埃 博 拉 病 毒 由 于 它 的 爆 发 规 模 和 高 死 亡 率 受 到 了 大 家 的 关 注 2014 年,HealthMap 据 既 是 重 点 也 是 难 点, 能 够 挖 掘 到 数 据 价 值 才 是 王 道 同 时, 大 数 据 的 时 代 更 应 该 注 意 隐 私 保 护 问 题 在 世 界 卫 生 组 织 宣 布 第 一 个 埃 博 拉 病 毒 确 诊 病 例 时, 已 经 追 踪 了 几 内 亚 的 29 例 确 诊 和 29 例 死 亡 其 中 HealthMap 是 探 测 和 追 踪 疾 病 的 网 站, 它 的 数 据 来 源 于 社 交 媒 体 网 站 本 地 新 闻 和 政 府 网 站 等 这 次 跟 踪 埃 博 拉 病 毒, HealthMap 公 布 25.24% 的 数 据 来 源 于 谷 歌 百 度 搜 搜 等 搜 索 引 擎,8.7% 来 源 于 Twitter 等 社 交 网 络, 并 结 合 一 定 的 算 法, 再 加 上 相 关 领 域 专 家 的 帮 忙, 从 而 确 定 埃 博 拉 病 毒 爆 发 地 点 此 外,HealthMap 绘 制 了 一 个 实 时 可 参 考 文 献 [1] http://news.mydrivers.com/1/381/381898.htm [2] http://cos.name/2015/01/ebola-in-the-big-data-era/ [3] 王 胜 开, 王 伟, 沈 烁. 大 数 据 与 互 联 网. 中 国 教 育 网 络.2014. [4] 徐 展 凯, 刘 列, 祖 正 虎, 徐 致 靖, 郑 涛. 基 于 互 联 网 的 大 数 据 与 生 物 监 测.2014. 交 互 的 地 图, 便 于 大 家 随 时 可 以 了 解 埃 博 拉 病 毒 的 发 展 情 况 据 说 HealthMap 曾 经 成 功 预 测 SARS 在 我 国 的 死 亡 率, 这 是 一 个 善 于 27
美 文 共 鉴 正 反 上 下, 古 今 中 外 读 读 书 八 字 诀 : 怎 样 将 书 读 得 通 透 杨 晓 康 今 天 向 大 家 推 荐 一 篇 最 近 读 到 的 好 文 章 : 读 书 八 字 诀 : 怎 样 将 书 读 得 通 透 仔 细 回 想 起 来, 从 识 字 开 始 也 是 读 了 不 少 书 了, 不 管 是 课 内 的 课 外 的, 古 代 的 还 是 现 代 的, 基 本 上 可 以 以 学 者 自 诩 了 但 是 仔 细 想 一 想, 这 么 多 书 都 懂 了 吗? 或 者 你 能 将 你 读 的 书 讲 给 别 人 吗? 有 时 候 和 别 人 聊 天, 谈 到 一 本 书, 很 开 心 地 恰 是 你 读 过 的, 却 发 现 自 己 竟 不 知 道 这 本 书 的 精 华 所 在 这 正 是 问 题 的 所 在, 读 书 没 有 思 考, 没 有 将 书 读 得 通 透, 看 到 这 篇 文 章, 我 开 始 思 考 我 之 前 的 读 书 习 惯 了 文 章 的 作 者 是 阳 志 平, 在 他 看 来 通 透 则 是 将 书 中 内 容 与 正 反 上 下 古 今 中 外 背 景 知 识 相 互 关 联 怎 样 将 书 读 得 通 透 呢? 方 法 就 是 读 书 八 字 诀 : 正 反 上 下, 古 今 中 外 正 : 通 过 正 面 证 据 去 验 证 书 中 观 点 ; 反 : 通 过 证 伪 法 检 验 与 反 思 书 中 观 点 ; 上 下 : 在 不 同 的 空 间 维 度 读 书 与 思 考, 以 拓 宽 思 维, 提 高 创 意 ; 古 今 : 由 今 联 想 到 古, 从 历 史 变 化 的 角 度 来 理 解 问 题 ; 中 外 : 这 个 好 理 解, 即 从 地 域 不 同 的 角 度 去 理 解 问 题 下 面 是 文 章 的 节 选, 希 望 能 给 你 以 启 发 读 书 的 反 与 古 读 书 通 透 第 一 步 是 反 与 古, 就 是 故 意 进 行 思 想 实 验 当 你 用 读 书 反 法 来 思 考, 假 设 何 时, 科 学 可 证 伪 性 会 失 效 这 类 看 似 不 可 推 翻 的 基 本 假 设, 一 旦 开 始 逆 向 思 维, 马 上 会 找 到 很 多 好 图 书 比 如, 陈 晓 平 的 贝 叶 斯 方 法 与 科 学 合 理 性 与 古 德 曼 的 事 实 虚 构 和 预 测, 以 及 诺 奖 得 主 西 蒙 当 年 对 波 普 尔 的 批 判 站 在 古 德 曼 西 蒙 的 角 度, 重 新 来 反 思 可 证 伪 原 则, 你 离 理 解 科 学 本 质, 将 更 近 一 步 所 以, 当 你 熟 练 运 用 读 书 反 字 诀, 就 不 会 轻 易 接 受 这 些 看 似 正 确 实 际 错 误 的 观 点, 或 者 在 微 博 上 转 发 一 大 堆 看 似 鸡 血 实 际 错 误 的 观 点 独 立 思 维 能 力 得 以 提 高 再 说 古 字 诀, 类 似 读 书 的 反 法 大 量 今 天 看 似 正 确 的 结 论, 一 旦 放 到 不 同 的 历 史 周 期, 结 论 还 能 经 得 住 考 验 吗? 比 如, 如 果 你 希 望 更 好 理 解 学 习 与 阅 读 本 质, 那 么 你 应 该 思 考, 人 类 怎 样 产 生 阅 读 与 学 校? 你 马 上 会 发 现 一 些 更 本 质 的 东 西 那 些 跨 越 不 同 历 史 周 期, 还 能 发 挥 作 用 的 结 论, 是 离 真 相 更 近 的 元 知 识 从 钱 钟 书 到 张 五 常 : 读 书 的 正 接 着 说 读 书 正 字 诀 反 与 古 侧 重 质 疑 基 本 假 设, 通 过 逆 向 思 维 与 放 到 另 一 个 历 史 周 期 来 提 升 思 维 品 质 读 书 正 字 诀 则 首 重 鲜 活 证 据 28
美 文 共 鉴 钱 钟 书 善 于 从 笔 记 小 说 诗 词 中 取 证 据 与 正 典 映 照 他 的 笔 记 从 来 是 断 断 续 续 的, 不 太 注 重 所 谓 的 思 维 体 系, 更 注 重 鲜 活 证 据, 所 以 他 曾 言 道 : 积 小 以 明 大, 而 又 举 大 以 贯 小 ; 推 末 以 至 末, 而 又 探 末 以 穷 末 ; 交 互 往 复, 庶 几 乎 义 解 圆 足 而 免 于 偏 枯, 所 谓 阐 释 之 循 环 者 是 矣 这 段 关 于 钱 钟 书 读 书 方 法 的 典 故, 出 自 钟 书 弟 子 香 港 张 隆 溪 教 授 张 五 常 关 于 自 己 读 书 方 法 的 完 整 阐 述, 则 首 推 吾 意 独 怜 才 一 书 学 习 三 篇 所 谓 正, 假 设 大 师 是 对 的 ; 所 谓 正, 穷 尽 心 力, 去 寻 找 鲜 活 证 据 这 就 是 五 常 的 正 法 正 首 重 鲜 活 证 据, 而 非 观 点 争 辩 钱 钟 书 从 山 林 笔 记 中 能 学 到 什 么 大 道? 无 非 是 以 正 逼 近 历 史 的 复 杂 度 而 已 张 五 常 这 类 一 流 学 者, 难 道 真 的 会 相 信 每 一 位 大 师 的 言 论 吗? 无 非 是 先 学 到 大 师 的 好, 再 来 挑 刺 大 师 从 读 书 正 字 诀 角 度 来 说, 数 学 给 予 再 高 评 价 也 不 过 分, 因 为 它 是 人 类 心 智 皇 冠, 唯 有 数 学, 才 能 提 供 思 维 最 高 抽 象 级 别 的 鲜 活 证 据 读 书 的 上 下 再 说 读 书 的 上 下, 人 们 以 思 考 空 间 的 方 式 思 考 时 间 你 习 惯 说 : 展 望 未 来 回 顾 过 去 这 是 语 言 学 著 名 的 时 空 隐 喻 未 来 过 去 是 时 间 名 词 ; 展 望 回 顾 则 是 空 间 名 词 人 们 会 采 取 空 间 名 词 的 处 理 方 式 来 思 考 时 间 读 书 时, 有 意 识 地 改 变 空 间 维 度, 如 高 度 房 间 挑 高 内 外 概 念, 将 获 得 更 好 的 创 意 有 三 个 很 搞 笑 的 研 究, 或 许 可 以 让 大 家 更 明 白 读 书 的 上 下 法, 如 何 改 变 与 突 破 空 间 惯 性 来 提 升 创 意 其 一, 即 使 是 房 子 天 花 板 增 高 二 公 分, 创 意 改 善 ; 其 二, 你 靠 在 箱 子 外 面 思 考, 相 对 在 箱 子 里 面 思 考, 创 造 力 的 确 有 所 改 善, 甚 至 虚 拟 箱 子 也 有 此 效 果 ; 其 三, 一 群 实 验 参 与 者 绕 着 方 形 房 间 的 边 缘 走 另 一 群 则 是 随 便 走 结 果 发 现, 那 些 随 便 走 的 人 创 造 力 更 好 类 似 研 究 均 指 向 空 间 的 改 变 对 创 造 力 的 影 响 再 举 个 空 间 方 面 的 有 趣 例 子 在 学 习 与 记 忆 领 域, 这 几 年 新 研 究 发 现, 你 背 单 词 时, 即 使 其 它 变 量 都 不 改 变, 仅 仅 多 跑 一 个 地 方 背, 效 率 也 会 提 高 因 为 人 类 生 存 早 期, 其 实 就 是 在 这 种 不 同 位 置 之 间 迁 移 的 这 就 是 读 书 的 上 下 法, 有 意 识 地 通 过 改 变 自 己 习 以 为 常 的 与 空 间 相 处 的 方 式, 来 获 得 更 好 的 学 习 效 率 与 读 书 创 意 作 者 简 介 : 阳 志 平, 安 人 公 司 研 发 负 责 人, 从 事 心 理 健 康 与 认 知 科 技 产 品 研 发 29
生 活 隅 角 统 计, 生 活 之 钥 刘 博 一 样, 存 在 的 时 候 并 不 是 很 突 出, 一 旦 不 见 了, 人 生 就 是 黑 白 的 了 然 而, 在 日 常 生 活 中, 大 多 数 人 一 般 都 不 会 意 识 到 自 己 在 或 多 或 少 的 应 用 统 计 学 的 思 维 和 方 法 例 如, 每 逢 过 年, 我 们 常 常 会 看 到 这 样 的 例 子 : 妈 妈 正 在 煮 饺 子, 孩 子 哭 着 闹 着 要 吃, 妈 妈 却 说 : 别 急, 等 我 尝 一 尝 妈 妈 尝 了 一 个 后 说 : 好 了! 言 下 之 意, 锅 里 的 其 他 饺 子 都 煮 熟 了, 可 以 吃 了 正 如 西 方 的 古 谚 语 所 云 : 你 不 必 吃 完 整 头 牛, 才 知 道 肉 是 老 的 这 是 对 抽 样 调 查 精 髓 的 提 炼, 在 大 多 任 何 科 学 研 究 都 是 一 个 认 识 过 程, 一 般 包 括 发 现 问 题 了 解 情 况 深 入 思 考 和 实 践 验 证 四 个 阶 段 人 们 要 在 这 个 过 程 中 有 所 发 现 有 所 发 明 有 所 创 造 有 所 提 高, 就 必 数 情 况 下, 我 们 只 需 检 查 部 分, 就 可 据 此 推 断 整 体 类 似 的 例 子 还 有 很 多, 比 如 说 去 水 果 店 买 樱 桃, 为 了 在 买 之 前 判 断 樱 桃 是 否 可 口, 我 们 通 常 会 先 尝 几 个 须 运 用 一 切 可 能 运 用 的 认 识 武 器, 而 统 计 是 这 些 认 识 武 器 中 最 有 力 的 武 器 之 一 通 过 它, 我 们 可 以 从 研 究 课 题 的 实 际 需 要 出 发, 运 用 必 要 的 定 量 分 析, 增 强 科 研 成 果 的 科 学 性 和 应 用 性 因 此, 研 究 和 阐 述 任 何 问 题, 我 们 都 要 重 视 应 用 统 计 工 具 从 量 的 方 面 进 行 必 要 的 考 察, 然 后 从 质 和 量 的 统 一 中 得 出 正 确 的 结 论 由 此, 梁 启 超 把 统 计 誉 为 百 学 之 钥 同 样, 生 活, 作 为 每 个 人 时 时 刻 刻 都 在 学 习 的 最 复 杂 最 综 合 的 学 科, 更 是 与 统 计 学 形 影 相 随 越 是 在 生 活 中 恰 当 的 运 用 统 计 学 的 思 维 和 方 法, 就 越 感 觉 它 是 我 们 提 高 生 活 效 率 必 不 可 少 的 方 法 论 统 计 就 和 柴 米 油 盐 酱 醋 茶 另 外, 买 同 种 水 果 久 了, 就 是 不 品 尝, 我 们 也 能 通 过 水 果 的 形 状 颜 色 以 及 散 发 的 香 味 等 方 面 对 水 果 的 口 感 味 道 做 出 差 不 多 的 判 断 人 们 都 会 说, 这 是 因 为 买 水 果 买 得 多 了, 就 有 经 验 了 这 其 实 就 是 统 计 学 中 的 贝 叶 斯 思 维, 之 前 买 水 果 的 经 验 就 是 所 谓 的 先 验 信 息 借 助 先 验 信 息, 对 当 前 的 水 果 品 30
生 活 隅 角 质 做 出 判 断 就 是 贝 叶 斯 思 维 再 比 如 说 开 车 出 去, 不 巧 途 中 塞 车, 如 果 司 机 对 当 地 环 境 熟 悉, 根 据 以 前 的 经 验, 脑 海 中 会 马 上 出 现 多 条 可 共 选 择 的 路 线, 对 比 之 下, 司 机 会 选 择 一 条 路 线 相 对 较 短 堵 车 概 率 较 低 的 路 线, 避 免 迟 到 的 局 面 在 日 常 生 活 中, 贝 叶 斯 思 维 是 我 们 最 常 用 的 思 维, 具 有 这 种 思 维 的 人 会 在 做 事 之 前 或 期 间 结 合 自 己 的 经 验 以 及 其 他 途 径 的 信 息, 结 合 当 前 状 况 做 出 最 佳 的 选 择, 提 高 生 活 和 工 作 的 效 率 统 计 学 不 仅 是 一 种 方 法 或 技 术, 还 含 有 世 界 观 的 成 分 统 计 学 作 为 一 种 方 法 论 学 科, 提 供 的 是 方 法 上 的 指 导 它 指 导 人 们 在 生 活 中 经 过 客 观 理 性 的 思 考 与 分 析, 找 出 一 些 是 : 不 偏 之 谓 中, 不 易 之 谓 庸 中 者 天 下 之 正 道, 庸 者 天 下 之 定 理 中 即 合 适, 庸 即 常 态 ( 不 变 的 永 恒 的 东 西 ), 道 即 方 法, 理 即 规 律 也 就 是 说, 人 们 在 分 析 事 物 外 部 联 系 的 过 程 中, 为 了 全 面 地 把 握 对 象, 防 止 片 面 性, 人 们 往 往 把 联 系 分 为 相 互 对 立 的 两 端, 然 后 综 合 起 来, 找 出 一 个 合 适 的 解 释 来 判 断 事 物 总 体 的 运 动, 同 时 寻 找 在 特 定 时 间 地 点 条 件 下 事 物 总 体 运 动 处 于 相 对 稳 定 的 平 衡 规 律 可 见, 中 切 合 事 物 本 质 特 征, 不 偏 不 倚, 无 过 无 不 及, 整 体 效 果 最 佳, 各 方 接 受 程 度 最 高, 是 恰 到 好 处 的 优 化 选 择, 所 以 中 庸 之 道 是 合 适 的, 也 是 正 确 的 待 人 处 世 的 基 本 法 则, 以 树 立 正 确 的 人 生 观, 作 为 一 切 行 为 的 规 范, 避 免 盲 从 犯 错, 造 成 损 失, 力 求 在 漫 漫 人 生 旅 途 中, 平 稳 前 进, 和 谐 发 展 其 中, 中 庸 之 道, 作 为 中 华 文 化 价 值 观 的 一 部 分, 同 样 可 以 从 统 计 学 理 论 中 得 到 启 示 其 实, 中 庸 之 道 就 是 统 计 学 中 的 平 均 数 理 论 的 具 体 应 用 平 均 数 是 反 映 现 象 总 体 数 量 特 性 一 般 水 平 的 一 个 综 合 指 标, 主 要 有 算 术 平 均 数 中 位 数 和 众 数, 其 中 应 用 最 广 的 是 算 术 平 均 数 如 在 某 地 区 随 机 抽 取 150 个 高 三 男 生 进 行 调 查 登 记, 据 此 计 算 的 平 均 身 关 于 中 庸 之 道, 宋 代 学 者 程 颐 的 解 释 高 约 为 171.6cm, 即 表 示 所 有 高 三 男 生 的 身 高 大 多 数 接 近 171.6cm, 当 然 不 排 除 有 小 于 等 31
生 活 隅 角 于 150cm 和 大 于 等 于 190cm 的 高 三 男 生 在 此 情 况 下 要 用 一 个 数 值 来 说 明 该 地 区 高 三 男 生 的 身 高 就 只 能 用 平 均 身 高 才 合 理, 用 150cm 太 低, 用 190cm 又 太 高, 用 171.6cm 不 高 不 低 刚 合 适 事 实 证 明, 以 均 值 理 论 为 依 托 的 中 庸 之 道 是 为 人 处 世 的 一 大 法 宝 谁 明 白 了 它 的 真 谛, 谁 就 可 能 拥 有 一 颗 平 常 心, 一 切 行 为 既 不 会 过 分 狂 妄 自 大, 也 不 会 过 分 自 惭 形 秽, 而 是 适 中 而 行, 保 持 平 衡 心 态 统 计 学 不 仅 指 导 着 平 常 人 的 日 常 生 活 和 价 值 观 念, 也 影 响 和 引 领 着 整 个 社 会 的 发 展 21 世 纪 的 互 联 网 时 代 给 数 据 的 收 集 带 来 了 许 多 便 利, 统 计 应 用 已 进 入 一 个 崭 新 的 时 代, 特 别 是 近 年 来 逐 渐 趋 于 成 熟 的 大 数 据 技 术 给 统 计 学 的 应 用 带 来 了 新 的 发 展 机 遇 和 挑 战 大 数 据 技 术 和 统 计 学 的 完 美 结 合 正 以 前 所 未 有 的 速 度 渗 透 应 用 于 各 行 各 业, 正 改 变 甚 至 颠 覆 着 诸 多 传 统 行 业 例 如 近 年 来 兴 起 的 网 生 活 中 统 计 无 处 不 在, 无 时 不 有 虽 无 三 千 大 千 世 界 那 般 其 大 无 外, 其 小 无 内, 但 宇 宙 间 万 事 万 物, 混 混 沌 沌, 其 间 各 种 事 物, 不 论 属 于 社 会 的 自 然 的 或 实 验 的, 其 能 以 数 字 事 实 表 现 者, 均 可 作 为 统 计 学 的 研 究 对 象 时 下, 语 言 学 心 理 学 和 统 计 学 已 成 为 21 世 纪 中 国 最 有 发 展 前 途 的 三 大 学 科 统 计 之 于 当 代 人 是 不 可 或 缺 的, 学 者 不 能 离 开 统 计 而 究 学, 政 治 家 不 能 离 开 统 计 而 施 政, 事 业 家 不 能 离 开 统 计 而 执 业 统 计 思 维, 如 同 读 写 能 力 一 样, 总 有 一 天 会 成 为 讲 求 效 率 的 公 民 所 必 需 的 本 领 络 大 数 据 医 院, 运 用 统 计 学 方 法 将 大 数 据 用 于 疾 病 诊 断, 分 流 了 传 统 大 医 院 的 病 人, 在 一 定 程 度 上 解 决 了 看 病 难 这 一 中 国 特 有 社 会 问 题 另 外, 大 数 据 技 术 和 统 计 理 论 的 结 合 也 带 给 体 育 比 赛 观 众 更 加 丰 富 的 比 赛 感 官 体 验 而 统 计 学 与 传 感 器 等 技 术 的 融 合 则 使 得 体 育 运 动 爱 好 者 和 需 要 实 时 监 控 身 体 指 标 变 化 的 病 人 可 以 在 移 动 终 端 的 科 学 指 引 下 进 行 更 加 健 康 的 体 育 锻 炼 32
杂 谈 解 惑 一 个 统 计 的 足 球 预 测 骗 局 张 圆 虽 然 统 计 学 的 应 用 已 经 越 来 越 广 泛, 并 且 在 大 数 据 时 代 下 越 来 越 受 到 社 会 的 关 注 与 重 视, 但 是, 我 们 也 要 注 意 统 计 在 有 些 情 况 下 也 会 欺 骗 我 们 数 据 方 法 往 往 不 是 一 定 测 能 力, 要 想 真 的 做 出 准 确 预 测, 在 统 计 学 中 还 得 靠 数 据 模 型 说 话 我 们 的 故 事, 也 从 统 计 预 测 足 球 开 始 一 天, 大 卫 在 删 除 电 脑 邮 箱 的 垃 圾 邮 件 时 突 然 发 现 了 这 样 一 个 标 题 : 惊 人 的 足 球 杯 预 测 他 好 奇 的 打 开 了 它 : 亲 爱 的 球 迷, 我 们 是 足 球 统 计 预 测 公 司 的 工 作 人 员, 我 们 致 正 确 的, 在 信 息 爆 炸 的 年 代, 我 们 将 随 时 随 地 成 为 信 息 的 接 收 者, 散 布 在 报 纸 杂 志 电 视 广 播 中 的 信 息. 良 莠 并 存 真 伪 同 在, 我 们 该 如 何 借 来 一 双 慧 眼, 看 个 清 楚 明 白 呢? 我 们 在 数 据 分 析 时 一 定 要 多 动 脑, 全 面 的 考 虑 问 题, 才 能 避 免 掉 入 统 计 给 我 们 设 下 的 陷 阱 这 里 介 绍 一 则 趣 味 统 计 案 例, 骗 子 通 过 统 计 学 的 相 关 理 念 设 计 骗 局, 在 幽 默 的 同 时, 也 引 发 我 们 的 思 考 足 彩 预 测 相 信 大 家 并 不 陌 生, 要 想 成 功 的 获 得 奖 金, 球 迷 朋 友 需 要 对 于 球 队 实 力 有 一 个 清 楚 的 判 断, 同 时 也 需 要 些 许 运 气, 大 家 可 能 还 记 得 5 年 前 巴 西 世 界 杯 章 鱼 保 罗 那 神 一 般 的 预 测, 但 这 在 我 们 统 计 学 里 只 能 算 是 小 概 率 事 件, 也 说 明 不 了 保 罗 就 真 的 有 预 力 于 预 测 各 类 联 赛, 帮 助 球 迷 彩 民 朋 友 们 获 得 更 大 的 收 益, 我 们 的 统 计 学 家 已 经 设 计 出 了 预 测 足 球 比 赛 的 模 型 和 方 法, 根 据 大 数 据 的 先 进 技 术 科 学 紧 密 的 算 法 为 您 提 供 比 赛 的 准 确 预 测, 今 晚 英 格 兰 足 总 杯 第 三 场 比 赛 是 考 文 垂 队 对 战 谢 菲 尔 德 联 队, 我 们 以 95% 的 概 率 预 测 考 文 垂 队 获 胜 大 卫 看 后 一 笑, 今 晚 看 比 赛 时, 考 文 垂 队 果 然 获 胜 三 周 后, 大 卫 又 收 到 了 那 家 公 司 的 邮 件 : 亲 爱 的 球 迷, 上 次 我 们 已 经 成 功 的 预 测 了 考 文 垂 队 获 胜 今 天 考 文 垂 队 与 米 德 尔 斯 堡 队 相 遇, 我 们 以 95% 的 概 率 预 测 米 德 尔 斯 堡 队 获 胜 考 文 垂 队 强 于 对 手, 但 那 天 晚 上 却 发 挥 不 利, 双 方 打 成 1:1, 但 在 加 时 赛 中 米 德 尔 斯 堡 队 却 奇 迹 般 的 获 胜 大 卫 心 中 一 震 一 周 33
杂 谈 解 惑 后, 那 个 公 司 的 电 子 邮 件 预 测 米 德 尔 斯 堡 队 将 败 给 特 伦 密 尔 队, 结 果 依 然 如 此, 随 后 的 四 分 之 一 决 赛 中 前, 那 家 公 司 预 测 特 伦 密 尔 队 将 战 胜 陶 顿 亨 队, 结 果 还 是 正 确, 四 次 预 测 全 部 正 确, 这 让 大 卫 大 吃 一 惊! 大 卫 再 次 收 到 了 公 司 发 来 的 邮 件 : 亲 爱 的 球 迷, 现 在 你 应 该 相 信 我 们 公 司 的 技 术 了 吧, 我 们 的 统 计 模 型 的 确 可 以 预 测 比 赛 的 结 果, 这 项 技 术 现 在 我 们 已 经 申 请 了 专 利, 能 够 以 95% 的 概 率 预 测 比 赛 的 胜 负, 在 今 晚 的 半 决 赛 中, 我 们 以 95% 的 概 率 预 测 阿 森 纳 队 击 败 法 财 团 有 关, 涉 嫌 违 法 赌 球 但 这 些 都 与 大 卫 无 关, 只 要 赚 钱 就 行 了 于 是, 大 卫 支 付 了 200 英 镑, 但 后 来, 大 卫 再 也 没 有 收 到 邮 件, 大 卫 意 识 到 自 己 被 骗 了, 但 他 百 思 不 得 其 解, 骗 子 们 是 如 何 准 确 预 测 的 实 际 上, 这 些 骗 子 先 发 出 了 8000 封 邮 件, 一 半 预 测 甲 队 获 胜, 一 半 预 测 乙 队 获 胜, 于 是 有 4000 人 得 到 正 确 的 预 测, 另 外 4000 人 付 之 一 笑 第 二 次 骗 子 只 给 上 次 得 到 成 功 预 测 的 人 发 邮 件, 以 此 类 推, 五 次 预 测 以 后 得 到 8000/2^(5)=250 人, 如 果 这 250 人 都 付 钱, 便 伊 普 斯 维 奇 队 可 以 骗 取 250*200=50000 英 镑 的 收 入, 而 大 大 卫 是 个 不 信 邪 的 人, 他 约 了 几 名 好 友 晚 上 一 起 去 看 比 赛, 准 备 在 伊 普 斯 维 奇 队 获 胜 后 好 好 羞 辱 一 下 那 家 但 是, 当 晚 阿 森 纳 队 在 比 分 一 度 落 后 的 情 况 下 奋 起 直 追, 实 现 逆 转, 以 2:1 获 胜, 太 不 可 思 议 了! 卫 就 是 其 中 的 一 个 这 是 一 个 大 样 本 下, 统 计 概 率 的 骗 局 Artemus Ward 曾 经 说 过 : 使 我 们 陷 入 困 境 的 通 常 并 非 我 们 不 知 道 的 事 情, 而 是 那 些 我 们 知 道 却 不 正 确 的 事 情 第 二 天, 电 子 邮 件 又 来 了 : 亲 爱 的 球 迷, 我 们 已 经 五 次 预 测 成 功, 现 在 希 望 和 你 做 一 笔 交 易, 只 要 你 支 付 200 英 镑, 把 你 所 关 心 的 比 赛 和 球 队 告 诉 我 们, 我 们 将 以 95% 的 概 率 为 你 预 测 比 赛 的 胜 负, 殷 切 的 希 望 与 您 合 作, 祝 愿 您 生 活 辛 福 200 英 镑 可 不 是 个 小 数 目, 但 是 如 果 能 预 测 结 果, 就 可 以 从 足 彩 赚 得 20 万 英 镑, 这 可 是 笔 划 算 的 买 卖, 大 卫 心 里 盘 算, 如 果 发 邮 件 的 人 只 是 单 纯 的 猜 测 胜 负, 那 5 次 都 预 测 正 确 的 概 率 仅 为 2^(5)=0.0313, 于 是, 以 0.9687 的 概 率 否 定 他 不 是 在 猜 测, 而 是 预 测 当 然, 大 卫 也 曾 怀 疑 他 们 是 否 和 黑 社 会 或 是 某 个 非 34
统 计 思 维 蒙 提 霍 尔 问 题 展 现 统 计 思 维 的 魅 力 朱 祁 恒 美 国 有 一 个 叫 做 决 战 21 点 的 电 视 节 目, 嘉 宾 在 节 目 最 后 环 节 会 面 对 三 扇 门 进 行 选 择, 门 后 的 物 品 将 归 嘉 宾 所 有 其 中 一 扇 门 后 面 是 一 辆 拉 风 的 轿 车, 而 另 外 两 扇 门 后 面 则 分 别 各 是 一 头 山 羊 嘉 宾 选 择 一 扇 门 后, 主 持 人 蒙 提 霍 尔 会 打 开 另 外 两 扇 中 的 一 扇, 一 般 情 况 下 会 是 一 头 山 羊, 然 后 给 嘉 宾 一 个 改 变 想 法 的 机 会 此 时 你 会 坚 持 自 己 的 想 法, 还 是 改 变 想 法 而 选 择 另 一 扇 没 打 开 的 门? 改 变 想 法, 要 坚 持 自 己 的 立 场 与 观 点, 但 实 际 情 况 果 真 是 这 样 吗? 在 具 体 说 明 理 论 之 前, 通 过 实 验 说 明 可 能 会 是 一 个 不 错 的 途 径 赤 裸 裸 的 统 计 学 一 书 的 作 者 惠 伦 用 计 算 机 模 拟 了 这 个 实 验, 他 让 自 己 的 儿 子 在 多 次 实 验 中 全 部 坚 持 原 有 的 选 择, 并 让 自 己 的 女 儿 在 每 次 选 择 中 都 改 变 决 策 实 验 最 终 的 结 果 是 儿 子 选 中 轿 车 的 概 率 大 概 为 1/3, 而 女 儿 选 中 轿 车 的 概 率 大 概 为 2/3, 而 并 不 是 大 家 所 设 想 的 两 人 获 得 轿 车 的 概 率 均 为 1/3, 让 人 不 可 思 议 的 结 果 对 于 这 样 的 结 果, 不 妨 先 解 释 一 下 背 后 的 原 理 首 先, 在 这 个 过 程 中 有 一 个 不 可 忽 视 的 因 素, 那 就 是 蒙 提 霍 尔 为 嘉 宾 排 除 了 一 个 结 果, 而 且 他 总 会 打 开 藏 着 山 羊 的 门 为 什 么 他 能 保 证 自 己 总 打 开 藏 着 山 羊 的 门 呢? 因 为 他 心 里 清 楚 每 扇 门 里 面 藏 着 什 么, 这 就 说 明 这 个 过 程 并 不 是 随 机 的 可 以 说, 蒙 提 霍 尔 看 似 没 有 意 义 的 行 为 并 不 是 一 个 没 有 意 义 的 干 扰, 其 实 是 帮 了 你 一 个 大 忙 直 观 来 看, 借 助 基 本 的 统 计 学 知 识, 我 们 会 认 为 每 一 扇 门 后 面 是 轿 车 的 概 率 都 为 三 分 之 一 没 错, 这 是 一 个 随 机 概 率 事 件, 门 后 藏 着 的 物 品 也 是 随 机 的 于 是 我 们 会 理 所 应 当 的 认 为, 当 我 选 中 一 扇 门 之 后, 主 持 人 推 开 其 中 一 扇 藏 着 山 羊 的 门 ; 那 么 对 于 坚 持 原 有 选 择 和 改 变 想 法 而 选 择 另 一 扇 关 着 的 门, 二 者 中 大 奖 概 率 都 是 三 分 之 一 所 以 没 必 要 35
统 计 思 维 退 一 步 思 考, 如 果 选 择 是 这 样 的, 给 嘉 宾 三 扇 门, 并 给 他 这 样 两 个 选 择 : 第 一 是 选 择 其 中 的 一 扇 门, 获 得 门 后 的 奖 品 ; 第 二 是 选 择 其 中 的 两 扇 门, 如 果 两 扇 门 中 的 任 何 一 扇 背 后 有 轿 车, 则 轿 车 将 由 嘉 宾 获 得 这 样 叙 述 之 后, 大 家 基 本 上 都 会 选 第 二 个 选 择 : 第 二 个 选 择 有 2/3 的 中 大 奖 概 率, 多 一 个 扇 门 比 只 选 择 一 扇 门 更 有 优 势 但 其 实 蒙 提 霍 尔 对 游 戏 的 干 扰, 就 是 把 原 本 三 扇 门 等 概 率 出 现 轿 车 的 随 机 事 件 变 成 了 这 种 情 况 唯 一 不 同 的 是, 他 为 你 打 开 了 另 两 扇 其 中 一 扇 藏 着 山 羊 的 门 也 可 以 说, 嘉 宾 改 变 主 意 后 其 实 选 择 的 是 另 外 两 扇 门, 只 不 过 蒙 提 霍 尔 已 经 为 你 打 开 了 其 中 一 扇 门 案 的 情 况 如 果 能 跨 过 感 情 和 心 理 因 素 那 道 坎, 选 择 改 正 答 案, 最 终 的 收 益 肯 定 会 更 大 蒙 提 霍 尔 问 题 看 似 简 单, 但 结 果 却 让 人 大 跌 眼 镜 在 解 决 蒙 提 霍 尔 问 题 的 过 程 中, 我 们 所 应 用 的 其 实 是 一 种 非 常 重 要 的 思 维 能 力 统 计 思 维 能 力 在 当 前 的 大 数 据 时 代, 统 计 学 这 门 古 老 而 神 秘 的 学 科 越 来 越 成 为 人 们 所 关 注 的 内 容 而 统 计 思 维 能 力 作 为 统 计 学 的 精 髓 所 在, 其 实 在 我 们 的 生 活 中 随 处 可 见, 也 影 响 着 我 们 的 日 常 生 活 统 计 思 维 要 求 我 们 在 面 对 问 题 的 时 候 使 用 客 观 数 据 和 相 关 统 计 概 率 论 知 识 进 行 思 考, 不 盲 目 跟 随 我 们 的 直 观 感 觉 与 固 有 思 维 运 用 统 计 思 维 去 思 考 问 题, 也 会 帮 助 我 们 更 好 地 透 过 迷 雾 看 到 问 题 的 本 质 有 一 本 介 绍 人 们 对 客 观 事 物 认 识 上 的 错 觉 的 书 错 觉, 里 面 也 谈 到 了 这 个 问 题 实 际 上 人 们 在 做 选 择 时, 想 要 更 改 答 案 是 因 为 你 收 集 到 了 更 多 的 信 息 而 准 备 做 出 新 的 决 定, 往 往 在 信 息 量 更 多 的 情 况 下 作 出 正 确 决 定 的 概 率 更 大 从 统 计 学 角 度, 根 据 大 数 定 理, 更 改 答 案 的 总 体 收 益 会 大 于 坚 持 原 有 答 36