图 书 在 版 编 目 (CIP) 数 据 中 国 大 数 据 技 术 与 产 业 发 展 报 告 (2014)/ 中 国 计 算 机 学 会 大 数 据 专 家 委 员 会, 中 关 村 大 数 据 产 业 联 盟 主 编. 北 京 : 机 械 工 业 出 版 社,2015.4 ( 中 国 计 算

中 国 计 算 机 学 会 文 集 中 国 大 数 据 技 术 与 产 业 发 展 报 告 (2014) 中 国 计 算 机 学 会 大 数 据 专 家 委 员 会 中 关 村 大 数 据 产 业 联 盟 主 编

图 书 在 版 编 目 (CIP) 数 据 中 国 大 数 据 技 术 与 产 业 发 展 报 告 (2014)/ 中 国 计 算 机 学 会 大 数 据 专 家 委 员 会, 中 关 村 大 数 据 产 业 联 盟 主 编. 北 京 : 机 械 工 业 出 版 社,2015.4 ( 中 国 计 算 机 学 会 文 集 ) ISBN 978-7-111-49963-3 I. 中 II. 1 中 2 中 III. 信 息 技 术 - 产 业 发 展 - 研 究 报 告 - 中 国 - 2014 IV. F49 中 国 版 本 图 书 馆 CIP 数 据 核 字 (2015) 第 073943 号 本 书 是 由 中 国 计 算 机 学 会 大 数 据 专 家 委 员 会 和 中 关 村 大 数 据 产 业 联 盟 组 织 编 写 的, 目 的 在 于 梳 理 大 数 据 应 用 现 状 及 发 展 趋 势, 为 政 府 制 定 推 动 大 数 据 产 业 发 展 的 政 策 提 供 建 议 ; 同 时, 探 讨 大 数 据 研 究 面 临 的 科 学 问 题 和 技 术 挑 战, 为 研 究 机 构 和 研 究 人 员 提 供 参 考 指 南 书 中 详 细 阐 述 了 大 数 据 背 景 与 动 态 大 数 据 典 型 应 用 大 数 据 技 术 进 展 大 数 据 IT 产 业 链 和 生 态 环 境, 以 及 大 数 据 发 展 趋 势 与 建 议 本 书 的 编 写 集 中 了 各 个 领 域 众 多 专 家 的 知 识 和 智 慧, 在 一 定 程 度 上 反 映 了 我 国 大 数 据 学 术 界 和 产 业 界 的 共 识 本 书 可 作 为 广 大 计 算 机 科 学 技 术 人 员 了 解 当 前 大 数 据 发 展 动 态 的 渠 道, 适 合 本 领 域 决 策 人 员 和 科 研 人 员 参 考, 并 可 作 为 高 等 院 校 计 算 机 相 关 专 业 教 师 和 学 生 的 参 考 书 中 国 大 数 据 技 术 与 产 业 发 展 报 告 (2014) 出 版 发 行 : 机 械 工 业 出 版 社 ( 北 京 市 西 城 区 百 万 庄 大 街 22 号 邮 政 编 码 :100037) 责 任 编 辑 : 曲 熠 李 艺 陈 佳 媛 秦 健 责 任 校 对 : 董 纪 丽 印 刷 : 中 国 电 影 出 版 社 印 刷 厂 版 次 :2015 年 4 月 第 1 版 第 1 次 印 刷 开 本 :186mm 240mm 1/16 印 张 :17.25 书 号 :ISBN 978-7-111-49963-3 定 价 :75.00 元 凡 购 本 书, 如 有 缺 页 倒 页 脱 页, 由 本 社 发 行 部 调 换 客 服 热 线 :(010)88378991 88361066 投 稿 热 线 :(010)88379604 购 书 热 线 :(010)68326294 88379649 68995259 读 者 信 箱 :hzjsj@hzbook.com 版 权 所 有 侵 权 必 究 封 底 无 防 伪 标 均 为 盗 版 本 书 法 律 顾 问 : 北 京 大 成 律 师 事 务 所 韩 光 / 邹 晓 东

编 委 会 主 编 : 李 国 杰 副 主 编 : 程 学 旗 赵 国 栋 编 委 :( 按 姓 名 拼 音 排 序 ) 陈 新 河 杜 小 勇 何 利 文 金 波 靳 小 龙 李 建 中 潘 柱 廷 施 水 才 石 勇 吴 甘 沙 杨 东 日

前 言 近 年 来, 大 数 据 浪 潮 以 排 山 倒 海 之 势 席 卷 全 球, 既 提 供 巨 大 的 机 遇, 也 带 来 一 系 列 的 挑 战 为 了 推 动 大 数 据 科 学 技 术 和 产 业 的 良 性 发 展, 中 国 计 算 机 学 会 于 2012 年 10 月 成 立 了 大 数 据 专 家 委 员 会, 其 宗 旨 是 探 讨 大 数 据 的 科 学 与 技 术 问 题, 推 动 大 数 据 学 科 方 向 的 建 设 与 发 展 ; 构 建 面 向 大 数 据 产 学 研 用 的 学 术 交 流 技 术 合 作 与 数 据 共 享 平 台, 并 为 相 关 政 府 部 门 提 供 战 略 性 的 意 见 与 建 议 在 中 国 计 算 机 学 会 大 数 据 专 家 委 员 会 和 中 关 村 大 数 据 产 业 联 盟 的 精 心 组 织 下, 众 多 专 家 历 时 大 半 年 时 间 撰 写 完 成 本 书 中 国 计 算 机 学 会 大 数 据 专 家 委 员 会 的 100 多 位 专 家 来 自 高 校 科 研 院 所 企 业 和 政 府 部 门, 从 事 的 专 业 涵 盖 计 算 机 系 统 通 信 数 据 库 和 数 据 挖 掘 大 数 据 应 用 等 各 个 不 同 的 领 域, 本 书 的 编 写 集 中 了 来 自 几 十 家 单 位 各 领 域 专 家 的 知 识 和 智 慧, 在 一 定 程 度 上 反 映 了 我 国 大 数 据 学 术 界 和 产 业 界 的 共 识 组 织 撰 写 本 书 的 目 的 在 于, 梳 理 大 数 据 应 用 现 状 及 发 展 趋 势, 为 政 府 制 定 推 动 大 数 据 产 业 发 展 的 政 策 提 供 建 议 ; 同 时, 探 讨 大 数 据 研 究 面 临 的 科 学 问 题 和 技 术 挑 战, 为 科 研 机 构 和 科 研 人 员 提 供 参 考 指 南 本 书 内 容 分 为 五 章 : 第 1 章 介 绍 大 数 据 背 景 与 动 态 ; 第 2 章 阐 述 互 联 网 金 融 电 信 等 10 个 重 要 行 业 的 大 数 据 应 用 现 状 和 发 展 趋 势 ; 第 3 章 阐 述 大 数 据 技 术 的 进 展 ; 第 4 章 讨 论 大 数 据 IT 产 业 链 与 生 态 环 境 ; 第 5 章 分 析 大 数 据 发 展 趋 势 并 提 出 相 关 建 议 附 录 还 提 供 了 世 界 开 源 组 织 及 国 内 大 数 据 产 业 园 的 介 绍 本 书 的 重 点 章 节 是 第 2 章 和 第 3 章 第 2 章 介 绍 大 数 据 典 型 应 用 我 国 的 大 数 据 应 用 刚 刚 开 始, 有 些 应 用 的 数 据 规 模 可 能 还 不 够 大, 采 用 的 方 法 也 许 不 够 新, 但 新 兴 产 业 是 用 出 来 的, 只 有 广 泛 应 用 才 能 发 现 技 术 差 距 和 需 要 突 破 的 技 术 壁 垒 发 现 典 型 大 数 据 应 用 案 例 和 宣 传 推 广 应 用 大 数 据 技 术 的 经 验 是 本 书 的 主 要 动 机, 今 后 我 们 会 更 加 关 注 应 用 案 例 第 3 章 分 析 大 数 据 技 术 体 系 的 现 状 专 家 委 员 中 多 数 是 科 研 工 作 者, 熟 悉 本 领 域 中 科 学 技 术 研 究 的 进 展, 擅 长 探 讨 技 术 发 展 趋 势, 以 及 分 析 科 学 研 究 和 技 术 开 发 中 面 临 的 问 题 与 挑 战, 本 书 的 主 要 价 值 就 体 现 在 对 大 数 据 技 术 的 分 析 方 面 第 3 章 的 每 一 节 都 由 活 跃 在 科 研 第 一 线 的 专 家 撰 写, 每 人 只 写 自 己 最 熟 悉 的 领 域, 许 多 见 解 都 来 源 于 实 际 工

前 言 V 作 的 体 会 为 了 反 映 专 家 们 的 群 体 倾 向, 专 家 委 每 年 做 一 次 大 数 据 技 术 发 展 趋 势 的 年 度 预 测, 通 过 投 票 方 式 将 最 受 关 注 的 科 学 技 术 产 业 应 用 政 策 等 相 关 变 化 趋 势 挑 选 出 来 这 部 分 内 容 反 映 在 5.2 节 中, 希 望 对 读 者 有 所 启 迪 在 其 他 章 节 中, 企 业 界 和 政 府 部 门 的 专 家 也 表 达 了 一 些 观 点, 如 第 4 章 提 出 的 大 数 据 产 业 链 全 景 图 国 内 外 大 数 据 产 业 发 展 呈 现 的 六 大 趋 势 大 数 据 产 业 发 展 的 主 要 瓶 颈 等, 都 有 独 到 的 观 点 第 4 章 把 大 数 据 人 才 资 源 问 题 独 立 出 来 专 门 分 析, 是 因 为 这 是 一 个 十 分 重 要 而 紧 迫 的 大 问 题, 需 要 各 方 面 高 度 重 视 电 子 计 算 机 奠 基 人 冯 诺 依 曼 指 出 : 在 每 一 门 科 学 中, 当 通 过 研 究 那 些 与 终 极 目 标 相 比 颇 为 朴 实 的 问 题, 发 展 出 一 些 可 以 不 断 加 以 推 广 的 方 法 时, 这 门 学 科 就 得 到 了 巨 大 的 进 展 发 展 大 数 据 科 学 与 技 术 需 要 从 颇 为 朴 实 的 问 题 做 起, 要 特 别 重 视 从 应 用 中 发 现 科 学 问 题 检 验 一 切 技 术 的 唯 一 标 准 是 应 用, 技 术 有 限, 应 用 无 限 我 们 一 定 要 坚 持 应 用 为 先 的 发 展 战 略, 坚 持 应 用 牵 引 的 技 术 路 线, 不 能 完 全 走 技 术 驱 动 的 道 路 大 数 据 的 炒 作 高 峰 期 已 过, 现 在 是 关 注 大 数 据 技 术 落 地 的 时 候, 希 望 本 书 能 对 大 数 据 技 术 的 落 地 有 所 贡 献 数 据 科 学 的 形 成 还 需 要 一 个 培 育 过 程, 现 在 还 不 能 过 分 强 调 与 统 计 等 传 统 技 术 完 全 不 同 的 革 命 性 技 术 统 计 学 家 们 花 了 200 多 年 的 时 间, 已 发 现 数 据 处 理 过 程 中 的 许 多 陷 阱, 大 数 据 出 现 后 这 些 陷 阱 并 不 会 自 动 填 平, 大 数 据 中 仍 然 有 大 量 的 小 数 据 问 题 目 前 解 决 大 数 据 问 题 要 逻 辑 演 绎 和 归 纳 相 结 合 白 盒 与 黑 盒 技 术 相 结 合 大 数 据 方 法 与 小 数 据 方 法 相 结 合 本 书 收 集 的 大 数 据 应 用 案 例 和 阐 述 的 大 数 据 技 术, 没 有 与 小 数 据 划 出 明 确 的 边 界, 随 着 大 数 据 技 术 的 成 熟, 这 种 边 界 会 慢 慢 清 晰 起 来 限 于 时 间 和 篇 幅, 本 书 只 选 择 了 部 分 发 展 较 好 的 典 型 应 用 领 域 进 行 介 绍, 还 有 很 多 领 域 的 大 数 据 应 用 情 况 没 有 纳 入 本 书 在 后 续 工 作 中, 大 数 据 专 家 委 将 继 续 不 断 完 善 和 丰 富 本 书 的 内 容, 对 于 特 色 行 业 或 应 用 领 域 会 进 行 更 为 详 细 的 调 研, 出 版 有 针 对 性 的 面 向 行 业 应 用 的 书 籍 本 书 是 专 家 委 第 二 次 组 织 撰 写, 虽 反 复 修 改 了 十 余 次, 但 书 中 肯 定 还 存 在 一 些 错 误, 撰 写 组 织 工 作 也 有 很 多 不 当 之 处, 希 望 产 业 界 和 学 术 界 的 专 家 学 者 与 广 大 读 者 提 出 批 评 和 建 议, 共 同 推 动 中 国 大 数 据 技 术 与 产 业 的 发 展 李 国 杰 2014 年 12 月 1 日

撰 写 说 明 本 书 由 中 国 计 算 机 学 会 大 数 据 专 家 委 员 会 主 任 李 国 杰 院 士 担 任 主 编, 中 国 计 算 机 学 会 大 数 据 专 家 委 员 会 秘 书 长 程 学 旗 和 中 关 村 大 数 据 产 业 联 盟 秘 书 长 赵 国 栋 担 任 副 主 编, 各 章 节 的 统 稿 人 作 为 编 委 会 成 员 在 李 国 杰 院 士 的 带 领 下, 编 委 会 多 次 召 集 各 领 域 专 家 研 讨 内 容 框 架, 并 联 合 了 二 十 多 家 单 位 参 与 本 书 的 撰 写 工 作 其 中, 第 1 章 由 赵 国 栋 程 学 旗 杨 东 日 胡 然 刘 姝 祎 等 撰 写 ; 第 2 章 由 陈 新 河 施 水 才 王 维 负 责 整 理, 互 联 网 大 数 据 由 沈 烁 田 野 袁 博 等 撰 写, 金 融 大 数 据 由 闻 学 臣 陈 继 东 林 述 民 等 撰 写, 电 信 大 数 据 由 何 鸿 凌 孙 少 陵 徐 萌 等 撰 写, 电 力 大 数 据 由 邓 春 宇 张 宇 航 等 撰 写, 交 通 大 数 据 由 杨 东 日 刘 姝 祎 刘 超 鲍 侠 等 撰 写, 健 康 医 疗 大 数 据 由 张 彦 春 熊 锦 华 马 建 刚 徐 红 燕 等 撰 写, 政 府 大 数 据 由 施 水 才 贺 兆 辉 晋 家 骧 等 撰 写, 农 业 大 数 据 由 姜 春 铃 谢 润 梅 等 撰 写, 地 理 信 息 大 数 据 由 张 林 张 平 李 先 怡 陈 艳 武 等 撰 写, 新 媒 体 大 数 据 由 王 永 滨 赵 子 忠 冯 爽 郑 维 东 祝 建 华 等 撰 写 ; 第 3 章 由 吴 甘 沙 何 利 文 杜 小 勇 袁 晓 如 尹 绪 森 钟 翔 连 城 周 虎 成 石 勇 陈 继 东 王 健 宗 陆 嘉 恒 董 兆 安 祝 建 华 罗 圣 美 张 丹 徐 红 波 沈 烁 田 野 李 航 白 小 勇 刘 睿 民 等 撰 写 ; 第 4 章 由 杨 东 日 潘 柱 廷 金 波 刘 姝 祎 胡 然 周 涛 黄 道 丽 何 治 乐 等 撰 写 ; 第 5 章 由 李 建 中 靳 小 龙 石 勇 潘 柱 廷 周 涛 陈 懿 冰 等 撰 写 ; 附 录 由 王 维 查 礼 刘 伟 等 撰 写 最 后, 程 学 旗 靳 小 龙 王 元 卓 杨 婧 负 责 材 料 组 织 和 统 稿 等 工 作 黄 宜 华 王 治 平 彭 智 勇 邓 波 阮 彤 周 霞 周 志 华 等 大 数 据 专 家 委 员 会 委 员 积 极 参 与 了 本 书 的 撰 写, 不 仅 提 供 了 素 材, 还 参 与 了 本 书 的 修 改 工 作 由 于 本 书 经 过 多 次 修 改, 因 此 对 参 与 专 家 的 统 计 可 能 还 有 疏 漏, 在 此 深 表 歉 意 最 后 对 所 有 参 与 本 书 编 写 的 专 家 表 示 感 谢

目 录 编 委 会 前 言 撰 写 说 明 第 1 章 大 数 据 背 景 与 动 态 1 1.1 大 数 据 的 宏 观 价 值 与 背 景 1 1.1.1 国 家 保 障 数 据 安 全, 促 进 数 据 开 放 1 1.1.2 政 府 转 变 理 念, 集 成 信 息, 抓 住 机 遇 2 1.1.3 学 术 科 学 地 研 究 数 据, 用 数 据 来 研 究 科 学 3 1.1.4 产 业 产 业 需 要 变 革, 行 业 需 要 互 融 互 通 4 1.1.5 公 司 平 台 化 竞 争, 特 色 应 用 化 生 存 5 1.1.6 投 资 大 数 据 将 提 供 价 值 分 析 新 视 角 5 1.2 国 内 外 大 数 据 发 展 动 态 6 1.2.1 国 外 大 数 据 发 展 动 态 6 1.2.2 我 国 大 数 据 发 展 动 态 11 1.2.3 大 数 据 相 关 社 区 14 1.2.4 我 国 大 数 据 行 业 协 会 17 第 2 章 大 数 据 典 型 应 用 20 2.1 互 联 网 大 数 据 20 2.1.1 互 联 网 大 数 据 应 用 现 状 20 2.1.2 大 数 据 应 用 于 互 联 网 商 务 交 易 21 2.1.3 大 数 据 应 用 于 互 联 网 信 息 获 取 22 2.1.4 大 数 据 应 用 于 互 联 网 交 流 沟 通 24 2.1.5 大 数 据 应 用 于 移 动 互 联 网 25

VIII 目 录 2.1.6 互 联 网 大 数 据 发 展 趋 势 27 2.2 金 融 大 数 据 27 2.2.1 金 融 大 数 据 应 用 现 状 27 2.2.2 大 数 据 信 贷 29 2.2.3 大 数 据 征 信 30 2.2.4 大 数 据 投 资 32 2.2.5 金 融 大 数 据 发 展 趋 势 33 2.3 电 信 大 数 据 35 2.3.1 电 信 大 数 据 应 用 现 状 35 2.3.2 电 信 运 营 商 的 网 络 管 理 和 优 化 36 2.3.3 电 信 运 营 商 的 精 准 营 销 38 2.3.4 电 信 运 营 商 的 数 据 变 现 39 2.3.5 电 信 大 数 据 发 展 趋 势 45 2.4 电 力 大 数 据 46 2.4.1 电 力 大 数 据 应 用 现 状 46 2.4.2 利 用 电 力 负 荷 值 实 现 智 能 电 力 现 代 化 管 理 48 2.4.3 利 用 用 电 信 息 数 据 指 导 用 户 合 理 优 化 用 电 50 2.4.4 利 用 消 费 能 耗 数 据 进 行 节 能 减 排 53 2.4.5 电 力 大 数 据 发 展 趋 势 54 2.5 交 通 大 数 据 55 2.5.1 交 通 大 数 据 应 用 现 状 55 2.5.2 轨 道 交 通 大 数 据 技 术 创 新 57 2.5.3 轨 道 交 通 大 数 据 应 用 61 2.5.4 交 通 管 理 大 数 据 应 用 63 2.5.5 交 通 运 输 大 数 据 应 用 64 2.5.6 交 通 大 数 据 发 展 趋 势 65 2.6 健 康 医 疗 大 数 据 66 2.6.1 健 康 医 疗 大 数 据 应 用 现 状 66 2.6.2 国 外 健 康 医 疗 大 数 据 分 析 的 应 用 67 2.6.3 大 数 据 技 术 提 升 传 统 医 疗 信 息 系 统 效 率 68

目 录 IX 2.6.4 大 数 据 在 区 域 化 医 疗 卫 生 管 理 分 析 中 的 应 用 70 2.6.5 基 于 互 联 网 大 数 据 的 疾 病 指 数 预 测 应 用 73 2.6.6 健 康 医 疗 大 数 据 发 展 趋 势 75 2.7 政 府 大 数 据 76 2.7.1 政 府 大 数 据 应 用 现 状 76 2.7.2 政 府 大 数 据 入 口 整 合 78 2.7.3 政 府 大 数 据 惠 民 服 务 81 2.7.4 政 府 大 数 据 社 会 治 理 82 2.7.5 政 府 大 数 据 宏 观 经 济 管 理 84 2.7.6 政 府 大 数 据 发 展 趋 势 87 2.8 农 业 大 数 据 88 2.8.1 农 业 大 数 据 应 用 现 状 88 2.8.2 农 业 监 控 预 警 89 2.8.3 农 业 精 准 种 植 94 2.8.4 农 业 大 数 据 发 展 趋 势 98 2.9 地 理 信 息 大 数 据 98 2.9.1 地 理 信 息 产 业 大 数 据 应 用 现 状 98 2.9.2 大 数 据 在 智 慧 环 保 中 的 应 用 101 2.9.3 大 数 据 在 互 联 网 地 图 中 的 应 用 107 2.9.4 地 理 信 息 产 业 大 数 据 发 展 趋 势 110 2.10 新 媒 体 大 数 据 111 2.10.1 新 媒 体 大 数 据 应 用 现 状 111 2.10.2 基 于 大 数 据 的 收 视 率 测 量 114 2.10.3 新 媒 体 视 频 内 容 监 管 118 2.10.4 大 数 据 指 导 节 目 内 容 生 产 122 2.10.5 新 媒 体 大 数 据 发 展 趋 势 123 第 3 章 大 数 据 技 术 进 展 124 3.1 大 数 据 技 术 图 谱 125 3.1.1 数 据 的 生 命 周 期 125

X 目 录 3.1.2 技 术 栈 126 3.1.3 通 用 范 例 127 3.2 大 数 据 基 础 设 施 131 3.2.1 计 算 资 源 和 计 算 能 力 132 3.2.2 内 存 与 存 储 133 3.2.3 通 信 与 互 联 135 3.2.4 协 同 设 计 137 3.3 大 数 据 存 储 与 资 源 管 理 138 3.3.1 分 布 式 文 件 系 统 138 3.3.2 分 布 式 数 据 库 140 3.3.3 资 源 管 理 144 3.4 大 数 据 计 算 框 架 与 范 式 147 3.4.1 计 算 范 式 147 3.4.2 流 处 理 148 3.4.3 图 计 算 154 3.4.4 Spark 新 动 向 156 3.4.5 范 式 的 融 合 158 3.4.6 编 程 模 型 161 3.5 大 数 据 分 析 164 3.5.1 大 数 据 的 统 计 查 询 165 3.5.2 大 数 据 的 数 据 模 型 和 算 法 168 3.5.3 大 数 据 的 降 维 压 缩 171 3.5.4 大 数 据 的 分 布 式 并 行 学 习 173 3.5.5 大 数 据 机 器 学 习 系 统 179 3.5.6 其 他 实 用 性 问 题 181 3.6 大 数 据 可 视 化 185 3.6.1 实 时 可 视 化 186 3.6.2 不 同 数 据 类 型 的 可 视 化 188 3.6.3 交 互 可 视 化 191 3.6.4 可 视 化 的 可 用 性 193

目 录 XI 3.7 大 数 据 安 全 193 3.7.1 大 数 据 系 统 安 全 193 3.7.2 数 据 自 身 安 全 194 3.7.3 数 据 使 用 安 全 196 3.7.4 审 计 和 问 责 197 3.7.5 数 据 定 价 198 第 4 章 大 数 据 IT 产 业 链 和 生 态 环 境 200 4.1 国 内 外 大 数 据 产 业 链 现 状 200 4.1.1 大 数 据 产 业 链 全 景 图 200 4.1.2 产 业 链 上 中 下 游 202 4.1.3 大 数 据 产 业 链 发 展 趋 势 202 4.2 产 业 链 和 生 态 环 境 的 瓶 颈 和 建 议 207 4.2.1 大 数 据 发 展 产 业 链 和 生 态 环 境 的 瓶 颈 207 4.2.2 大 数 据 产 业 链 和 生 态 环 境 发 展 建 议 210 4.3 大 数 据 人 才 与 教 育 212 4.3.1 教 育 与 科 研 机 构 212 4.3.2 课 程 体 系 218 4.4 国 内 外 大 数 据 政 策 与 法 规 218 4.4.1 国 内 外 数 据 共 享 的 政 策 与 法 规 219 4.4.2 国 内 外 数 据 跨 境 的 政 策 与 法 规 223 4.4.3 国 内 外 隐 私 保 护 的 政 策 与 法 规 225 第 5 章 大 数 据 发 展 趋 势 与 建 议 232 5.1 大 数 据 学 科 发 展 现 状 与 趋 势 232 5.1.1 大 数 据 学 科 发 展 现 状 232 5.1.2 大 数 据 学 科 发 展 趋 势 233 5.2 大 数 据 热 点 问 题 与 技 术 发 展 趋 势 234 5.2.1 大 数 据 热 点 问 题 234 5.2.2 大 数 据 技 术 发 展 趋 势 236 5.3 中 国 大 数 据 发 展 战 略 与 建 议 239

XII 目 录 5.3.1 大 数 据 基 础 研 究 的 发 展 战 略 与 建 议 239 5.3.2 大 数 据 产 业 的 发 展 战 略 与 建 议 243 附 录 247 附 录 A 开 源 组 织 247 附 录 B 产 业 园 与 政 策 措 施 255 参 考 文 献 259 关 键 词 索 引 261

第 1 章 大 数 据 背 景 与 动 态 1.1 大 数 据 的 宏 观 价 值 与 背 景 大 数 据 的 内 涵 远 远 超 越 物 联 网 云 计 算 等 信 息 技 术 的 概 念 物 联 网 本 质 上 是 器 物 层 面 的 技 术, 从 大 数 据 的 视 角 而 言, 是 采 集 数 据 的 终 端 云 计 算 本 质 上 是 IT 服 务 交 付 手 段 的 变 革, 并 由 此 引 发 一 系 列 技 术 基 础 架 构 的 更 新 物 联 网 和 云 计 算 都 是 信 息 技 术 发 展 到 一 定 阶 段 的 自 然 延 伸, 依 然 属 于 信 息 技 术 范 畴 而 大 数 据 则 是 数 据 积 累 到 一 定 规 模 后 引 发 的 质 变 大 数 据 超 越 信 息 技 术, 使 人 们 重 新 界 定 国 家 竞 争 的 主 战 场, 重 新 审 视 政 府 治 理 水 平, 重 新 认 识 科 学 研 究 的 新 范 式, 重 新 审 视 产 业 变 迁 的 驱 动 因 素, 重 新 理 解 投 资 的 决 策 依 据, 重 新 思 考 公 司 的 战 略 和 组 织 结 构 1.1.1 国 家 保 障 数 据 安 全, 促 进 数 据 开 放 2012 年 3 月 份, 奥 巴 马 发 布 了 美 国 版 的 大 数 据 研 究 和 发 展 计 划 通 过 该 计 划 可 以 看 出, 国 家 层 面 大 数 据 技 术 领 域 的 竞 争 事 关 一 国 的 安 全 和 未 来 国 家 数 字 主 权 体 现 为 对 数 据 的 占 有 和 控 制, 是 继 边 防 海 防 空 防 之 后 的 大 国 博 弈 的 空 间 大 数 据 必 须 上 升 为 国 家 意 志, 落 实 为 国 家 战 略 欧 盟 日 本 新 加 坡 等 组 织 和 国 家 已 经 开 始 纷 纷 行 动 2013 年, 美 国 人 斯 诺 登 给 世 人 揭 开 了 数 据 战 争 的 冰 山 一 角, 美 国 的 棱 镜 计 划 事 实 上 把 所 有 国 家 个 人 都 纳 在 NSA( 美 国 国 家 安 全 局 ) 的 监 控 之 下 参 与 棱 镜 计 划 的 公 司 包 括 谷 歌 雅 虎 Facebook 微 软 苹 果 思 科 Oracle IBM 等 科 技 巨 头 由 此 可 以 看 到, 在 大 数 据 时 代,IT 产 业 的 强 大 已 经 成 为 直 接 决 定 一 个 大 国 是 否 可 能 成 为 强 国 的 最 为 关 键 的 因 素 没 有 数 据 安 全, 就 不 会 有 国 家 安 全 ; 没 有 强 大 的 IT 产 业, 就 不 会 成 为 一 流 国 家 保 护 国 家 层 面 的 数 据 安 全 是 以 数 据 开 放 为 基 础 的 开 放 是 一 种 态 度, 更 是 一 种 能 力 一 些 重 大 基 础 数 据 开 放, 可 以 构 成 社 会 的 数 据 基 础, 按 照 大 数 据 定 律 之 一 数 据 之 和 的 价 值 远 远 大 于 数 据 的 价 值 之 和 来 推 断, 来 自 不 同 领 域 的 数 据 聚 合 在 一 起, 开 放 给 社 会, 将 会 产 生 类 似 核 聚 变 一 样 的 价 值 发 现 效 应

2 中 国 大 数 据 技 术 与 产 业 发 展 报 告 (2014) 现 在, 电 子 商 务 社 交 网 络 基 础 通 信 所 产 生 的 数 据 以 及 国 家 相 关 部 委 的 数 据, 具 备 聚 合 的 效 应 和 产 生 核 聚 变 价 值 的 基 础 国 家 统 计 局 联 合 百 度 阿 里 巴 巴 已 经 做 了 一 些 探 索 性 的 尝 试, 这 是 非 常 好 的 开 端 与 此 同 时, 数 据 割 据 拥 数 自 重 的 现 象 也 是 普 遍 存 在 的 譬 如 气 象 观 测 数 据, 这 类 数 据 对 于 研 究 大 气 变 化 气 候 演 变 农 业 指 导 等 具 备 非 常 重 要 的 科 学 意 义 但 目 前 来 看, 诸 如 此 类 的 数 据 应 用 范 围 还 有 很 大 提 升 空 间 再 如 住 建 部 的 购 房 数 据, 这 类 数 据 对 于 防 止 腐 败 研 究 经 济 走 势 人 口 迁 移, 甚 至 制 定 国 家 决 策 都 具 有 至 关 重 要 的 作 用 这 类 数 据 如 果 开 放 给 社 会 各 界, 一 定 程 度 上 会 繁 荣 多 学 科 跨 领 域 交 叉 研 究, 由 此 可 能 会 推 动 中 国 在 各 个 方 面 的 进 步 开 放 的 数 据 是 基 础, 促 使 信 息 产 业 繁 荣, 才 能 诞 生 真 正 的 数 据 驱 动 的 企 业, 企 业 反 过 来 在 数 据 领 域 的 技 术 进 步, 才 是 确 保 国 家 数 据 安 全 的 长 治 久 安 之 策 很 难 想 象, 如 果 没 有 谷 歌 微 软 Facebook 这 样 的 公 司, 单 凭 美 国 政 府 一 己 之 力, 难 以 实 施 如 此 庞 大 的 棱 镜 计 划 所 以 制 定 国 家 大 数 据 战 略, 需 要 重 新 思 考 传 统 的 所 谓 的 国 家 机 密 和 国 家 安 全 的 关 系, 应 当 把 消 除 部 门 数 据 割 据, 建 立 公 开 透 明 共 享 的 数 据 公 共 平 台 作 为 长 期 的 战 略 目 标 1.1.2 政 府 转 变 理 念, 集 成 信 息, 抓 住 机 遇 面 对 海 量 动 态 多 样 的 大 数 据, 传 统 的 思 维 方 式 和 行 为 方 式 将 面 临 巨 大 挑 战, 尤 其 是 在 公 共 服 务 领 域 有 效 集 成 信 息 资 源 的 能 力 将 会 为 政 府 治 理 理 念 和 治 理 模 式 的 转 变 提 供 强 大 的 技 术 支 撑 当 前, 越 来 越 多 的 国 家 开 始 从 战 略 层 面 认 识 大 数 据, 在 政 府 治 理 领 域 融 入 大 数 据 思 维 和 技 术, 推 进 大 数 据 的 发 展 英 国 2006 年 启 动 数 据 权 运 动, 韩 国 2011 年 提 出 打 造 首 尔 开 放 数 据 广 场, 美 国 2012 年 启 动 大 数 据 研 究 和 发 展 计 划, 联 合 国 2012 年 推 出 数 据 脉 动 计 划, 日 本 2013 年 正 式 公 布 以 大 数 据 为 核 心 的 新 IT 国 家 战 略 在 此 背 景 下, 我 国 政 府 也 顺 应 时 代 发 展 趋 势, 契 合 推 进 国 家 治 理 能 力 现 代 化 的 时 代 要 求, 推 动 大 数 据 发 展, 政 府 企 业 和 科 研 院 所 正 在 进 行 多 方 位 布 局, 充 分 利 用 大 数 据 提 升 国 家 治 理 能 力 对 于 政 府 治 理 而 言, 大 数 据 时 代 在 带 来 机 遇 的 同 时 也 充 满 挑 战 大 数 据 为 政 府 治 理 能 力 的 提 升 带 来 了 发 展 机 遇 首 先 是 为 推 动 政 府 治 理 理 念 和 模 式 的 变 化 带 来 机 遇 在 政 府 治 理 领 域, 通 过 让 海 量 动 态 多 样 的 数 据 有 效 集 成 为 有 价 值 的 信 息 资 源, 推 动 政 府 转 变 治 理 理 念 和 治 理 模 式, 进 而 加 快 治 理 体 系 和 治 理 能 力 现 代 化 其 次 是 为 推 动 政 府 治 理 决 策 精 细 化 和 科 学 化 带 来 机 遇 在 大 数 据 时 代, 互 联 网 数 据

第 1 章 大 数 据 背 景 与 动 态 3 的 价 值 随 着 海 量 积 累 而 产 生 质 变, 能 够 对 经 济 社 会 运 行 规 律 进 行 直 观 呈 现, 从 而 降 低 政 府 治 理 偏 差 概 率, 提 高 政 府 治 理 的 精 细 化 和 科 学 化 再 次 是 为 推 动 政 府 治 理 提 高 效 率 和 节 约 成 本 带 来 机 遇 利 用 大 数 据 可 以 使 政 府 治 理 所 依 据 的 数 据 资 料 更 加 全 面, 不 同 部 门 和 机 构 之 间 的 协 调 更 加 顺 畅, 进 而 有 效 提 高 工 作 效 率, 节 约 治 理 成 本 大 数 据 对 提 升 政 府 治 理 能 力 的 重 要 性 不 言 而 喻, 但 在 实 际 工 作 中 具 体 运 用 大 数 据 却 任 重 而 道 远 现 阶 段, 大 数 据 在 政 府 治 理 领 域 还 未 得 到 足 够 重 视 我 国 政 府 部 门 目 前 几 乎 没 有 使 用 大 数 据 技 术, 很 多 政 府 部 门 并 未 对 大 数 据 提 升 业 务 能 力 予 以 足 够 重 视, 大 数 据 资 源 管 理 的 思 维 尚 未 建 立 大 数 据 在 政 府 治 理 中 的 技 术 运 用 尚 在 探 索 随 着 我 国 信 息 化 技 术 应 用 不 断 扩 展, 国 家 及 企 业 层 面 产 生 了 巨 量 大 数 据, 但 总 体 集 成 掌 握 整 合 分 析 这 些 数 据 需 要 成 熟 的 技 术 投 入, 如 何 利 用 大 数 据 进 行 精 细 分 析 仍 处 于 摸 索 阶 段 此 外, 大 数 据 本 身 的 管 理 还 需 要 综 合 完 善 如 何 管 理 大 数 据, 我 国 各 部 门 还 缺 乏 统 一 标 准 异 质 数 据 来 源 架 构 管 理 体 系 目 前 还 不 能 有 效 整 合, 在 一 定 程 度 上 降 低 了 数 据 的 使 用 效 率 1 1.1.3 学 术 科 学 地 研 究 数 据, 用 数 据 来 研 究 科 学 学 术 界 在 大 数 据 时 代 有 了 更 为 广 阔 的 舞 台 某 种 程 度 而 言, 近 几 年 计 算 机 领 域 的 发 展 是 谷 歌 亚 马 逊 等 一 线 的 互 联 网 公 司 所 推 动 的 虽 然 学 术 界 在 算 法 方 面 具 备 无 可 替 代 的 优 势, 但 在 算 法 工 程 应 用 领 域, 却 因 为 缺 乏 实 践 场 景 而 裹 足 不 前 在 大 数 据 时 代, 许 多 学 科 表 面 上 研 究 的 方 向 大 不 相 同, 但 从 数 据 的 视 角 看, 其 实 是 相 通 的 例 如 自 然 语 言 处 理 和 生 物 大 分 子 模 型 中 都 用 到 隐 式 马 氏 过 程 和 动 态 规 划 方 法 其 最 根 本 原 因 是 它 们 处 理 的 都 是 一 维 的 随 机 信 号 再 如 用 于 图 像 处 理 的 算 法 和 用 于 压 缩 感 知 的 算 法 也 有 着 许 多 共 同 之 处 数 据 视 角 为 许 多 学 科 的 发 展 带 来 了 新 的 研 究 思 路 以 自 然 语 言 的 机 器 翻 译 研 究 为 例 : 最 初 科 学 家 们 试 图 为 计 算 机 建 立 一 系 列 的 语 法 规 则, 按 照 语 法 词 义 来 翻 译 成 另 外 一 门 语 言 该 思 路 非 常 直 观, 因 为 人 们 就 是 如 此 理 解 学 习 语 言 的, 但 在 实 践 中 困 难 重 重 基 于 语 法 规 则 的 翻 译 器 几 乎 没 有 商 用 过 而 当 科 学 家 们 改 弦 易 张, 计 算 每 一 个 词 每 一 句 话 的 合 理 概 率 时, 复 杂 的 机 器 翻 译 就 简 化 成 了 文 字 的 概 率 计 算 通 俗 来 讲 就 是 : 如 果 大 多 数 人 都 这 么 说, 我 们 就 认 为 是 对 的! 从 宏 观 尺 度 研 究 的 天 体 信 息 学 社 会 行 为 学, 微 观 尺 度 上 分 析 人 类 的 基 因 组, 到 追 踪 物 理 学 家 们 梦 寐 以 求 的 上 帝 粒 子, 这 种 思 想 在 越 来 越 多 的 领 域 得 到 应 用 引 自 : 大 数 据 时 代 政 府 治 理 能 力 的 提 升 吴 建 树

4 中 国 大 数 据 技 术 与 产 业 发 展 报 告 (2014) 随 着 社 会 的 数 字 化 程 度 逐 步 加 深, 越 来 越 多 的 学 科 在 数 据 层 面 趋 于 一 致 可 以 采 用 相 似 的 思 想 来 进 行 统 一 的 研 究, 而 这 恰 恰 是 数 学 家 的 特 长 因 此 数 据 科 学 在 数 学 和 实 际 应 用 之 间 建 立 起 了 一 个 直 接 的 桥 梁 而 这 些 实 际 应 用 正 是 来 自 于 像 信 息 服 务 等 现 代 产 业 中 最 为 活 跃 的 一 部 分 对 数 学 来 说, 这 是 一 个 千 载 难 逢 的 机 会 通 过 建 立 大 数 据 共 享 实 验 平 台 和 国 家 级 的 大 数 据 研 究 实 验 室, 搭 建 产 业 界 和 学 术 界 的 桥 梁, 为 学 术 界 优 秀 的 算 法 提 供 演 练 的 舞 台, 为 产 业 界 困 扰 的 难 题 提 供 破 解 的 机 会, 从 而 间 接 推 动 数 据 科 学 领 域 学 科 建 设 与 人 才 培 养 的 工 作 1.1.4 产 业 产 业 需 要 变 革, 行 业 需 要 互 融 互 通 产 业 需 要 变 革, 行 业 需 要 互 通 互 融 所 谓 大 数 据 +, 就 是 将 大 数 据 思 维 嫁 接 到 不 同 的 产 业 中, 推 动 大 数 据 在 各 行 各 业 落 地 大 数 据 不 仅 仅 只 关 系 到 IT 行 业, 众 多 行 业 龙 头 公 司 都 已 经 意 识 到 了 大 数 据 新 思 维 的 巨 大 冲 击 给 企 业 家 们 带 来 冲 击 的 并 不 是 大 数 据 本 身, 而 是 一 些 新 兴 公 司 不 可 思 议 的 跨 界 能 力 行 业 之 间 的 界 限 变 得 越 来 越 模 糊, 这 些 新 兴 公 司 采 用 新 的 技 术 新 的 模 式, 大 规 模 采 集 数 据, 迅 速 形 成 预 判, 并 迅 速 扩 张 到 相 关 企 业 行 业 譬 如 乐 视 网 已 经 涉 及 电 视 销 售 电 影 拍 摄 ; 小 米 公 司 除 手 机 销 售 外, 也 开 始 涉 及 电 视 销 售 ; 百 度 360 等 企 业 也 都 开 始 做 各 种 硬 件, 如 百 度 影 棒 360 随 身 Wi-Fi 等 互 联 网 金 融 行 业 发 展 快 速, 该 行 业 对 传 统 金 融 行 业 造 成 的 冲 击 之 大, 仿 佛 一 夜 之 间 就 成 了 传 统 金 融 业 的 公 敌, 阿 里 巴 巴 旗 下 的 余 额 宝 产 品 仅 仅 用 了 5 个 多 月 的 时 间, 累 积 申 购 金 额 就 超 过 了 1000 亿 元 人 民 币 事 实 上, 目 前 互 联 网 金 融 还 是 在 发 展 的 初 级 阶 段, 仅 仅 是 把 线 上 渠 道 对 接 了 线 下 金 融 资 源, 但 就 是 这 种 对 接 行 为, 已 经 引 发 了 行 业 性 的 地 震 下 一 步 将 是 线 上 渠 道 向 智 慧 方 向 演 进, 这 个 阶 段 大 数 据 才 真 正 派 上 用 场 借 此 回 顾 阿 里 集 团 的 战 略 排 序 : 平 台 金 融 数 据 数 据 是 在 金 融 之 后 的 第 三 个 发 力 点 类 似 案 例 将 在 各 行 业 轮 番 上 演 信 息 化 程 度 越 高 的 行 业, 受 大 数 据 冲 击 的 可 能 性 越 高, 被 颠 覆 的 可 能 性 越 大 因 此, 从 大 数 据 的 视 角 来 看, 任 何 产 业 中, 数 据 资 产 都 将 成 为 最 核 心 的 竞 争 力 传 统 产 业, 或 者 说 各 行 各 业 都 将 面 临 在 大 数 据 和 移 动 互 联 网 时 代 如 何 彻 底 转 型 和 再 造 的 问 题 产 业 整 合, 将 在 大 数 据 时 代 出 现 全 新 的 整 合 逻 辑 和 实 现 契 机 各 行 各 业 都 可 能 在 大 数 据 和 移 动 互 联 网 时 代 重 现 生 机 焕 发 青 春 当 然, 与 此 对 应 的 是, 如 果 企 业 和 行 业 不 能 跟 上 这 个 时 代 步 伐, 它 们 可 能 就 将 永 久 地 留 在 过 去, 退 出 未 来 的 舞 台

第 1 章 大 数 据 背 景 与 动 态 5 1.1.5 公 司 平 台 化 竞 争, 特 色 应 用 化 生 存 未 来, 各 行 业 只 有 两 类 公 司 得 以 生 存, 一 类 是 平 台, 一 类 就 是 有 特 色 的 应 用 这 种 星 空 格 局 将 呈 现 众 星 拱 月 的 景 象 平 台 的 竞 争 可 能 更 加 残 酷, 一 个 行 业 甚 至 只 可 能 存 在 唯 一 一 个 压 倒 性 的 平 台 ; 应 用 的 竞 争 同 样 残 酷, 产 业 成 熟 周 期 将 缩 短 到 1 年, 决 胜 期 短 至 2 个 月 在 星 空 格 局 之 下, 公 司 的 竞 争 力 更 多 地 体 现 在 平 台 + 特 种 部 队 的 模 式 以 星 空 格 局 作 为 产 业 演 化 的 最 终 形 态, 以 特 种 部 队 作 为 业 务 竞 争 的 基 本 单 元, 那 么 公 司 的 战 略 组 织 文 化 等 方 面 需 要 彻 底 的 重 组 例 如 国 内 的 某 些 公 司, 组 织 层 级 被 高 度 压 缩 为 两 级 : 员 工 合 伙 人 每 个 合 伙 人 管 理 一 方 面 的 事 务, 譬 如 营 销 采 购 制 造 等 但 是 合 伙 人 直 接 管 理 许 多 员 工 ( 团 队 ) 的 模 式 完 全 颠 覆 了 一 般 管 理 学 上 定 义 的, 管 理 跨 度 不 要 超 过 7 人 的 界 限 而 另 外 有 些 公 司, 直 接 向 公 司 最 高 管 理 层 汇 报 的 团 队 有 多 达 数 十 个 在 组 织 高 度 扁 平 化 的 公 司 里, 企 业 文 化 必 然 有 其 独 到 的 地 方, 关 键 词 无 外 乎 包 括 : 专 注 极 致 口 碑 快 速 用 户 体 验 全 面 体 察 等 传 统 公 司 的 确 需 要 重 新 审 视 自 己 的 战 略, 重 构 组 织, 再 育 文 化 否 则, 胜 利 的 天 平 总 是 向 这 些 类 似 泛 互 联 网 范 式 的 公 司 倾 斜 1.1.6 投 资 大 数 据 将 提 供 价 值 分 析 新 视 角 在 对 上 市 公 司 进 行 投 资 价 值 评 估 时, 由 于 各 家 公 司 的 成 立 及 上 市 时 间 不 同, 运 营 结 构 体 制 机 制 也 各 具 特 色, 如 果 单 从 某 些 指 标 着 手, 评 价 结 果 难 免 有 失 偏 颇, 导 致 投 资 价 值 评 估 不 具 备 典 型 性, 无 法 实 现 投 资 价 值 评 估 的 目 的, 也 无 法 向 投 资 者 正 确 反 馈 上 市 公 司 投 资 价 值 高 低 的 信 息 其 中, 高 科 技 行 业 尤 其 难 以 评 估 以 软 件 公 司 为 例, 虽 然 不 同 的 软 件 公 司 所 服 务 的 行 业 不 同 采 用 的 技 术 不 同 产 业 成 熟 周 期 也 不 同, 但 是 产 业 的 成 熟 周 期 都 有 越 来 越 短 的 趋 势, 这 使 得 一 旦 发 现 机 会, 他 们 就 会 迅 速 成 长 为 产 业 的 新 标 杆 谷 歌 公 司 仅 仅 用 了 15 年 的 时 间 就 跨 入 了 千 亿 美 元 市 值 公 司 的 行 列 ; 小 米 公 司 成 立 三 年, 估 值 已 达 到 100 亿 美 元 如 此 高 速 地 成 长, 在 传 统 行 业 几 乎 是 不 可 能 发 生 的 事 情 长 期 研 究 分 析 发 现, 以 TMT( 电 信 媒 体 科 技 ) 为 代 表 的 高 技 术 含 量 企 业, 虽 然 发 展 迅 速, 机 会 众 多, 但 也 随 时 可 能 出 现 潜 在 的 风 险, 基 于 此, 许 多 基 金 经 理 因 看 不 懂 看 不 准 而 从 不 涉 足 该 类 企 业 这 的 确 是 一 个 两 难 的 问 题 基 金 经 理 不 了 解, 资 金 就

6 中 国 大 数 据 技 术 与 产 业 发 展 报 告 (2014) 会 投 入 的 少, 客 观 上 对 行 业 发 展 不 利 用 所 谓 的 WACC 方 法 评 估 TMT 公 司 价 值, 在 当 前 来 讲 已 经 不 那 么 现 实 了 虽 然 大 数 据 的 起 源 要 归 功 于 互 联 网 与 电 子 商 务, 但 大 数 据 最 大 的 应 用 前 景 却 在 传 统 产 业 一 是 因 为 几 乎 所 有 传 统 产 业 都 在 互 联 网 化, 二 是 因 为 传 统 产 业 仍 然 占 据 了 国 家 GDP 的 绝 大 部 分 份 额 随 着 数 据 逐 渐 成 为 企 业 的 一 种 资 产, 对 大 量 消 费 者 提 供 产 品 或 服 务 的 企 业 做 小 而 美 模 式 的 中 长 尾 企 业 互 联 网 压 力 之 下 急 需 转 型 的 传 统 企 业, 这 三 类 企 业 的 投 资 价 值 与 市 场 发 展 前 景 愈 发 显 得 难 以 看 透 针 对 这 种 情 况, 大 数 据 将 提 供 分 析 公 司 价 值 的 新 视 角, 帮 助 投 资 人 发 现 公 司 的 潜 在 价 值 所 谓 公 司 的 价 值, 与 其 拥 有 的 数 据 资 产 的 规 模 和 活 性 成 正 比, 与 其 解 释 运 用 数 据 的 能 力 成 正 比 这 里 强 调 了 数 据 资 产 的 两 个 属 性 : 规 模 和 活 性 数 据 资 产 评 估 模 型 从 五 个 维 度 来 评 估 数 据 资 产 的 商 业 价 值, 规 模 和 活 性 仅 仅 是 其 中 的 两 个 2 利 用 数 据 资 产 评 估 商 业 价 值 的 这 种 思 想 获 得 了 越 来 越 多 的 投 资 人 认 可 大 数 据 已 经 成 为 基 金 经 理 切 入 企 业 发 展 前 景 与 价 值 评 估 的 绝 好 视 角 和 新 型 工 具 产 业 界 和 资 本 市 场 沟 通 的 纽 带 在 大 数 据 时 代 将 显 得 越 来 越 重 要 需 要 让 越 来 越 多 的 投 资 人 理 解 大 数 据, 洞 察 行 业 发 展 趋 势, 帮 助 产 业 界 更 好 地 开 拓 产 融 结 合 的 路 子 1.2 国 内 外 大 数 据 发 展 动 态 1.2.1 国 外 大 数 据 发 展 动 态 1. 国 际 战 略 动 态 纵 观 世 界 各 国 的 大 数 据 策 略, 存 在 三 个 共 同 点 : 一 是 推 动 大 数 据 全 产 业 链 的 应 用 ; 二 是 数 据 开 放 与 信 息 安 全 并 重 ; 三 是 政 府 与 社 会 力 量 共 同 推 动 大 数 据 应 用 美 国 美 国 从 2009 年 开 始 全 面 开 放 了 40 万 联 邦 政 府 原 始 数 据 集 data.gov( 美 国 政 府 数 据 库 ) 宣 布 采 用 新 开 源 政 府 平 台 管 理 数 据, 代 码 向 各 国 开 发 者 开 放 奥 巴 马 政 府 将 大 数 据 战 略 上 升 为 最 高 国 策, 认 为 大 数 据 是 未 来 的 新 石 油, 将 对 数 据 的 占 有 和 控 制 作 为 陆 权 海 权 空 权 之 外 的 一 种 国 家 核 心 能 力 首 批 共 有 6 个 联 邦 部 门 宣 布 投 资 2 亿 美 元, 共 同 提 高 收 集 储 存 保 留 管 理 分 析 和 共 享 海 量 数 据 所 需 核 心 技 术 的 先 进 性, 并 形 成 合 力 ; 加 强 对 信 息 技 术 研 发 投 入 以 推 动 超 级 计 算 和 互 联 网 的 发 展 2013 引 自 : 大 数 据 时 代 的 历 史 机 遇 第 三 章 赵 国 栋

第 1 章 大 数 据 背 景 与 动 态 7 年 美 国 发 布 了 数 据 开 放 政 策 行 政 命 令, 要 求 公 开 教 育 健 康 等 七 大 关 键 领 域 数 据, 并 对 各 政 府 机 构 数 据 开 放 时 间 提 出 了 明 确 要 求 已 有 美 国 大 学 专 门 开 设 了 研 究 大 数 据 技 术 的 课 程, 培 养 下 一 代 的 数 据 科 学 家, 一 些 美 国 公 司 也 在 向 大 学 提 供 教 育 研 究 资 助, 并 赞 助 与 大 数 据 有 关 的 比 赛, 扩 大 大 数 据 技 术 开 发 和 应 用 所 需 人 才 的 供 给, 提 高 美 国 的 科 学 发 展 环 境 与 生 物 医 药 研 究 教 育 和 国 家 安 全 的 能 力 ; 美 国 国 家 卫 生 研 究 院 开 展 的 免 费 开 放 国 际 千 人 基 因 组 计 划, 它 将 创 建 的 人 类 遗 传 变 异 研 究 数 据 集 供 研 究 人 员 自 由 访 问 和 使 用 ; 美 国 国 家 科 学 基 金 会 和 美 国 国 家 卫 生 研 究 院 对 大 数 据 进 行 联 合 招 标, 改 进 核 心 科 学 与 技 术 手 段, 提 高 从 各 种 大 型 数 据 集 中 提 取 重 要 信 息 并 对 其 进 行 有 效 管 理 分 析 和 可 视 化 的 能 力 ; 美 国 国 防 部 则 计 划 每 年 投 资 2.5 亿 美 元 左 右, 在 各 个 军 事 部 门 开 展 一 系 列 研 究 计 划, 以 创 新 方 式 使 用 海 量 数 据, 通 过 感 知 认 知 和 决 策 支 持 的 结 合, 加 强 大 数 据 决 策 能 力 ; 美 国 能 源 部 则 将 斥 资 2500 万 美 元 建 立 可 扩 展 数 据 管 理 与 可 视 化 研 究 所 (SDAV), 帮 助 科 学 家 对 数 据 进 行 有 效 管 理, 促 进 其 生 物 和 环 境 研 究 计 划 美 国 核 数 据 计 划 等 的 研 究 成 果 此 外, 美 国 纽 约 州 能 源 研 究 和 发 展 管 理 局 运 用 一 系 列 大 数 据 技 术 来 评 估 气 候 变 化 对 纽 约 州 的 影 响, 并 为 农 业 公 共 卫 生 能 源 和 交 通 运 输 等 领 域 提 供 应 对 气 候 变 化 的 策 略 这 一 应 用 也 被 引 入 美 国 疾 病 控 制 中 心, 它 正 与 美 国 其 他 10 个 州 和 城 市 一 起 开 展 阅 读 州 和 城 市 计 划, 共 同 研 究 和 应 对 气 候 变 化, 而 大 数 据 技 术 是 其 中 一 个 非 常 重 要 的 组 成 部 分 英 国 2011 年 11 月, 英 国 政 府 发 布 了 对 公 开 数 据 进 行 研 究 的 战 略 决 策, 英 国 内 阁 部 长 弗 朗 西 斯 莫 德 说, 其 实 英 国 政 府 早 有 意 带 头 建 立 英 国 数 据 银 行, 政 府 想 算 清 楚 究 竟 这 个 国 家 或 政 府 创 造 了 什 么 ; 英 国 不 只 是 要 成 为 世 界 首 个 完 全 公 布 政 府 数 据 的 国 家, 还 应 该 成 为 一 个 国 际 榜 样, 去 探 索 那 些 公 开 数 据 在 商 业 创 新 和 刺 激 经 济 增 长 方 面 的 潜 力 2013 年 1 月, 英 国 商 业 创 新 和 技 能 部 宣 布, 将 注 资 6 亿 英 镑 发 展 八 类 高 新 技 术, 大 数 据 独 揽 其 中 的 1.89 亿 英 镑, 超 过 总 额 三 成 以 上 2013 年 8 月 12 日, 英 国 政 府 发 布 英 国 农 业 技 术 战 略 该 战 略 指 出, 英 国 今 后 对 农 业 技 术 的 投 资 将 集 中 在 大 数 据 上, 目 标 是 将 英 国 的 农 业 科 技 商 业 化 2013 年 英 国 首 个 综 合 运 用 大 数 据 技 术 的 医 药 卫 生 科 研 中 心 在 牛 津 大 学 成 立, 这 个 研 究 中 心 总 投 资 达 9000 万 英 镑, 可 容 纳 600 名 科 研 人 员 中 心 通 过 搜 集 存 储 和 分 析 大 量 医 疗 信 息, 确 定 新 药 物 的 研 发 方 向, 减 少 药 物 开 发 成 本, 并 为 发 现 新 的 治 疗 手 段 提 供

8 中 国 大 数 据 技 术 与 产 业 发 展 报 告 (2014) 线 索 同 时, 以 英 国 为 首 的 欧 洲 核 子 中 心 (CERN) 将 在 匈 牙 利 科 学 院 魏 格 纳 物 理 学 研 究 中 心 建 设 一 座 超 宽 带 数 据 中 心 建 成 后, 魏 格 纳 数 据 中 心 将 成 为 连 接 CERN 且 具 有 欧 洲 最 大 传 输 能 力 的 数 据 处 理 中 心, 未 来 该 设 施 在 处 理 大 型 强 子 对 撞 机 (LHC) 的 数 据 以 及 实 验 方 面 发 挥 重 要 作 用 2013 年 10 月 英 国 政 府 发 布 新 的 政 府 数 字 化 战 略, 旨 在 使 政 府 服 务 实 现 默 认 数 字 化, 即 数 字 服 务 简 单 方 便, 任 何 可 以 使 用 的 用 户 都 会 选 择 数 字 化 服 务, 而 不 能 使 用 的 用 户 也 不 排 除 在 外 2014 年, 英 国 宣 布 建 立 图 灵 大 数 据 研 究 院, 确 保 英 国 未 来 大 数 据 发 展 在 经 济 和 社 会 中 处 于 领 导 地 位 2015 年, 英 国 政 府 承 诺 将 开 放 有 关 交 通 运 输 天 气 和 健 康 方 面 的 核 心 公 共 数 据 库, 并 将 投 资 1000 万 英 镑 建 立 世 界 上 首 个 开 放 数 据 研 究 所 日 本 日 本 面 临 着 由 于 长 期 经 济 低 迷 导 致 国 际 地 位 下 降 人 口 老 龄 化 以 及 日 益 增 大 的 社 会 保 险 费 用 和 社 会 基 础 设 施 老 化 等 诸 多 问 题 为 了 扭 转 这 一 现 状, 日 本 政 府 决 定 通 过 大 力 发 展 IT 产 业, 特 别 是 大 数 据 及 开 发 数 据 和 云 计 算, 以 发 展 开 放 公 共 数 据 和 大 数 据 为 核 心 的 日 本 新 IT 国 家 战 略, 把 日 本 建 设 成 为 一 个 具 有 世 界 最 高 水 准 的 广 泛 运 用 信 息 产 业 技 术 的 社 会, 并 且 将 其 发 展 成 就 扩 展 到 国 际 范 围 内 加 拿 大 随 着 大 数 据 在 全 球 范 围 内 继 续 火 热, 加 拿 大 的 大 数 据 产 业 也 在 慢 慢 升 温 例 如, 在 科 研 领 域, 加 拿 大 政 府 科 学 技 术 与 创 新 委 员 会 已 要 求 科 研 组 织 就 与 加 拿 大 经 济 发 展 和 社 会 福 利 密 切 相 关 的 问 题, 为 加 拿 大 政 府 提 出 基 于 证 据 的 科 技 建 议 2007 年, 加 拿 大 开 始 实 施 数 字 信 息 战 略 2011 年 5 月 加 拿 大 广 播 电 视 和 电 信 委 员 会 (CRTC) 就 发 布 了 新 的 国 家 宽 带 计 划, 该 计 划 显 示, 到 2015 年 加 拿 大 全 体 国 民 将 享 有 5Mbps 的 宽 带 接 入 速 度 2012 年 9 月 IBM 正 式 启 动 在 加 拿 大 国 内 兴 建 的 智 能 数 据 中 心, 该 中 心 全 称 为 IBM 加 拿 大 领 导 数 据 中 心 (IBM Canada Leadership Data Centre) 法 国 虽 然 法 国 在 数 学 和 统 计 学 领 域 具 有 独 一 无 二 的 优 势, 但 法 国 的 大 数 据 产 业 发 展 情 况 远 不 如 美 国 英 国 等 国 家 发 展 的 火 热 但 近 年 来, 法 国 在 智 慧 城 市 建 设 方 面 却 投 入 了 大 量 精 力, 包 括 法 国 电 信 施 耐 德 集 团 和 达 索 集 团 等 诸 多 法 国 知 名 企 业 都 在 旗 下 设 立 了 专 门 从 事 智 慧 城 市 设 计 和 研 发 的 工 作 室 或 实 验 室, 在 政 府 的 引 导 下 积 极 投 身 智 慧 城 市 建 设 2013 年 2 月, 法 国 政 府 发 布 数 字 化 路 线 图, 列 出 五 项 将 会 大 力 支 持 的 战 略 性 高 新 技 术, 其 中 一 项 就 是 大 数 据 2013 年 3 月, 法 国 国 家 教 育 部 推 出 了 四 项 数 字 化 服 务 2013 年 4 月, 法 国 经 济 财 政 和 工 业 部 宣 布, 将 投 入 1150 万 欧 元 用 于 支 持 七 个 未 来 投 资 项 目, 目 的 在 于 通 过 发 展 创 新 性 解 决 方 案 并 将 其 用 于 实 践 来 促 进 法 国 在 大 数 据 领 域 的 发 展

第 1 章 大 数 据 背 景 与 动 态 9 德 国 2013 年, 德 国 制 定 数 字 德 国 2015 的 ICT 战 略, 在 能 源 交 通 保 健 教 育 休 闲 旅 游 和 管 理 等 传 统 行 业 采 用 现 代 ICT 技 术 实 现 智 能 网 络 化 德 国 IT 行 业 协 会 BITKOM 于 2014 年 初 发 表 报 告 称, 大 数 据 业 务 在 德 国 发 展 迅 速, 到 2016 年 有 望 达 到 136 亿 欧 元 在 此 背 景 下, 德 国 经 济 和 能 源 部 为 更 好 地 开 发 德 国 大 数 据 的 未 来 市 场, 支 持 大 数 据 相 关 技 术 的 研 发 创 新, 启 动 了 智 慧 数 据 - 来 自 数 据 的 创 新 项 目 德 国 智 慧 数 据 项 目 将 创 新 型 服 务 作 为 研 发 重 点, 将 中 小 企 业 也 纳 入 行 动 范 围, 鼓 励 其 开 发 和 使 用 有 吸 引 力 且 安 全 的 大 数 据, 力 求 为 中 小 型 企 业 开 发 出 创 新 型 的 系 统 解 决 方 案 同 时, 因 为 严 谨 的 民 族 习 惯, 德 国 在 数 据 保 护 方 面 做 得 非 常 出 色, 德 国 政 府 还 将 完 善 大 数 据 相 关 的 法 律 法 规 和 基 础 框 架, 并 选 取 工 业 交 通 能 源 和 医 疗 等 领 域 的 典 型 项 目 进 行 孵 化 和 推 广, 以 克 服 大 数 据 在 制 度 技 术 和 法 律 方 面 的 障 碍 现 在, 相 关 法 律 对 互 联 网 等 领 域 中 个 人 数 据 的 使 用 都 做 出 了 明 确 规 定, 还 提 出 设 立 专 职 信 息 保 护 人 员 的 建 议, 较 好 地 维 护 了 德 国 社 会 的 信 息 安 全 澳 大 利 亚 澳 大 利 亚 政 府 关 于 数 据 制 定 了 一 系 列 政 策 措 施, 其 中 包 括 澳 洲 公 共 服 务 大 数 据 战 略 等,2013 年 更 是 出 台 了 开 放 公 共 部 门 信 息 原 则 (Open PSI), 全 文 提 出 八 条 开 放 数 据 策 略 以 及 实 施 的 难 易 程 度, 并 提 出 了 需 开 放 数 据 的 首 要 领 域 印 度 印 度 联 邦 内 阁 批 准 了 国 家 数 据 共 享 和 开 放 政 策 在 数 据 开 放 方 面, 印 度 效 仿 美 国 政 府 的 做 法, 制 定 了 一 站 式 政 府 数 据 门 户 网 站 (data.gov.in), 把 政 府 收 集 的 所 有 非 涉 密 数 据 集 中 起 来, 包 括 全 国 的 人 口 经 济 和 社 会 信 息 2. 国 际 业 界 动 态 互 联 网 金 融 电 信 医 疗 政 府 等 是 大 数 据 运 营 的 重 点 领 域 而 大 多 数 领 域 的 大 数 据 发 展 应 用 仍 处 在 初 级 阶 段, 在 大 数 据 应 用 的 实 践 过 程 中 也 遇 到 了 数 据 资 产 不 明 应 用 需 求 不 定 平 台 建 设 技 术 路 线 安 全 隐 私 问 题 等 方 面 的 挑 战, 但 是, 大 数 据 应 用 在 各 领 域 还 是 做 出 了 一 些 有 益 的 探 索, 并 取 得 了 一 定 的 成 绩 在 电 信 行 业, 一 些 发 达 国 家 电 信 运 营 商 一 方 面 提 升 服 务 质 量, 改 善 内 部 管 理 包 括 客 户 维 系 精 准 营 销 和 网 络 运 营 与 管 理, 这 三 点 的 代 表 企 业 分 别 为 法 国 电 信 英 国 O2 NTT DoCoMo 和 沃 达 丰 法 国 电 信 开 展 针 对 用 户 消 费 的 大 数 据 分 析 评 估, 借 助 大 数 据 改 善 服 务 水 平, 提 升 用 户 体 验 英 国 O2 在 英 国 推 出 了 免 费 Wi-Fi 服 务, 以 积 累 更 多 的 用 户, 从 而 收 集 到 更 多 的 用 户 数 据, 用 在 精 准 的 媒 体 广 告 和 营 销 服 务 方 面 NTT DoCoMo 通 过 制 作 精 细 化 表 格, 收 集 用 户 详 细 信 息, 大 大 加 强 了 CRM 系 统 和 知 识 库, 准 确 定 位 目 标 客 户, 提 高 了 业 务 办 理 的 成 功 性 沃 达 丰 爱 尔 兰 公 司 的 Tellabs 洞 察 力 分 析 服 务

10 中 国 大 数 据 技 术 与 产 业 发 展 报 告 (2014) 是 将 通 信 网 络 中 的 大 数 据 转 化 为 可 利 用 的 情 报 另 一 方 面 确 立 商 业 模 式, 创 造 外 部 收 益 包 括 直 接 出 售 数 据 获 取 收 益 和 与 第 三 方 公 司 合 作 项 目 给 运 营 商 创 造 盈 利, 代 表 企 业 有 AT&T 西 班 牙 电 信 DynamicInsights Verizon 德 国 电 信 和 沃 达 丰 AT&T 将 与 用 户 相 关 的 数 据 出 售 给 政 府 和 企 业 以 获 利 西 班 牙 电 信 成 立 了 动 态 洞 察 部 门 DynamicInsights 开 展 大 数 据 业 务, 为 客 户 提 供 数 据 分 析 打 包 服 务 DynamicInsights 与 市 场 研 究 机 构 Gfk 进 行 合 作, 在 英 国 巴 西 推 出 了 首 款 产 品 名 为 智 慧 足 迹 (SmartSteps) Verizon 成 立 了 精 准 营 销 部 门 PrecisionMarketingDivisio, 提 供 了 精 准 营 销 洞 察 精 准 营 销 移 动 商 务 等 服 务, 包 括 联 合 第 三 方 机 构 对 其 用 户 群 进 行 大 数 据 分 析, 再 将 有 价 值 的 信 息 提 供 给 政 府 或 企 业 获 取 额 外 价 值, 数 据 业 务 的 盈 利 在 其 整 个 业 务 中 占 比 非 常 高 德 国 电 信 和 沃 达 丰 主 要 尝 试 通 过 开 放 API 向 数 据 挖 掘 公 司 等 合 作 方 提 供 部 分 用 户 匿 名 地 理 位 置 数 据, 以 掌 握 人 群 出 行 规 律, 有 效 地 与 一 些 LBS 应 用 服 务 对 接 在 连 锁 零 售 业 中, 英 国 最 大 的 连 锁 超 市 特 易 购 (TESCO) 已 经 开 始 运 用 大 数 据 技 术 采 集 并 分 析 其 客 户 行 为 信 息 数 据 集 特 易 购 首 先 在 大 数 据 系 统 内 给 每 个 顾 客 确 定 一 个 编 号, 然 后 通 过 顾 客 的 刷 卡 消 费 填 写 调 查 问 卷 打 客 服 电 话 等 行 为 采 集 他 们 的 相 关 数 据, 再 用 计 算 机 系 统 建 立 特 定 模 型, 对 每 个 顾 客 的 海 量 数 据 进 行 分 析, 得 出 特 定 顾 客 的 消 费 习 惯 近 期 可 能 的 消 费 需 求 等 结 论, 以 此 来 制 定 有 针 对 性 的 促 销 计 划 并 调 整 商 品 价 格 这 种 有 的 放 矢 的 营 销 和 定 价 模 式 为 特 易 购 提 供 了 更 加 高 效 的 盈 利 方 法 在 交 通 运 输 方 面, 美 国 Inrix 公 司 和 新 泽 西 州 运 输 部 之 间 的 合 作 伙 伴 关 系 Inrix 公 司 通 过 汽 车 和 移 动 电 话 GPS 装 置 上 的 信 号 和 数 据, 采 集 主 干 道 上 的 车 速 数 据, 然 后 实 时 向 新 泽 西 州 运 输 部 警 示 任 意 主 干 道 上 的 路 况 险 情, 同 时 向 司 机 的 车 载 GPS 装 置 或 移 动 电 话 发 送 警 示 来 提 醒 司 机 注 意 路 况 险 情 在 农 业 方 面, 美 国 气 候 公 司 (The Climate Corporation) 是 一 家 天 气 保 险 公 司, 他 们 制 作 保 单 来 弥 补 联 邦 农 作 物 保 险 和 因 气 候 造 成 的 农 民 损 失 之 间 的 差 额 该 公 司 通 过 庞 大 的 传 感 器 网 络 分 析 和 预 测 2000 万 美 国 农 田 的 气 温 降 水 土 壤 湿 度 和 产 量 在 知 晓 高 温 天 的 天 数 以 及 土 壤 湿 度 数 据 后, 建 立 模 型 来 帮 助 其 预 判 农 民 需 要 的 天 气 保 险 金 额 以 及 公 司 需 要 支 付 的 保 费 在 外 包 领 域, 大 数 据 技 术 也 已 成 为 信 息 技 术 行 业 的 下 一 个 大 事 件 目 前, 一 些 外 包 行 业 巨 头 也 开 始 进 军 大 数 据 市 场, 试 想 瓜 分 这 一 块 大 蛋 糕 印 度 全 国 软 件 与 服 务 企 业 协 会 预 计, 印 度 大 数 据 行 业 规 模 在 3 年 内 将 达 到 12 亿 美 元, 是 目 前 规 模 的 6 倍, 同

第 1 章 大 数 据 背 景 与 动 态 11 时 还 是 全 球 大 数 据 行 业 平 均 增 长 速 度 的 两 倍 在 信 息 安 全 行 业,FireEye 和 Splunk 这 类 国 际 企 业 在 大 数 据 安 全 方 面 发 展 迅 速, 他 们 在 大 数 据 安 全 方 面 的 技 术 也 值 得 国 内 企 业 借 鉴 专 做 DLP 产 品 的 Websense 公 司, 他 们 基 于 数 据 流 的 分 析 技 术 十 分 有 利 于 大 数 据 的 分 析 挖 掘 1.2.2 我 国 大 数 据 发 展 动 态 1. 我 国 政 府 促 进 大 数 据 发 展 的 措 施 2012 年 8 月 国 务 院 制 定 了 促 进 信 息 消 费 扩 大 内 需 的 文 件, 推 动 商 业 企 业 加 快 信 息 基 础 设 施 演 进 升 级, 增 强 信 息 产 品 供 给 能 力, 形 成 行 业 联 盟, 制 定 行 业 标 准, 构 建 大 数 据 产 业 链, 促 进 创 新 链 与 产 业 链 有 效 嫁 接 同 时, 构 建 大 数 据 研 究 平 台, 整 合 创 新 资 源, 实 施 专 项 计 划, 突 破 关 键 技 术 工 业 和 信 息 化 部 为 鼓 励 和 推 进 大 数 据 产 业 发 展 也 制 定 了 三 大 措 施 一 是 在 已 通 过 促 进 信 息 消 费 扩 大 内 需 的 意 见 软 件 和 信 息 技 术 服 务 业 十 二 五 规 划 等 政 策 规 划 中, 对 大 数 据 发 展 进 行 了 部 署 二 是 推 动 全 国 信 息 技 术 标 准 化 技 术 委 员 会 开 展 了 大 数 据 标 准 化 的 需 求 分 析 标 准 体 系 框 架 研 究 及 相 关 标 准 研 制 工 作, 并 向 相 关 国 际 标 准 化 组 织 提 交 了 大 数 据 研 究 提 案 三 是 利 用 项 目 资 金 等 手 段 进 行 了 前 沿 部 署, 支 持 关 键 技 术 产 品 的 研 发 和 产 业 化 各 省 市 也 相 继 部 署 了 大 数 据 战 略 广 东 率 先 启 动 大 数 据 战 略 推 动 政 府 转 型, 上 海 在 2013 年 启 动 大 数 据 研 发 三 年 行 动 计 划,2014 年 5 月 15 日, 上 海 市 推 动 各 级 政 府 部 门 将 数 据 对 外 开 放, 并 鼓 励 社 会 对 其 进 行 加 工 和 运 用 根 据 上 海 市 经 信 委 印 发 的 2014 年 度 上 海 市 政 府 数 据 资 源 向 社 会 开 放 工 作 计 划, 将 190 项 数 据 内 容 作 为 2014 年 重 点 开 放 领 域, 涵 盖 28 个 市 级 部 门, 涉 及 公 共 安 全 公 共 服 务 交 通 服 务 教 育 科 技 产 业 发 展 金 融 服 务 能 源 环 境 健 康 卫 生 文 化 娱 乐 等 11 个 领 域 其 中 市 场 监 管 类 数 据 和 交 通 数 据 资 源 的 开 放 将 成 为 重 点, 这 些 与 市 民 息 息 相 关 的 信 息 查 询 届 时 将 完 全 开 放 上 海 市 经 信 委 方 面 也 公 布, 上 海 将 参 照 图 书 资 源 的 管 理 模 式, 力 争 通 过 3 年 时 间, 完 成 各 政 府 部 门 的 信 息 系 统 所 承 载 的 信 息 资 源 分 类 目 录 编 制 和 注 册 工 作, 实 现 全 市 政 府 数 据 资 源 目 录 的 集 中 存 储 和 统 一 管 理, 基 本 摸 清 政 府 数 据 资 源 的 家 底, 从 而 解 决 数 据 资 源 有 哪 些 在 哪 里 谁 负 责 等 关 键 问 题 今 后 每 一 年, 上 海 都 会 发 布 年 度 开 放 清 单, 力 争 用 3~5 年, 最 终 形 成 数 据 开 放 的 负 面 清 单 只 要 不 涉 及 国 家 机 密 商 业 秘 密 和 个 人 隐 私 的 数 据 基 本 全 部 开 放 这 意 味 着 企 业 运 用 大 数 据 在 上 海 掘 金 的 时 代 来 临, 企 业 投 资 和 上 海 民 生 相 关 的 产 业 ( 如 交 通 运 输 餐 饮 等 ) 可 以 不 再 盲 人 摸 象

12 中 国 大 数 据 技 术 与 产 业 发 展 报 告 (2014) 2013 年 2 月 25 日, 国 家 食 品 药 品 监 督 管 理 局 与 百 度 在 北 京 联 合 举 行 安 全 用 药, 搜 索 护 航 战 略 合 作 签 约 仪 式 国 家 药 监 局 的 三 大 药 品 数 据 库, 总 计 20 余 万 条 权 威 药 品 信 息 全 面 入 驻 百 度 北 京 也 正 在 积 极 探 索 政 府 如 何 公 布 大 数 据 供 社 会 利 用,2014 年 7 月 23 日, 百 度 推 出 名 为 北 京 健 康 云 的 智 能 医 疗 平 台 产 品, 这 是 北 京 市 政 府 支 持 推 动 下 的 一 个 民 生 医 疗 项 目 另 外,2014 年 5 月 27 日, 中 国 气 象 局 公 共 气 象 服 务 中 心 与 阿 里 云 达 成 战 略 合 作, 共 同 搭 建 中 国 气 象 专 业 服 务 云, 面 向 有 气 象 数 据 需 求 的 企 业 提 供 专 业 化 的 云 计 算 服 务 2014 年 10 月 15 日, 云 上 贵 州 系 统 平 台 正 式 开 通 运 行, 这 是 贵 州 省 政 府 与 阿 里 牵 头 的 企 业 合 建 的 云 计 算 基 础 设 施, 应 用 在 交 通 等 领 域 目 前, 中 国 政 府 对 互 联 网 高 科 技 和 大 数 据 产 业 空 前 重 视, 并 且 明 确 表 态 要 开 放 大 数 据 2015 年 1 月 13 日, 阿 里 健 康 宣 布 将 药 品 监 管 网 的 基 础 设 施 从 甲 骨 文 数 据 库 迁 移 到 阿 里 云 平 台, 阿 里 将 利 用 大 数 据 技 术 帮 助 解 决 假 药 问 题 为 推 动 数 字 福 建 ( 长 乐 ) 产 业 园 中 国 国 际 信 息 技 术 ( 福 建 ) 产 业 园 加 快 建 设 成 为 全 省 大 数 据 产 业 重 点 园 区 和 数 字 福 建 建 设 的 重 要 承 载 基 地, 福 建 省 政 府 将 从 完 善 园 区 发 展 规 划 引 进 培 育 产 业 龙 头 推 动 资 源 汇 聚 开 发 建 设 大 数 据 创 新 平 台 加 强 人 才 引 进 培 养 做 好 园 区 用 地 保 障 确 保 园 区 用 电 需 求 强 化 园 区 网 络 支 撑 实 施 财 税 优 惠 政 策 提 高 安 全 保 障 能 力 等 10 个 方 面 给 予 支 持 在 引 进 培 育 产 业 龙 头 方 面, 福 建 省 将 通 过 市 场 开 放 资 源 开 发 技 术 采 购 服 务 外 包 等 方 式, 大 力 引 进 大 企 业 大 行 业 大 平 台, 吸 引 国 家 部 委 央 企 电 信 运 营 商 金 融 机 构 知 名 IT 企 业 互 联 网 公 司 等 入 园 建 设 新 一 代 信 息 技 术 设 计 研 发 生 产 基 地, 发 展 一 批 行 业 性 大 数 据 云 平 台 ; 吸 引 大 数 据 产 业 链 各 个 业 务 环 节 龙 头 企 业 入 园, 培 育 一 批 细 分 领 域 全 国 性 领 先 的 大 数 据 服 务 提 供 商 2015 年, 中 国 政 府 对 互 联 网 高 科 技 和 大 数 据 产 业 更 加 重 视, 并 且 明 确 表 态 要 开 放 大 数 据 2015 年 全 国 人 民 代 表 大 会 和 中 国 人 民 政 治 协 商 会 议 提 出 要 高 度 重 视 大 数 据 采 集 规 则 制 定 大 数 据 立 法 和 信 息 保 护 等 方 面 的 工 作 2. 我 国 大 数 据 企 业 发 展 情 况 中 国 移 动 提 出 了 大 数 据 时 代 全 新 的 移 动 互 联 网 战 略, 即 : 构 筑 智 能 管 道 搭 建 开 放 平 台 打 造 特 色 业 务 与 提 供 友 好 界 面, 这 体 现 了 中 国 移 动 在 移 动 互 联 网 时 代 全 面 开 启 之 际 的 全 新 战 略 定 位 中 国 移 动 在 2014 年 成 立 了 苏 州 研 发 中 心, 计 划 构 建 3000 ~ 4000 人 的 研 发 团 队 和 运 营 团 队, 宗 旨 就 是 要 进 一 步 完 善 云 计 算 和 大 数 据 产 品 体 系, 尽 快 形 成 国 际 一 流 的 云 计 算 和 大 数 据 服 务 能 力 中 国 移 动 构 建 了 大 云 产 业 联 盟, 与

第 1 章 大 数 据 背 景 与 动 态 13 技 术 提 供 商 集 成 商 高 等 院 校 政 府 机 构 等 超 过 50 家 单 位 在 核 心 模 块 合 作 授 权 技 术 服 务 应 用 开 发 技 术 攻 关 等 产 业 不 同 层 面 开 展 了 合 作 百 度 阿 里 腾 讯 360 等 互 联 网 企 业 依 靠 自 身 的 数 据 优 势, 均 已 将 大 数 据 作 为 公 司 的 重 要 战 略 大 数 据 正 在 从 理 论 走 向 实 践, 从 专 业 领 域 走 向 全 民 应 用 的 阶 段 百 度 在 大 数 据 方 面 让 人 印 象 深 刻 的 有 百 度 迁 徙 这 样 的 公 益 项 目, 应 用 在 民 生 和 新 闻 等 领 域 最 新 动 态 是, 百 度 网 盟 利 用 基 于 大 数 据 的 CTR( 广 告 内 容 匹 配 ) 数 据 使 站 长 的 平 均 收 入 提 升 70% 阿 里 则 对 外 宣 称 已 经 拥 有 100PB 数 据 并 以 令 人 欣 喜 的 速 度 增 长, 马 云 最 新 的 内 部 邮 件 将 阿 里 战 略 阐 述 为 云 端 + 大 数 据, 阿 里 要 进 入 数 据 时 代 2014 年 10 月 14 日, 阿 里 巴 巴 集 团 宣 布 无 线 开 放 战 略, 启 动 百 川 计 划 该 计 划 将 全 面 分 享 阿 里 无 线 资 源, 为 移 动 开 发 者 提 供 技 术 数 据 商 业 等 全 链 条 基 础 设 施 服 务 百 川 计 划 是 通 过 阿 里 无 线 开 发 的 重 要 平 台 产 生, 并 将 从 技 术 数 据 和 电 商 能 力 上 向 移 动 开 发 者 提 供 基 础 服 务 其 中, 云 技 术 层 面 将 提 供 架 构 搭 建 数 据 存 储 安 全 防 护 等 服 务, 并 可 有 专 业 人 员 对 APP 进 行 一 对 一 的 开 发 维 护 技 术 支 持 ; 大 数 据 层 面 则 将 联 合 移 动 应 用 统 计 分 析 平 台 友 盟, 帮 助 开 发 者 完 善 数 据 精 准 挖 掘 分 析 及 完 善 个 性 化 推 送 体 系 2014 年 10 月 10 日,360 举 办 首 届 数 字 世 界 大 会, 并 发 布 三 个 产 品, 帮 助 广 告 商 利 用 大 数 据 做 更 有 效 的 营 销 360 宣 称 推 出 的 实 效 平 台 聚 效 平 台 和 来 店 通 等 三 款 产 品 就 是 把 集 合 了 数 十 亿 用 户 信 息 的 数 据, 免 费 分 享 给 广 告 主 京 东 在 无 线 领 域 也 正 进 行 着 深 层 次 地 探 索 首 先 是 充 分 利 用 移 动 设 备 去 拓 展 人 性 化 功 能, 例 如 多 模 式 交 互, 通 过 京 东 APP, 用 户 可 以 通 过 移 动 设 备 的 摄 像 头 拍 照 扫 码 进 行 购 物 ; 另 外, 京 东 APP 还 在 积 极 通 过 大 数 据 技 术 挖 掘 用 户 需 求, 提 供 更 精 准 的 服 务 借 助 微 信 能 够 带 来 巨 大 流 量 的 优 势, 举 行 京 东 微 信 购 物 的 众 筹 活 动, 一 个 月 参 与 的 人 数 就 达 到 40 万 人 次 3. 我 国 推 动 大 数 据 产 业 园 区 发 展 大 数 据 是 继 云 计 算 物 联 网 移 动 互 联 网 之 后 的 又 一 个 具 有 国 家 战 略 意 义 的 新 兴 产 业 现 今, 大 数 据 已 经 渗 透 到 每 一 个 行 业 和 业 务 职 能 领 域, 逐 渐 成 为 重 要 的 生 产 因 素, 据 预 测, 到 2020 年 中 国 数 据 产 业 市 场 将 达 到 2 万 亿 以 上 规 模 但 任 何 一 个 技 术 概 念 都 需 要 落 地, 先 进 技 术 只 有 与 产 业 集 合, 并 切 实 推 进 经 济 的 发 展, 才 能 成 为 真 正 的 生 产 力 只 有 实 现 真 正 的 产 业 落 地, 才 能 真 正 推 动 经 济 的 发 展, 中 国 大 数 据 产 业 才 能 挤 掉 泡 沫, 驶 入 健 康 发 展 的 快 车 道

14 中 国 大 数 据 技 术 与 产 业 发 展 报 告 (2014) 产 业 园 区 作 为 产 业 集 群 的 重 要 载 体 和 组 成 部 分, 其 经 济 效 应 已 引 起 越 来 越 多 的 人 关 注 产 业 园 区 能 够 有 效 地 创 造 聚 集 力, 通 过 共 享 资 源 克 服 外 部 负 效 应, 带 动 关 联 产 业 的 发 展, 从 而 有 效 地 推 动 产 业 集 群 的 形 成 大 数 据 产 业 园 作 为 大 数 据 产 业 的 聚 集 区 或 大 数 据 技 术 的 产 业 化 项 目 孵 化 区, 是 大 数 据 企 业 走 向 产 业 化 道 路 的 集 中 区 域 大 数 据 产 业 园 区 可 以 通 过 自 身 的 规 模 品 牌 资 源 等 价 值 为 区 域 经 济 发 展 和 企 业 资 本 扩 张 起 到 巨 大 的 推 动 作 用 主 要 体 现 在 以 下 几 个 方 面 提 升 企 业 效 益 大 数 据 产 业 园 的 建 立 会 迅 速 聚 集 大 数 据 企 业 发 展 所 需 要 的 多 种 资 源, 可 以 吸 引 众 多 互 补 型 企 业 产 业 链 上 下 游 企 业 等, 为 企 业 提 供 一 个 良 好 的 发 展 空 间, 是 企 业 腾 飞 的 重 要 平 台 提 升 地 区 品 牌 大 数 据 产 业 园 的 建 立 必 将 带 来 大 量 高 科 技 企 业 的 入 驻, 这 必 将 带 动 地 区 经 济 快 速 发 展, 为 区 域 经 济 建 设 提 供 高 效 助 推 器 另 外, 随 着 国 家 对 大 数 据 等 新 兴 技 术 产 业 的 重 视, 建 立 大 数 据 产 业 园 的 地 区 将 领 先 于 国 家 的 发 展 规 划 之 前, 提 升 本 地 区 的 知 名 度, 并 且 可 以 借 此 吸 引 更 多 高 新 技 术 企 业 的 投 资 创 造 社 会 价 值 由 于 建 设 规 模 较 大, 涉 及 投 资 建 设 金 额 巨 大, 大 数 据 产 业 园 区 建 成 后, 在 年 产 值 税 收 等 方 面 贡 献 巨 大, 并 可 直 接 解 决 部 分 当 地 失 业 人 员 的 就 业 问 题 除 此 之 外, 园 区 的 生 产 生 活 配 套 设 施, 如 住 宿 餐 饮 商 业 区 等, 不 仅 可 以 满 足 园 区 内 工 作 人 员 的 个 人 需 求, 还 可 以 为 地 区 和 其 他 服 务 型 企 业 带 来 巨 大 的 经 济 利 益 大 数 据 产 业 园 在 为 自 己 创 造 经 济 效 益 的 同 时, 也 获 得 了 社 会 效 益 的 大 丰 收 总 之, 通 过 建 立 大 数 据 产 业 园, 能 够 更 有 效 地 组 织 和 使 用 大 数 据, 人 类 也 将 得 到 更 多 的 机 会 发 挥 科 学 技 术 对 社 会 发 展 的 巨 大 推 动 作 用 4. 国 内 外 大 数 据 发 展 对 比 分 析 我 国 大 数 据 产 业 起 步 较 晚, 同 时 由 于 互 联 网 技 术 也 有 所 滞 后, 使 得 我 国 的 大 数 据 发 展 较 领 先 国 家 还 尚 有 一 段 距 离 但 是, 我 国 又 有 得 天 独 厚 的 优 势 庞 大 的 用 户 群, 每 日 有 庞 大 的 数 据 量 不 断 生 成, 同 时, 受 惠 用 户 量 也 极 为 众 多 从 政 策 环 境 上 看, 我 国 尚 未 出 台 完 善 的 信 息 数 据 相 关 的 法 律 法 规, 对 隐 私 方 面 的 问 题 没 有 明 确 可 执 行 的 规 章 制 度 在 政 府 数 据 开 放 方 面 也 亟 需 进 一 步 加 强 1.2.3 大 数 据 相 关 社 区 2014 年 已 经 迎 来 了 大 数 据 发 展 的 黄 金 成 长 期, 大 数 据 以 降 低 信 息 不 对 称 和 提 高 决

第 1 章 大 数 据 背 景 与 动 态 15 策 有 效 性 为 目 标, 几 乎 能 应 用 于 包 括 金 融 互 联 网 医 学 生 物 教 育 在 内 的 所 有 行 业 然 而 随 着 数 据 量 不 断 剧 增, 各 个 国 家 各 组 织 被 迫 寻 找 创 新 性 的 方 法 来 管 理 控 制 并 分 析 利 用 这 些 巨 量 的 数 据 但 是, 数 据 孤 岛 现 象 却 制 约 着 大 数 据 的 发 展, 例 如 各 个 组 织 之 间 的 数 据 封 闭, 甚 至 同 一 个 组 织 各 个 部 门 之 间 的 数 据 也 不 开 放 因 此 数 据 开 放 和 共 享 成 为 大 数 据 的 核 心 和 关 键 为 了 推 动 数 据 开 放 和 共 享, 世 界 各 国 都 在 不 断 寻 找 新 的 突 破 口 1. 国 际 大 数 据 相 关 社 区 美 国 在 2009 年 设 立 data.gov 门 户 网 站, 将 政 府 和 主 要 州 市 等 持 有 的 公 共 数 据 对 外 公 开 2014 年 1 月, 该 网 站 全 面 改 版, 目 前 已 经 收 录 了 90154 个 数 据 集 349 个 应 用 程 序 和 140 个 移 动 应 用, 参 与 部 门 达 到 175 个 同 时, 美 国 还 有 40 个 州 44 个 县 市 建 立 了 单 独 的 数 据 门 户 美 国 的 数 据 开 放 格 式 多 达 46 种, 其 中 应 用 最 广 的 格 式 是 HTML ZIP 和 XML, 数 据 集 分 别 有 20775 个 12517 个 和 11992 个 英 国 在 2010 年 开 设 数 据 开 放 门 户 网 站 (data.gov.uk), 政 府 规 定 各 部 委 需 公 开 重 要 公 共 数 据, 政 府 财 政 支 出 犯 罪 高 发 区 域 市 政 工 程 施 工 等 与 市 民 生 活 密 切 相 关 的 信 息 需 优 先 公 开, 共 开 放 了 13670 个 公 开 的 数 据 集 以 及 4170 个 非 公 开 的 数 据 集 此 外, 伦 敦 曼 彻 斯 特 以 及 索 尔 福 德 市 议 会 等 16 个 地 方 和 部 门 还 建 立 了 独 立 的 开 放 数 据 门 户 2011 年 欧 盟 设 立 公 共 数 据 网 站, 提 出 了 欧 盟 开 放 数 据 战 略 新 加 坡 的 数 据 开 放 网 站 (data.gov.sg) 实 现 了 全 国 范 围 内 的 数 据 整 合, 是 世 界 上 发 展 最 为 完 善 的 公 共 信 息 资 源 开 放 共 享 网 站 之 一, 目 前 已 经 汇 集 了 来 自 68 个 政 府 部 门 和 机 构 的 8600 多 个 数 据 集 这 些 数 据 可 以 被 企 业 和 个 人 访 问, 帮 助 他 们 发 现 机 遇 并 提 供 服 务 印 度 政 府 建 立 了 一 站 式 官 方 数 据 门 户 网 站 (data.gov.in), 使 其 成 为 政 府 收 集 的 所 有 数 据 的 总 网 站 该 网 站 可 以 把 政 府 收 集 的 所 有 非 涉 密 数 据 集 中 在 一 起, 包 括 全 国 的 人 口 经 济 和 社 会 信 息, 共 开 放 了 5811 个 数 据 集, 共 有 58 个 部 门 和 4 个 州 参 与, 开 放 了 24 个 应 用 程 序, 在 5811 个 数 据 集 中, 以 XLS 格 式 开 放 的 有 1793 个, 以 ZIP 格 式 开 放 的 4 个, 以 CSV 格 式 开 放 的 2087 个, 以 HTML 格 式 开 放 的 有 30 个, 以 XML 格 式 开 放 的 有 1897 个 2011 年 9 月 20 日, 开 放 政 府 合 作 伙 伴 (Open Government Partnership,OGP) 成 立, 该 组 织 由 巴 西 印 度 尼 西 亚 墨 西 哥 挪 威 菲 律 宾 南 非 英 国 美 国 八 个 国 家 联 合 签 署 开 放 数 据 声 明 截 至 2014 年 2 月 10 日, 全 球 已 有 63 个 国 家 加 入 开 放 政 府 合 作

16 中 国 大 数 据 技 术 与 产 业 发 展 报 告 (2014) 伙 伴 2013 年 6 月, 八 国 集 团 首 脑 在 北 爱 尔 兰 峰 会 上 签 署 开 放 数 据 宪 章, 法 国 美 国 英 国 德 国 日 本 意 大 利 加 拿 大 和 俄 罗 斯 承 诺, 最 迟 在 2015 年 末 按 照 宪 章 和 技 术 附 件 要 求 进 一 步 向 公 众 开 放 可 机 读 的 政 府 数 据 除 政 府 部 门 外, 民 间 团 体 也 在 积 极 推 进 公 共 数 据 的 灵 活 利 用 2012 年 7 月 日 本 非 盈 利 性 机 构 OKF(Open Knowledge Foundation) 诞 生, 旨 在 促 进 公 共 数 据 的 有 效 利 用, 其 开 发 的 开 源 软 件 CKAN 对 于 构 筑 地 方 政 府 的 公 共 数 据 门 户 网 站 起 到 重 要 支 撑 作 用 2. 中 国 大 数 据 相 关 社 区 中 国 政 府 同 样 也 在 做 着 开 放 共 享 数 据 的 努 力, 建 立 了 类 似 英 美 政 府 的 国 家 数 据 公 开 网 站 国 家 数 据 网 (data.stats.gov.cn) 我 国 各 地 也 开 始 了 公 共 信 息 资 源 的 开 放 共 享, 北 京 上 海 等 地 数 据 开 放 网 站 相 继 投 入 运 行 北 京 市 政 务 数 据 资 源 网 通 过 原 始 数 据 (WPS CSV) 下 载 带 有 地 理 坐 标 信 息 的 空 间 数 据 (SHAPE) 下 载 和 在 线 调 用 API 三 种 形 式 提 供 数 据 开 放 共 享 服 务 开 发 者 分 析 研 究 人 员 普 通 用 户 通 过 互 联 网 登 录 该 网 站 可 查 询 下 载 数 据 以 及 在 线 调 用 API 开 发 服 务 该 网 站 已 经 整 合 了 北 京 市 35 个 政 府 部 门 的 信 息, 为 社 会 提 供 了 土 地 使 用 教 育 旅 游 交 通 文 化 医 疗 等 269 类 多 达 36 万 条 的 原 始 数 据 资 源 上 海 市 政 府 数 据 服 务 网 (datashanghai.gov.cn) 作 为 外 界 获 取 数 据 的 统 一 入 口, 自 2012 年 起 对 外 试 用 上 海 市 政 府 召 开 推 进 政 府 数 据 资 源 向 社 会 开 放 工 作 会 议, 要 求 在 包 括 市 公 安 局 市 工 商 局 市 统 计 局 市 商 务 委 员 会 等 9 家 试 点 政 府 部 门 公 开 信 息 资 源 的 基 础 上, 所 有 政 府 部 门 在 2014 年 内 通 过 上 海 政 府 数 据 服 务 网 向 公 众 提 供 数 据 产 品 浏 览 查 询 和 下 载 等 服 务, 具 体 涵 盖 公 共 安 全 公 共 服 务 交 通 服 务 教 育 科 技 产 业 发 展 金 融 服 务 能 源 环 境 健 康 卫 生 文 化 娱 乐 等 11 个 领 域 中 国 香 港 均 依 托 原 有 网 站, 通 过 进 一 步 增 强 网 站 服 务 功 能 或 者 增 设 网 站 栏 目 的 办 法, 实 现 政 府 数 据 的 开 放 中 国 社 会 团 体 也 纷 纷 自 发 成 立 数 据 共 享 中 心, 以 期 借 助 大 数 据 技 术 寻 求 新 的 商 机 其 中 有 以 推 动 数 据 开 放 为 目 的 的 数 据 开 放 平 台 ; 有 为 推 动 大 数 据 技 术 进 步 而 成 立 的 大 数 据 技 术 社 区 ; 也 有 为 推 动 大 数 据 的 商 业 化 应 用 而 成 立 的 大 数 据 平 台 (1) 数 据 开 放 社 区 百 度 数 据 开 放 平 台 这 是 以 百 度 框 计 算 先 进 技 术 理 念 为 基 础, 连 接 站 长 优 质 数 据 和 百 度 搜 索 结 果 的 开 放 平 台 站 长 通 过 结 构 化 优 质 数 据, 获 得 百 度 搜 索 结 果 页 即 搜 即 得

第 1 章 大 数 据 背 景 与 动 态 17 的 搜 索 展 现 全 国 可 信 网 站 数 据 库 开 放 平 台 这 是 由 中 网 依 托 可 信 网 站 验 证 数 据 库 为 基 础 搭 建 的 全 国 最 大 的 可 信 网 站 数 据 库 开 放 平 台 该 平 台 收 录 对 象 先 由 网 站 自 行 申 请 或 公 众 推 荐 ( 含 合 作 伙 伴 等 ), 然 后 由 中 网 按 照 可 信 网 站 验 证 审 核 规 则 或 流 程 对 商 家 或 网 站 的 身 份 信 息 完 成 交 互 审 核 后 予 以 收 录 该 平 台 将 面 向 浏 览 器 搜 索 引 擎 电 子 商 务 平 台 微 博 等 诸 多 领 域 实 现 免 费 开 放, 帮 助 各 大 互 联 网 平 台 快 速 高 效 地 实 现 平 台 上 各 类 商 家 网 站 的 真 实 身 份 验 证, 形 成 无 所 不 在 的 商 家 网 站 身 份 验 证 查 询 途 径, 方 便 网 民 按 照 上 网 习 惯 快 速 便 捷 地 甄 别 网 站 真 伪, 识 破 网 络 钓 鱼 骗 局 百 度 开 放 研 究 社 区 提 供 了 100G 的 百 度 真 实 的 数 据 集 以 及 由 250 台 服 务 器 组 成 的 开 放 研 究 云 平 台, 并 利 用 网 络 社 区 没 有 地 域 限 制 自 由 灵 活 快 捷 等 特 点, 为 科 研 人 员 提 供 一 个 互 动 交 流 的 平 台, 让 技 术 沟 通 和 海 量 数 据 分 析 变 得 简 洁 而 高 效 3 开 放 爬 虫 系 统 主 要 面 向 高 校 和 科 研 单 位 的 大 数 据 研 究 团 队, 提 供 个 性 化 定 制 的 互 联 网 数 据 获 取 服 务 该 系 统 底 层 采 用 众 包 模 式 进 行 数 据 获 取, 数 据 采 集 具 有 广 泛 性 时 效 性 和 精 准 性 的 特 点 开 放 爬 虫 系 统 是 中 科 院 高 能 所 开 放 大 数 据 平 台 的 一 部 分, 开 放 大 数 据 平 台 收 集 整 合 与 管 理 互 联 网 物 联 网 科 研 等 多 个 领 域 的 数 据, 着 力 解 决 大 数 据 应 用 开 发 中 海 量 数 据 来 源 数 据 传 输 基 础 能 力 支 撑 等 问 题, 实 现 多 领 域 数 据 交 叉 融 合, 提 供 一 站 式 数 据 服 务, 激 活 数 据 价 值, 降 低 应 用 门 槛 (2) 大 数 据 技 术 社 区 4 炼 数 成 金 成 立 于 2011 年, 是 一 个 关 于 数 据 仓 库 数 据 挖 掘 商 业 智 能 等 技 术 和 业 务 讨 论 的 数 据 分 析 专 业 社 区 网 站 该 社 区 通 过 将 大 数 据 各 应 用 领 域 的 业 务 专 家 数 据 分 析 专 家 IT 专 家 以 及 这 些 领 域 的 从 业 人 员 汇 聚 起 来, 为 大 家 提 供 大 数 据 技 术 及 应 用 讨 论 培 训 的 平 台 ITPUB 社 区 属 于 IT168 旗 下 网 站, 是 国 内 知 名 的 数 据 库 社 区, 目 前 注 册 会 员 数 量 已 达 170 多 万, 该 论 坛 以 探 讨 数 据 库 管 理 技 术 和 信 息 化 技 术 以 及 各 种 开 发 技 术 为 主, 希 望 汇 聚 社 区 的 力 量, 吸 引 更 多 的 人 才 推 动 大 数 据 的 发 展 1.2.4 我 国 大 数 据 行 业 协 会 IT 技 术 的 迅 速 发 展 使 爆 炸 增 长 的 数 据 成 了 各 行 各 业 共 同 面 对 的 问 题 为 了 有 效 应 对 http://openresearch.baidu.com/?locale=zh_cn http://www.dataguru.cn/

18 中 国 大 数 据 技 术 与 产 业 发 展 报 告 (2014) 大 数 据 引 起 的 挑 战, 同 时 充 分 利 用 大 数 据 带 来 的 机 遇,2012 年 5 月, 以 网 络 数 据 科 学 与 工 程 一 门 新 兴 的 交 叉 学 科 为 主 题 的 第 424 次 香 山 科 学 会 议 在 北 京 香 山 饭 店 成 功 召 开, 会 议 建 议 在 中 国 计 算 机 学 会 下 成 立 大 数 据 专 家 委 员 会 该 委 员 会 于 2012 年 10 月 正 式 成 立 此 后, 业 界 对 大 数 据 日 趋 关 注, 中 国 大 数 据 行 业 协 会 纷 纷 成 立, 中 国 通 信 协 会 中 国 电 子 协 会 等 也 成 立 了 大 数 据 专 家 委 员 会, 各 界 人 士 共 同 推 动 了 我 国 大 数 据 技 术 及 产 业 的 发 展 中 国 计 算 机 学 会 大 数 据 专 家 委 员 会 成 立 于 2012 年 10 月, 由 中 科 院 计 算 所 李 国 杰 院 士 担 任 主 任 其 宗 旨 包 括 三 个 方 面 : 探 讨 大 数 据 的 核 心 科 学 与 技 术 问 题, 推 动 大 数 据 学 科 方 向 的 建 设 与 发 展 ; 构 建 面 向 大 数 据 产 学 研 用 的 学 术 交 流 技 术 合 作 与 数 据 共 享 平 台 ; 对 相 关 政 府 部 门 提 供 大 数 据 研 究 与 应 用 的 战 略 性 意 见 与 建 议 大 数 据 专 家 委 员 会 下 设 有 五 个 工 作 组, 分 别 负 责 专 家 委 员 会 的 会 议 组 织 ( 学 术 会 议 技 术 会 议 ) 学 术 交 流 产 学 研 用 合 作 开 源 社 区 与 大 数 据 共 享 联 盟 以 及 大 数 据 发 展 战 略 工 作 组 中 国 通 信 学 会 大 数 据 专 家 委 员 会 成 立 于 2012 年 10 月, 由 中 国 通 信 学 会 牵 头 组 建, 是 我 国 首 个 专 门 研 究 大 数 据 应 用 和 发 展 的 学 术 咨 询 组 织 其 主 要 任 务 是 组 织 大 数 据 发 展 重 点 问 题 研 讨 会 并 提 出 有 关 建 议 ; 开 展 大 数 据 相 关 理 论 方 法 实 践 课 题 的 研 究 ; 为 企 业 的 大 数 据 研 发 提 供 咨 询 服 务 ; 促 进 产 业 间 的 资 源 共 享 与 合 作 专 家 委 员 会 主 任 委 员 由 中 国 工 程 院 士 中 南 大 学 校 长 张 尧 学 院 士 担 任, 来 自 政 府 部 门 学 术 界 研 究 机 构 和 企 业 的 知 名 专 家 学 者 担 任 委 员 中 关 村 大 数 据 产 业 联 盟 成 立 于 2012 年 12 月 13 日, 由 中 关 村 管 委 会 直 接 领 导 联 盟 的 宗 旨 是 把 握 云 计 算 大 数 据 与 产 业 革 新 浪 潮 带 来 的 战 略 机 遇, 聚 合 厂 商 用 户 投 资 机 构 院 校 与 研 究 机 构 政 府 部 门 的 力 量, 通 过 研 讨 交 流 数 据 共 享 联 合 开 发 推 广 应 用 产 业 标 准 制 定 与 推 行 联 合 人 才 培 养 业 务 与 投 资 合 作 促 进 政 策 支 持 等 工 作, 推 进 实 现 数 据 开 发 共 享, 并 形 成 相 关 技 术 与 产 业 的 突 破 性 创 新, 产 业 的 跨 越 式 发 展, 推 动 培 育 世 界 领 先 的 大 数 据 技 术 产 品 产 业 和 市 场 中 国 国 际 经 贸 大 数 据 研 究 院 ( 中 国 大 数 据 与 智 慧 城 市 研 究 院 ) 成 立 于 2013 年 3 月 22 日, 隶 属 于 国 家 工 业 和 信 息 化 部 中 国 电 子 商 务 协 会, 是 国 家 工 商 总 局 和 国 家 发 改 委 信 息 中 心 共 建 共 管 单 位 主 要 任 务 是 开 展 大 数 据 应 用 与 智 慧 城 市 建 设 专 项 课 题 研 究 组 织 开 展 大 数 据 专 业 技 术 人 才 培 训 承 担 科 技 产 业 大 数 据 应 用 开 发 任 务 提 供 智 慧 城 市 解 决 方 案 数 据 中 心 联 盟 (Data Center Alliance) 成 立 于 2014 年 1 月 16 日, 是 在 工 信 部

第 1 章 大 数 据 背 景 与 动 态 19 通 信 发 展 司 的 指 导 下, 由 电 信 研 究 院 联 合 国 内 三 家 基 础 电 信 运 营 商 十 余 家 主 要 互 联 网 企 业 国 内 主 要 硬 件 制 造 企 业 以 及 若 干 科 研 单 位 和 组 织 等 单 位 共 同 发 起 组 建 的 目 前 联 盟 共 有 会 员 单 位 71 家, 其 中 全 权 会 员 单 位 30 家, 高 级 会 员 单 位 4 家, 普 通 会 员 单 位 37 家 联 盟 的 主 要 工 作 是 为 了 推 动 数 据 中 心 云 计 算 和 大 数 据 的 技 术 和 业 务 研 究, 掌 握 国 内 国 际 数 据 中 心 行 业 动 态, 为 政 府 和 企 业 制 定 发 展 战 略 提 供 依 据 ; 建 设 数 据 中 心 和 云 计 算 的 信 息 服 务 平 台, 提 供 行 业 市 场 等 公 共 信 息 服 务 等 中 国 电 子 学 会 大 数 据 专 家 委 员 会 成 立 于 2014 年 4 月, 凝 聚 了 112 位 多 个 学 科 的 专 家 这 样 的 交 流 平 台 和 机 制 为 业 界 提 供 了 技 术 支 持, 可 以 有 力 地 推 动 国 内 大 数 据 的 发 展, 为 我 国 信 息 产 业 和 服 务 的 发 展 提 供 强 大 的 动 力 中 国 信 息 协 会 大 数 据 分 会 成 立 于 2014 年 8 月 27 日, 是 中 国 信 息 协 会 为 了 落 实 党 的 十 八 大 关 于 促 进 新 四 化 同 步 发 展 的 有 关 精 神 而 组 建 其 宗 旨 在 于 联 合 国 内 政 产 学 研 各 界, 共 同 把 握 全 球 大 数 据 发 展 的 有 利 时 机 和 战 略 资 源, 促 进 我 国 大 数 据 产 业 的 发 展 中 国 法 律 大 数 据 联 盟 成 立 于 2014 年 11 月 18 日, 将 联 合 包 括 大 数 据 云 计 算 移 动 互 联 网 等 各 领 域 的 专 家 资 源 和 学 术 优 势, 为 法 律 大 数 据 的 深 入 研 究 和 应 用 提 供 前 沿 的 理 论 支 撑, 更 好 地 发 挥 法 律 大 数 据 和 法 律 云 在 国 家 治 理 国 土 安 全 和 网 络 空 间 安 全 以 及 在 经 济 和 社 会 发 展 中 的 重 要 作 用 联 盟 成 立 中 国 法 律 大 数 据 研 究 中 心, 编 制 中 国 法 律 大 数 据 蓝 皮 书, 组 织 法 律 大 数 据 学 术 研 讨 会, 构 建 法 律 大 数 据 与 云 服 务 平 台, 对 法 律 大 数 据 与 云 技 术 进 行 深 度 分 析 挖 掘, 探 究 法 律 大 数 据 在 法 治 国 家 法 治 政 府 法 治 社 会 一 体 化 建 设 中 的 应 用

第 2 章 大 数 据 典 型 应 用 大 数 据 作 为 一 种 赋 能 性 技 术, 如 同 电 一 样, 作 用 于 经 济 社 会 的 各 个 层 面 任 何 一 种 技 术 的 应 用 都 要 经 历 从 简 到 繁 由 浅 入 深 的 过 程, 大 数 据 的 应 用 仍 然 遵 从 这 一 发 展 路 径 数 十 亿 用 户 在 互 联 网 上 的 处 处 留 痕 时 时 留 迹, 使 得 其 在 网 络 空 间 的 活 动 画 像 日 益 丰 满, 从 而 其 需 求 很 容 易 被 准 确 洞 察, 精 准 营 销 仍 为 大 数 据 最 具 产 业 规 模 的 领 域 围 绕 大 数 据 精 准 营 销 产 业 链, 互 联 网 金 融 电 信 新 媒 体 等 领 域 的 大 数 据 技 术 产 品 创 新 此 起 彼 伏, 应 用 广 度 不 断 拓 宽, 应 用 深 度 不 断 加 强 同 时, 电 网 交 通 医 卫 地 信 政 府 农 业 领 域 的 大 数 据 应 用 也 明 显 提 速 2.1 互 联 网 大 数 据 2.1.1 互 联 网 大 数 据 应 用 现 状 随 着 互 联 网 普 及 率 的 不 断 提 升 以 及 移 动 互 联 网 的 快 速 发 展, 互 联 网 应 用 的 发 展 趋 势 也 在 不 断 发 生 转 变, 发 展 重 心 从 广 泛 转 向 深 入, 对 大 众 生 活 的 改 变 从 点 到 面, 对 网 民 生 活 的 全 方 位 渗 透 程 度 进 一 步 增 加 互 联 网 应 用 的 深 入 发 展 产 生 了 海 量 的 大 数 据, 大 数 据 是 互 联 网 的 重 要 资 源, 也 是 互 联 网 商 业 模 式 的 核 心 价 值 所 在, 因 此, 大 数 据 理 论 和 技 术 在 互 联 网 应 用 中 起 到 至 关 重 要 的 作 用 互 联 网 应 用 的 多 样 性 导 致 其 涉 及 的 大 数 据 内 容 呈 现 不 同 的 特 点, 针 对 不 同 需 求 研 究 和 采 用 适 宜 的 大 数 据 技 术 能 够 获 得 更 好 的 互 联 网 应 用 和 服 务, 从 而 提 升 用 户 体 验, 带 动 互 联 网 的 整 体 发 展 根 据 中 国 互 联 网 络 信 息 中 心 2014 年 7 月 发 布 的 最 新 一 期 中 国 互 联 网 络 发 展 状 况 统 计 报 告, 互 联 网 应 用 主 要 分 为 四 类 : 商 务 交 易 类 应 用 信 息 获 取 类 应 用 交 流 沟 通 类 应 用 网 络 娱 乐 类 应 用 各 应 用 领 域 分 别 包 括 不 同 的 应 用 场 景, 其 中 绝 大 多 数 互 联 网 应 用 涉 及 大 数 据 相 关 技 术 特 定 互 联 网 应 用 具 有 其 固 有 特 点, 例 如, 增 长 率 较 高 的 与 支 付 相 关 的 商 务 交 易 类 应 用, 要 求 大 数 据 技 术 具 有 更 强 的 针 对 性 又 如, 移 动 互 联 网 的 快 速 发 展 使 数 据 本 身 发 生 了 变 化, 也 使 大 数 据 技 术 的 应 用 面 临 新 的 机 遇 和 挑 战 通 过 深 入 分 析

第 2 章 大 数 据 典 型 应 用 21 互 联 网 应 用 的 特 点, 不 断 改 进 和 完 善 大 数 据 技 术, 使 其 与 互 联 网 应 用 更 加 紧 密 地 结 合, 能 够 让 数 据 本 身 为 互 联 网 应 用 带 来 更 高 的 附 加 价 值 以 下 就 大 数 据 技 术 与 互 联 网 应 用 相 结 合 的 典 型 场 景 进 行 深 入 讨 论 2.1.2 大 数 据 应 用 于 互 联 网 商 务 交 易 截 至 2014 年 6 月, 我 国 网 络 购 物 用 户 规 模 达 到 3.32 亿, 网 上 支 付 是 用 户 规 模 增 长 速 度 最 快 的 商 务 类 应 用 网 络 购 物 用 户 规 模 的 增 长 除 了 得 益 于 商 务 部 政 策 和 新 消 费 者 权 益 保 护 法 等 对 于 电 子 商 务 市 场 的 规 范 活 动 之 外, 很 大 程 度 上 得 益 于 电 商 平 台 服 务 的 提 升, 尤 其 是 企 业 基 于 大 数 据 应 用 推 出 C2B 定 制 化 创 新 模 式, 更 好 地 匹 配 了 用 户 个 性 化 需 求, 实 现 精 准 销 售 在 互 联 网 时 代, 由 于 用 户 群 体 庞 大, 当 前 电 子 商 务 平 台 必 须 面 对 海 量 的 应 用 大 数 据 与 此 同 时, 用 户 提 出 了 越 来 越 强 的 信 息 过 滤 和 个 性 化 的 需 求 要 想 匹 配 用 户 个 性 化 需 求, 实 现 精 准 销 售, 需 要 借 助 大 数 据 技 术 在 海 量 数 据 中 提 取 精 准 信 息, 其 中 首 要 任 务 是 充 分 分 析 数 据 特 征 大 数 据 时 代, 随 着 人 们 的 生 活 全 面 向 互 联 网 和 移 动 互 联 网 转 移, 随 之 而 来 的 是 信 息 过 载 (information overload) 问 题, 大 量 信 息 位 于 所 谓 的 长 尾 区 域 从 电 子 商 务 的 角 度 来 看, 由 于 货 架 成 本 极 其 低 廉, 因 而 商 品 总 数 很 大 比 如 在 淘 宝 网 上, 每 天 在 线 的 货 品 超 过 8 亿 件 传 统 上 的 2/8 原 则 ( 即 80% 的 销 售 来 自 于 20% 的 热 门 商 品 ) 受 到 了 挑 战 虽 然 绝 大 部 分 商 品 不 热 门, 甚 至 得 不 到 曝 光 的 机 会, 但 它 们 的 数 量 极 其 庞 大, 因 此 这 些 长 尾 商 品 的 总 销 售 额 将 是 一 个 不 容 忽 视 的 数 字 从 用 户 需 求 的 角 度 来 说, 这 部 分 具 有 特 异 性 的 商 品 往 往 对 应 他 们 的 个 性 化 需 求 智 能 推 荐 系 统 是 商 务 交 易 类 互 联 网 应 用 中 典 型 的 大 数 据 应 用 实 例, 其 目 标 是 通 过 发 掘 用 户 行 为, 找 到 用 户 的 个 性 化 需 求, 帮 助 用 户 发 现 那 些 感 兴 趣 但 很 难 发 现 的 信 息 它 以 大 数 据 为 基 础, 应 用 个 性 化 技 术, 帮 助 用 户 从 海 量 信 息 中 筛 取 所 需 信 息 当 用 户 需 求 明 确 的 时 候, 他 们 会 进 行 搜 索 ; 而 当 用 户 需 求 不 明 确 的 时 候, 则 需 要 推 荐 相 比 于 广 告 系 统 直 接 提 高 收 益 的 目 标, 推 荐 系 统 是 在 满 足 用 户 体 验 的 基 础 上 间 接 创 造 价 值 推 荐 系 统 的 应 用 场 景 主 要 有 三 个 : 第 一 个 是 根 据 物 品 推 荐 物 品, 典 型 的 例 子 是 在 电 商 网 站 上 推 荐 已 购 买 过 的 商 品 ; 第 二 个 场 景 是 为 用 户 推 荐 物 品, 最 典 型 的 是 个 性 化 邮 件 过 滤 和 基 于 浏 览 历 史 的 推 荐 ; 第 三 个 场 景 是 为 用 户 推 荐 用 户, 像 社 交 网 站 上 的 好 友 推 荐 和 电 商 网 站 上 的 跟 您 相 似 的 顾 客 等 都 属 于 此 类 大 数 据 技 术 在 智 能 推 荐 系 统 等 相 关 商 务 交 易 类 互 联 网 应 用 中 以 不 同 的 形 式 发 挥 作

22 中 国 大 数 据 技 术 与 产 业 发 展 报 告 (2014) 用, 按 照 其 所 基 于 的 数 据 类 型 可 以 分 为 三 大 类, 分 别 是 基 于 内 容 的 方 法 基 于 协 同 过 滤 的 方 法 和 组 合 方 法, 特 点 如 下 基 于 内 容 的 方 法 处 理 对 象 包 括 用 户 和 物 品 信 息, 对 数 据 进 行 特 征 化 表 述, 并 收 集 用 户 是 否 选 择 过 某 个 物 品 的 数 据, 把 推 荐 问 题 转 化 为 分 类 问 题 基 于 内 容 的 方 法 简 单 且 直 接, 适 合 处 理 冷 启 动 问 题 基 于 协 同 过 滤 的 方 法 基 于 用 户 行 为 分 析 的 推 荐 算 法, 用 户 通 过 协 作, 即 不 断 地 和 网 站 互 动, 使 推 荐 列 表 不 断 过 滤 掉 自 己 不 感 兴 趣 的 物 品, 从 而 越 来 越 满 足 自 己 的 需 求 协 同 过 滤 类 推 荐 方 法 的 适 用 性 较 广, 更 倾 向 于 推 荐 比 较 流 行 的 物 品, 较 难 实 现 推 荐 的 多 样 性 组 合 方 法 同 时 实 现 两 个 或 者 多 个 不 同 的 方 法 并 组 合 最 终 结 果 大 数 据 技 术 在 互 联 网 商 务 交 易 领 域 应 用 十 分 广 泛, 在 智 能 推 荐 系 统 等 重 要 应 用 中 起 着 至 关 重 要 的 作 用 但 是 必 须 指 出 的 是, 互 联 网 商 务 交 易 中 大 数 据 处 理 仍 然 存 在 一 定 的 挑 战, 主 要 体 现 在 以 下 几 个 方 面 : 数 据 稀 疏 性 问 题 由 于 互 联 网 应 用 中 有 效 数 据 所 占 比 例 较 低, 因 此 在 极 端 不 均 衡 数 据 上 会 出 现 参 数 抖 动 严 重 等 情 况 数 据 规 模 问 题 在 很 多 应 用 场 景 中, 有 千 万 级 的 用 户 和 百 万 级 别 的 物 品, 用 户 / 物 品 关 联 矩 阵 达 到 百 亿 甚 至 十 万 亿 的 规 模, 对 于 大 数 据 存 储 处 理 和 计 算 是 很 大 的 挑 战 冷 启 动 问 题 这 一 类 问 题 没 有 固 定 的 解 决 方 案, 需 要 针 对 不 同 的 应 用 场 景 提 出 不 同 思 路 评 估 的 多 标 准 问 题 数 据 评 估 标 准 有 很 多, 包 括 精 准 性 覆 盖 率 等 定 量 指 标 和 实 效 性 健 壮 性 等 定 性 指 标, 需 要 根 据 应 用 场 景 制 定 大 数 据 处 理 原 则, 通 过 合 适 的 技 术 构 建 系 统 并 完 成 评 估 2.1.3 大 数 据 应 用 于 互 联 网 信 息 获 取 搜 索 引 擎 是 最 主 要 的 互 联 网 信 息 获 取 类 应 用, 截 至 2014 年 6 月, 我 国 搜 索 引 擎 用 户 规 模 达 5.07 亿, 使 用 率 为 80.3% 2014 年 上 半 年, 搜 索 引 擎 创 新 技 术 的 实 际 应 用 取 得 了 一 定 进 展, 企 业 基 于 语 义 搜 索 与 知 识 图 谱 技 术, 整 合 社 交 视 频 旅 游 软 件 应 用 下 载 等 多 类 信 息, 开 发 并 上 线 新 的 搜 索 产 品 搜 索 引 擎 在 PC 端 及 移 动 端 均 形 成 了 以 搜 索 产 品 为 核 心, 集 地 图 娱 乐 购 物 社 交 本 地 生 活 服 务 等 应 用 为 一 体 的 搜 索 服 务, 提 升 了 用 户 体 验 和 使 用 黏 性

第 2 章 大 数 据 典 型 应 用 23 搜 索 引 擎 天 生 就 是 一 个 大 数 据 系 统, 互 联 网 产 生 了 海 量 数 据, 如 何 从 中 找 到 需 要 的 信 息 就 是 一 个 大 数 据 的 命 题 同 时, 利 用 大 数 据 理 论 和 技 术, 通 过 对 网 民 搜 索 内 容 习 惯 爱 好 行 为 关 键 词 等 的 深 入 分 析, 可 为 网 站 的 建 设 和 搜 索 引 擎 技 术 的 改 进 等 提 供 依 据 搜 索 引 擎 的 诞 生 从 一 定 程 度 上 满 足 了 用 户 在 海 量 互 联 网 数 据 中 查 找 信 息 的 需 求, 但 还 存 在 很 大 的 可 优 化 空 间 传 统 的 搜 索 引 擎 根 据 查 询 词 返 回 相 关 网 页 链 接, 还 需 要 用 户 自 己 阅 读 大 量 网 页 内 容 才 可 获 得 所 需 信 息, 对 于 手 机 等 移 动 终 端 用 户 而 言 很 不 方 便 为 了 克 服 传 统 搜 索 引 擎 的 弊 端, 人 们 正 尝 试 探 索 更 高 效 更 人 性 化 的 搜 索 引 擎 技 术, 如 直 接 搜 索 或 知 识 图 谱 搜 索 直 接 搜 索 是 指 提 问 或 输 入 关 键 词 后 系 统 直 接 提 供 答 案, 而 不 是 包 含 答 案 信 息 的 链 接 或 相 关 文 档 系 统 自 动 完 成 答 案 抽 取, 帮 助 用 户 快 速 定 位 所 需 信 息, 从 而 可 节 省 用 户 阅 读 大 量 网 页 或 文 档 的 时 间 知 识 图 谱 则 是 展 现 搜 索 词 相 关 知 识, 通 过 结 构 化 的 方 式 予 以 呈 现, 让 用 户 可 以 快 速 全 面 地 了 解 相 关 信 息, 增 强 使 用 体 验 为 了 达 到 这 一 目 的, 首 先 需 要 理 解 用 户 查 询 的 问 题, 同 时 要 了 解 问 题 所 对 应 的 答 案 答 案 需 要 从 海 量 垂 直 网 站 或 者 用 户 搜 索 词 中 挖 掘, 挖 掘 方 法 包 括 基 于 半 监 督 学 习 的 新 词 及 专 名 挖 掘 面 向 垂 直 领 域 定 向 抽 取 的 三 元 组 挖 掘 基 于 用 户 行 为 日 志 数 据 的 实 体 关 联 挖 掘 和 基 于 搜 索 引 擎 的 实 体 语 义 标 签 挖 掘 等 抓 取 并 索 引 的 网 页 数 量 是 衡 量 搜 索 引 擎 质 量 的 重 要 因 素 之 一 如 今, 百 度 必 应 谷 歌 等 主 流 搜 索 引 擎 都 要 抓 取 数 以 千 亿 计 的 网 页, 同 时 索 引 数 百 亿 的 网 页, 以 提 供 良 好 的 搜 索 服 务 为 了 处 理 如 此 巨 量 的 数 据,MapReduce Hadoop 等 大 规 模 数 据 处 理 系 统 应 运 而 生, 利 用 这 些 系 统, 搜 索 引 擎 公 司 就 能 高 效 地 计 算 网 页 的 各 项 特 征, 为 索 引 数 十 亿 计 的 网 页 打 下 基 础 此 外, 在 线 系 统 也 已 演 化 为 高 度 并 行 的 容 错 系 统, 以 保 证 在 有 上 百 万 用 户 同 时 使 用 的 情 况 下, 搜 索 引 擎 仍 可 在 1 秒 内 为 绝 大 多 数 查 询 返 回 结 果 为 了 进 一 步 提 高 搜 索 效 果, 搜 索 引 擎 越 来 越 多 地 引 入 自 然 语 言 处 理 技 术 和 知 识 库 技 术 和 传 统 方 法 相 比, 这 些 技 术 更 加 复 杂 计 算 量 更 高, 因 此 要 求 大 数 据 系 统 提 供 更 高 的 计 算 能 力 改 造 大 数 据 系 统 的 途 径 有 很 多, 例 如, 进 一 步 增 加 系 统 中 节 点 的 数 量 充 分 利 用 CPU 的 多 核 能 力 利 用 显 卡 的 运 算 能 力, 甚 至 直 接 使 用 FPGA 执 行 定 制 化 的 处 理 算 法 等 另 一 方 面, 进 一 步 理 解 查 询 和 用 户 意 图 / 兴 趣 变 得 越 来 越 重 要 与 理 解 网 页 不 同 的 是, 利 用 查 询 历 史 理 解 查 询 和 用 户 意 图 / 兴 趣 常 常 需 要 用 到 基 于 图 和 矩 阵 的 算 法, 这 些 算 法 和 MapReduce 式 的 计 算 框 架 并 不 完 全 契 合, 因 此 需 要 研 究 新 的 计 算 框 架, 以 便 提 供 支 持