( 三 ) 我 国 发 展 大 数 据 产 业 发 展 的 建 议 以 大 数 据 供 需 两 端 ( 数 据 源 和 应 用 环 节 ) 为 抓 手 实 现 重 点 突 破, 大 力 推 动 全 社 会 的 数 据 开 放, 尤 其 是 政 府 数 据 的 开 放, 力 争 在 短 期 内 降 低

Transcription

1 大 数 据 产 业 调 研 及 分 析 报 告 数 据 堂 ( 北 京 ) 科 技 股 份 有 限 公 司 大 数 据 的 出 现, 引 发 了 全 球 范 围 内 深 刻 的 技 术 与 商 业 变 革, 已 经 成 为 全 球 发 展 的 趋 势 以 及 国 家 和 企 业 间 的 竞 争 焦 点, 直 接 关 系 到 国 家 安 全 社 会 稳 定 经 济 发 展 和 民 生 幸 福 等 诸 多 方 面 对 于 中 国 而 言, 在 经 历 了 30 多 年 的 高 速 发 展 之 后, 各 种 严 峻 问 题 也 伴 随 而 生, 包 括 产 业 升 级 社 会 稳 定 环 境 保 护 医 疗 健 康 和 食 品 安 全 等 方 面 的 挑 战 因 此, 亟 需 将 大 数 据 的 发 展 提 升 到 战 略 高 度, 以 此 为 契 机, 通 过 各 种 创 新 和 探 索, 推 动 产 业 升 级 和 创 新 经 济 转 型 和 民 生 建 设 本 报 告 主 要 以 启 发 性 和 独 创 性 为 主 线, 选 择 国 内 外 最 具 典 型 意 义 的 案 例 进 行 描 述, 尽 可 能 地 从 数 据 源 分 析 方 法 和 价 值 实 现 等 角 度 体 现 出 大 数 据 的 真 正 内 涵, 并 对 我 国 大 数 据 产 业 的 发 展 提 出 相 应 的 建 议 ( 一 ) 全 球 及 我 国 大 数 据 产 业 链 论 述 当 前, 大 数 据 在 政 府 决 策 交 通 物 流 金 融 广 告 电 信 医 疗 娱 乐 和 农 业 等 领 域 的 应 用 蓬 勃 发 展, 据 IDC 预 测, 全 球 大 数 据 市 场 规 模 年 增 长 率 达 40%, 在 2017 年 将 达 530 亿 美 元 本 报 告 以 大 数 据 产 业 链 划 分 ( 彭 博 ) 为 框 架, 对 国 内 外 大 数 据 产 业 链 条 进 行 了 全 面 梳 理, 其 中 收 录 了 近 300 余 家 国 内 大 数 据 企 业 和 应 用 ( 二 ) 我 国 大 数 据 产 业 现 状 分 析 绝 大 部 分 拥 有 数 据 的 企 业 都 在 分 析 挖 掘 的 基 础 上 对 外 提 供 服 务 ; 垂 直 领 域 内 的 数 据 链 条 在 孕 育 和 发 展, 但 是 在 所 有 纯 数 据 源 企 业 或 平 台, 只 有 不 到 8% 在 开 展 数 据 的 租 售 业 务 ; 政 府 / 公 共 服 务 农 业 和 医 疗 健 康 领 域 的 应 用 案 例 相 对 缺 乏 另 一 方 面, 在 政 府 / 公 共 服 务 农 业 和 医 疗 健 康 领 域 的 应 用 案 例 相 对 缺 乏, 尤 其 是 政 府 和 公 共 服 务 事 业 单 位 沉 淀 的 海 量 数 据 未 能 与 广 大 传 统 行 业 的 需 求 形 成 对 接

2 ( 三 ) 我 国 发 展 大 数 据 产 业 发 展 的 建 议 以 大 数 据 供 需 两 端 ( 数 据 源 和 应 用 环 节 ) 为 抓 手 实 现 重 点 突 破, 大 力 推 动 全 社 会 的 数 据 开 放, 尤 其 是 政 府 数 据 的 开 放, 力 争 在 短 期 内 降 低 全 社 会 的 数 据 获 取 成 本 并 起 到 显 著 的 社 会 示 范 效 应 我 国 幅 员 辽 阔 人 口 众 多, 交 通 医 疗 金 融 及 农 业 等 事 关 国 计 民 生 的 领 域 汇 集 了 海 量 的 人 口 个 体 行 为 和 环 境 数 据, 通 过 人 工 智 能 技 术 的 应 用 可 以 极 大 带 动 政 府 决 策 公 共 服 务 和 传 统 行 业 的 发 展, 同 时 培 育 数 据 银 行 和 众 包 平 台 等 产 业 模 式 的 创 新

3 目 录 ( 一 ) 大 数 据 综 述 大 数 据 概 念 溯 源 大 数 据 产 业 的 战 略 意 义... 9 ( 二 ) 全 球 大 数 据 产 业 分 析 数 据 源 (Data sources) 模 式 创 新 数 据 银 行 众 包 模 式 基 础 架 构 (Infrastructure) 跨 平 台 (Cross infrastructure) 开 源 (Open source) 分 析 (Analytics) 可 视 化 应 用 (Application) 影 视 / 娱 乐 交 通 / 物 流 医 疗 健 康 金 融 互 联 网 金 融 电 信 业 人 力 资 源 零 售 广 告 农 业 企 业 应 用 能 源 政 府 决 策 与 公 共 服 务 ( 三 ) 我 国 大 数 据 产 业 分 析 数 据 源 基 础 架 构 分 析 应 用 医 疗 / 健 康 电 子 商 务 语 音 服 务 广 告 营 销 金 融... 71

4 3.4.6 影 视 / 娱 乐 在 线 教 育 人 力 资 源 旅 游 地 理 信 息 服 务 交 通 / 物 流 农 业 房 地 产 企 业 应 用 ( 四 ) 我 国 大 数 据 产 业 发 展 策 略 现 状 分 析 趋 势 分 析 各 国 推 动 大 数 据 发 展 的 案 例 我 国 大 数 据 产 业 发 展 建 议 从 数 据 源 和 应 用 环 节 入 手 积 极 推 动 数 据 开 放 数 据 开 放 的 意 义 政 府 数 据 开 放 的 意 义 注 重 应 用 和 模 式 的 创 新 社 会 治 理 智 能 交 通 / 物 流 智 能 电 网 智 慧 医 疗 互 联 网 金 融 智 慧 农 业 人 工 智 能 技 术 商 业 化 数 据 银 行 众 包 模 式 海 淀 区 大 数 据 产 业 发 展 策 略 海 淀 区 大 数 据 产 业 现 状 海 淀 大 数 据 产 业 发 展 建 议 推 动 数 据 开 放 流 通 孵 化 大 数 据 技 术 创 新 附 录 : 大 数 据 企 业 名 录

5 ( 一 ) 大 数 据 综 述 1.1 大 数 据 概 念 溯 源 数 据 来 自 一 切 客 观 存 在, 包 括 宏 观 到 微 观 的 物 理 世 界, 各 种 生 物 体, 人 类 社 会 活 动, 人 类 感 知 认 识 和 思 维 的 结 果 随 着 信 息 技 术 的 发 展, 当 前 通 常 所 说 的 数 据 是 指 经 过 数 字 化 转 换 后 的 信 息, 是 可 被 量 化 分 析 和 再 利 用 的 信 息, 包 括 数 值 文 字 符 号 音 频 视 频 等 形 态 对 数 据 的 分 析 并 非 新 鲜 事 物 交 通 规 划 宏 观 经 济 分 析 电 力 系 统 规 划 气 象 预 测 高 能 物 理 航 空 航 天 基 因 工 程 等 大 规 模 数 据 的 分 析 和 计 算 早 已 在 人 类 生 产 生 活 中 发 挥 着 关 键 的 作 用 1970 年 哈 佛 大 学 关 于 资 源 三 角 形 的 论 述 中, 将 材 料 能 源 信 息 看 成 是 推 动 社 会 发 展 的 三 种 基 本 资 源 因 此, 传 统 的 商 业 智 能 和 数 据 库 厂 商 得 以 出 现 并 获 得 快 速 发 展 而 大 数 据 概 念 的 出 现, 是 以 信 息 技 术 的 发 展 和 应 用 为 主 线 的 : 数 据 规 模 和 类 型 的 剧 变 互 联 网 和 移 动 互 联 网 的 发 展 传 感 技 术 的 广 泛 应 用, 使 得 数 据 的 规 模 和 种 类 急 剧 增 长 数 据 类 型 不 仅 包 含 关 系 型 数 据, 还 出 现 了 大 量 的 日 志 文 本 图 片 音 频 和 传 感 器 非 结 构 化 和 半 结 构 化 数 据 数 据 呈 指 数 级 增 长 态 势, 据 麦 肯 锡 全 球 研 究 院 (MGI) 预 测,2020 年 产 生 的 数 据 量 将 是 2009 年 的 倍, 接 近 35ZB( 1ZB=10 Byte) 数 据 存 储 成 本 下 降 单 位 信 息 存 储 成 本 的 下 降, 使 得 对 海 量 数 据

6 的 分 布 式 存 储 技 术 难 度 降 低 30 年 前,1TB 存 储 的 成 本 大 约 是 16 亿 美 元, 如 今 通 过 云 存 储 服 务 所 需 不 到 100 美 元 大 规 模 数 据 处 理 成 为 可 能 计 算 能 力 不 断 发 展 对 非 结 构 化 数 据 处 理 和 分 析 方 法 的 逐 渐 成 熟 MapReduce 模 型 以 及 云 计 算 模 式 的 出 现, 使 大 规 模 数 据 处 理 的 成 本 和 技 术 门 槛 大 为 降 低 数 据 的 采 集 更 为 密 集 和 广 泛 人 类 活 动 和 自 然 环 境 的 各 类 数 据 被 广 泛 地 采 集 和 记 录, 其 中 蕴 含 的 信 息 和 知 识 可 以 极 大 推 动 人 类 社 会 的 发 展 据 预 测,2020 年 物 联 网 传 感 器 的 数 量 将 达 到 500 亿 个 数 据 分 析 应 用 的 发 展 Google( 海 量 数 据 的 分 析 利 用 ) 和 沃 尔 玛 公 司 ( 啤 酒 与 尿 布 的 关 联 销 售 ) 的 数 据 分 析 经 典 案 例 给 业 界 带 来 的 冲 击 以 上 因 素, 使 得 学 术 界 和 企 业 界 开 始 思 考 新 时 代 下 数 据 分 析 所 能 带 来 的 巨 大 价 值, 所 谓 大 数 据 的 概 念 得 以 引 爆 并 且 逐 渐 为 人 所 熟 知 : 自 然 杂 志 在 2008 年 9 月 推 出 了 名 为 大 数 据 的 封 面 专 栏, 讲 述 了 数 据 在 数 学 物 理 生 物 工 程 及 社 会 经 济 等 多 学 科 扮 演 的 愈 加 重 要 的 角 色 ; 科 学 杂 志 2011 年 推 出 大 数 据 专 刊, 将 大 数 据 深 度 分 析 看 成 未 来 研 究 的 突 破 点 ; 2011 年 6 月, 麦 肯 锡 发 布 研 究 报 告 大 数 据 : 下 一 个 创 新 竞 争 和 生 产 力 的 前 沿 领 域, 研 究 了 当 下 全 球 数 据 的 状 态, 并 阐 述 了 挖 掘 这 些 数 据 能 够 释 放 出 的 潜 在 价 值

7 对 于 大 数 据 的 概 念, 至 今 没 有 一 个 为 业 界 所 广 泛 接 受 的 明 确 定 义 各 界 纷 纷 给 出 了 关 于 大 数 据 概 念 的 描 述 : 麦 肯 锡 : 大 数 据 是 指 其 大 小 超 出 了 典 型 数 据 库 软 件 的 采 集 储 存 管 理 和 分 析 等 能 力 的 数 据 集 ; 维 基 百 科 : 无 法 在 一 定 时 间 内 用 常 规 软 件 工 具 对 其 内 容 进 行 抓 取 管 理 和 处 理 的 大 量 而 复 杂 的 数 据 集 合 ; Gartner: 体 量 大 快 速 和 多 样 化 的 信 息 资 产, 需 用 高 效 率 和 创 新 型 的 信 息 技 术 加 以 处 理, 以 提 高 发 现 洞 察 做 出 决 策 和 优 化 流 程 的 能 力 Forrester: 大 数 据 本 质 在 于 数 据 存 储 处 理 和 访 问 的 流 程 与 业 务 目 标 的 集 成 在 以 上 定 义 中, 更 具 高 度 的 是 Gartner 和 Forrester 的 定 义, 不 再 局 限 于 数 据 本 身 进 行 描 述, 而 是 将 大 数 据 概 念 提 升 到 了 数 据 价 值 实 现 的 层 面 数 据 价 值 的 实 现 来 自 于 对 数 据 的 分 析,Teradata 和 波 士 顿 咨 询 (BCG) 以 此 为 主 线, 直 观 地 阐 明 了 传 统 数 据 分 析 向 大 数 据 时 代 演 进 的 历 程 :

8 图. 数 据 分 析 演 进 历 程 (Teradata) 作 为 一 个 超 越 具 体 技 术 和 业 务 领 域 的 词 汇, 追 求 对 大 数 据 的 准 确 定 义 是 没 有 意 义 的 更 具 现 实 意 义 的 是 理 解 大 数 据 所 带 来 的 数 据 分 析 模 式 的 演 变, 即 引 入 更 为 丰 富 的 数 据 源, 对 海 量 异 构 数 据 进 行 快 速 的 处 理 和 分 析, 进 而 挖 掘 出 传 统 数 据 分 析 方 法 所 无 法 获 得 的 信 息 和 知 识 在 具 体 的 分 析 思 路 上, 大 数 据 不 再 追 求 用 尽 可 能 少 的 数 据 来 构 建 模 型, 而 是 尽 可 能 追 求 数 据 的 全 面 性, 同 时 在 不 放 弃 因 果 性 探 索 的 基 础 上 强 调 了 对 数 据 之 间 相 关 性 的 重 视 随 着 大 数 据 分 析 在 互 联 网 和 零 售 业 等 行 业 中 的 经 典 应 用 案 例 不 断 涌 现, 越 来 越 多 的 政 府 企 业 和 研 究 机 构 开 始 意 识 到 数 据 的 资 产 属 性, 数 据 分 析 能 力 正 在 成 为 未 来 的 核 心 竞 争 力 而 大 数 据 不 但 能 够 带 动 信 息 产 业 本 身 的 发 展, 更 能 在 人 类 生 产 生 活 的 各 个 方 面 引 发 深 刻 的 技 术 与 商 业 变 革, 本 报 告 将 在 后 续 部 分 展 开 对 于 大 数 据 应 用 场 景 的 论 述

9 1.2 大 数 据 产 业 的 战 略 意 义 上 个 世 纪 信 息 科 技 的 迅 猛 发 展 导 致 了 人 类 生 产 生 活 模 式 的 电 子 化 和 数 字 化, 其 主 要 作 用 在 于 效 率 的 提 升, 而 在 大 数 据 时 代, 关 注 的 重 点 逐 渐 转 移 到 数 据 本 身, 人 类 寄 希 望 于 从 海 量 的 各 种 数 据 中 萃 取 具 有 真 正 价 值 的 信 息 和 知 识, 并 形 成 对 未 来 发 展 的 准 确 的 预 测 大 数 据 的 出 现, 引 发 了 全 球 范 围 内 深 刻 的 技 术 与 商 业 变 革, 已 经 成 为 全 球 发 展 的 趋 势, 国 家 和 企 业 间 的 竞 争 焦 点 正 从 资 本 土 地 人 口 能 源 转 向 数 据 资 源 一 个 国 家 拥 有 数 据 的 规 模 和 运 用 数 据 的 能 力 将 成 为 综 合 国 力 的 重 要 组 成 部 分, 直 接 影 响 到 国 家 安 全 社 会 稳 定 经 济 发 展 和 民 生 幸 福 等 诸 多 方 面 大 数 据 引 发 巨 大 社 会 和 经 济 变 革 的 潜 力, 得 到 了 各 国 政 府 全 球 学 术 界 和 工 业 界 的 高 度 关 注 和 重 视 美 国 日 本 以 及 欧 洲 一 些 发 达 国 家 政 府 都 从 国 家 战 略 层 面 提 出 了 一 系 列 的 大 数 据 发 展 计 划, 以 推 动 全 社 会 对 大 数 据 技 术 和 应 用 的 探 索 和 研 究 对 于 中 国 而 言, 在 经 历 了 30 多 年 的 高 速 发 展 之 后, 各 种 严 峻 问 题 也 伴 随 而 生, 包 括 产 业 升 级 社 会 稳 定 环 境 保 护 医 疗 健 康 和 食 品 安 全 等 方 面 的 挑 战 因 此, 亟 需 将 大 数 据 的 发 展 提 升 到 战 略 高 度, 以 此 为 契 机, 通 过 各 种 创 新 和 探 索, 推 动 产 业 升 级 和 创 新 经 济 转 型 和 民 生 建 设 我 国 的 大 数 据 发 展 不 仅 是 时 代 的 需 要, 更 有 着 得 天 独 厚 的 基 础 优 势 我 国 庞 大 的 人 口 和 经 济 规 模 为 大 数 据 发 展 提 供 了 肥 沃 的 土 壤, 也 为 理 念 技 术 和 模 式 的 创 新 提 供 了 无 限 的 可 能 性 可 见, 大 力 发 展 大 数 据 产 业, 主 动 掌 握 新 一 代 信 息 技 术 产 业 发 展 的 主 动 权, 推 动 整 个 国

10 家 和 社 会 的 良 性 可 持 续 发 展, 是 以 大 数 据 为 代 表 的 第 三 次 产 业 革 命 带 给 我 国 的 历 史 契 机

11 ( 二 ) 全 球 大 数 据 产 业 分 析 大 数 据 涵 盖 数 据 从 产 生 到 最 终 被 分 析 利 用 的 各 个 环 节, 其 中 所 涉 及 的 相 关 技 术 都 可 以 被 称 为 大 数 据 技 术, 而 对 数 据 施 加 影 响 的 各 方 则 共 同 构 成 了 大 数 据 产 业 链 根 据 IDC 的 报 告 显 示, 全 球 大 数 据 市 场 规 模 年 增 长 率 达 40%, 在 2017 年 将 达 530 亿 美 元 其 中, 大 数 据 技 术 及 服 务 市 场 复 合 年 增 长 率 (CAGR) 将 达 31.7%,2016 年 收 入 将 达 238 亿 美 元, 其 增 速 约 为 信 息 通 信 技 术 (ICT) 市 场 整 体 增 速 的 七 倍 之 多 当 前 各 界 对 大 数 据 产 业 链 的 划 分 有 诸 多 版 本, 其 中 逻 辑 相 对 清 晰 的 刻 画 来 自 于 彭 博 发 布 的 研 究 报 告, 将 大 数 据 产 业 分 为 六 大 区 块, 包 括 数 据 源 类 基 础 设 施 类 分 析 类 应 用 类 跨 基 础 设 施 类 和 开 源 项 目 类 本 报 告 依 据 此 划 分 进 行 阐 述, 但 所 引 述 的 大 数 据 应 用 和 探 索 案 例 并 不 限 于 彭 博 的 报 告 内 容, 在 地 域 上 也 不 局 限 于 北 美 地 区 大 数 据 的 定 义 没 有 明 确 的 限 定 和 边 界, 能 够 归 入 大 数 据 范 畴 的 案 例 数 不 胜 数, 本 文 主 要 以 启 发 性 和 独 创 性 为 主 线, 选 择 最 具 典 型 意 义 的 案 例 进 行 描 述, 希 望 尽 可 能 地 从 数 据 源 分 析 方 法 和 价 值 实 现 等 角 度 体 现 出 大 数 据 的 真 正 内 涵

12 图. 大 数 据 产 业 链 分 布 ( 彭 博 ) 2.1 数 据 源 (Data sources) 本 区 块 内 的 企 业 基 于 自 身 业 务 产 生 或 采 集 了 大 量 数 据, 并 通 过 租 售 等 方 式 直 接 对 外 交 付 数 据, 还 包 括 纯 粹 提 供 数 据 交 易 平 台 的 企 业 判 断 企 业 是 否 属 于 数 据 源 的 关 键 在 于, 这 类 企 业 的 客 户 还 需 要 对 所 获 得 的 数 据 进 行 分 析 和 挖 掘 才 能 对 决 策 形 成 真 正 的 支 持 大 数 据 与 传 统 数 据 分 析 理 念 的 一 大 区 别 就 在 于 强 调 数 据 的 外 部 性, 即 数 据 离 开 了 其 产 生 和 消 费 的 传 统 路 径, 为 其 他 行 业 或 领 域 所 用 数 据 外 部 性 的 典 型 场 景 包 括 : 电 信 运 营 商 和 政 府 合 作, 可 以 在 交 通 运 输 市 政 规 划 和 人 口 统 计 等 方 面 发 挥 作 用 ; 金 融 数 据 和 电 商 数 据 结 合, 可 以 用 于 诸 如 小 微 贷 款 一 类 的 金 融 产 品 和 服 务 ; 物 流 数 据 和 电 商 数 据 相

13 结 合, 可 以 勾 勒 出 经 济 领 域 的 宏 观 和 微 观 运 行 情 况 ; 农 业 和 气 象 数 据 应 用 到 金 融 领 域, 可 以 为 农 业 保 险 和 理 赔 提 供 高 价 值 的 信 息 ; 遥 感 卫 星 数 据 与 耕 地 抽 样 数 据 相 结 合, 可 以 打 破 传 统 的 统 计 路 径, 实 现 更 为 客 观 的 粮 食 产 量 统 计 ; 电 表 数 据 可 供 房 地 产 行 业 进 行 空 置 率 的 估 算 数 据 源 类 企 业 就 是 实 现 数 据 外 部 性 的 基 础 渠 道, 在 对 各 类 数 据 进 行 采 集 和 整 合 之 后, 提 供 给 各 行 各 业 进 行 目 的 和 方 法 各 不 相 同 的 分 析 和 挖 掘, 使 数 据 的 价 值 得 以 充 分 实 现 比 如 Bluekai 公 司 收 集 和 销 售 的 用 户 数 据 包 括 : 图.Bluekai 公 司 售 卖 的 数 据 总 体 而 言, 数 据 源 区 块 内 的 企 业 可 分 为 数 据 交 易 产 生 采 集 和 聚 合 几 大 类 : 彭 博 社 (Bloomberg) 和 路 透 社 (Thomson Reuters) 采 集 并 整 合 金 融 相 关 数 据, 然 后 提 供 给 金 融 机 构 安 客 诚 (Acxiom) 通 过 聚 合 超 市 药 店 专 卖 店 等 企 业 的 客 户 数

14 据, 经 过 加 工 之 后 转 卖 给 所 需 的 企 业 BlueKai Lotame RapLeaf 等 企 业 搜 集 并 出 售 客 户 的 上 网 行 为 数 据, 主 要 提 供 给 广 告 业 客 户 AggData 和 Datafiniti 定 位 为 数 据 的 聚 合 者, 将 来 自 网 络 的 不 同 来 源 的 数 据 聚 合 在 一 起, 并 提 供 下 载 服 务 Opera solutions, 本 身 不 拥 有 数 据, 而 是 通 过 购 买 或 搜 集 用 户 的 行 为 信 息 ( 如 征 信 数 据 医 疗 就 诊 记 录 等 ), 再 销 售 给 所 需 的 企 业 Factual 定 位 于 各 类 数 据 的 交 易 平 台, 尤 其 是 地 理 位 置 相 关 的 数 据 集 InfoChimps 定 位 于 各 类 数 据 的 交 易 平 台, 尤 其 是 地 理 位 置 社 交 网 络 网 络 信 息 等 方 面 的 数 据 Datamarket 为 客 户 提 供 国 民 经 济 与 工 业 相 关 的 数 据 集 Yodlee 聚 合 并 提 供 私 人 银 行 财 务 数 据 SureScripts 主 要 采 集 医 院 的 处 方 数 据 Sermo.com 为 提 供 分 享 医 疗 见 解 的 平 台, 通 过 收 费 模 式 允 许 医 药 公 司 访 问 数 据 Moovit 通 过 众 包 方 式 采 集 公 共 交 通 信 息, 包 括 负 载 信 息 和 公 交 车 准 点 信 息 租 车 公 司 Zipcar 通 过 车 辆 内 置 系 统, 采 集 乘 车 人 和 车 辆 本 身 的 数 据 旅 游 网 站 Tripadvisor, 提 供 平 台 供 用 户 发 布 自 己 对 景 点 饭 店 和 酒 店 的 评 论, 形 成 了 一 个 高 价 值 的 旅 游 相 关 产 业 数 据 源

15 Truecaller, 通 过 读 取 用 户 手 机 上 的 通 讯 簿, 采 集 全 球 的 电 话 号 码, 并 与 相 应 的 社 交 媒 体 关 联, 为 用 户 提 供 联 系 信 息 搜 索 服 务 模 式 创 新 数 据 银 行 在 大 数 据 时 代, 数 据 已 经 成 为 一 种 资 产, 企 业 组 织 和 个 人 开 始 普 遍 认 知 到 自 身 所 拥 有 数 据 的 外 部 价 值, 数 据 价 值 挖 潜 的 概 念 在 全 社 会 发 酵 与 金 融 资 产 类 似, 数 据 资 产 的 供 给 和 需 求 方 分 别 对 数 据 资 产 存 在 着 管 理 和 融 资 的 需 求, 因 此 在 大 数 据 产 业 链 的 数 据 源 区 块, 孕 育 着 一 种 类 似 银 行 性 质 的 产 业 形 态, 即 数 据 银 行 从 融 资 角 度 看, 数 据 银 行 的 本 质 在 于 实 现 数 据 供 需 的 对 接, 为 数 据 所 有 者 找 到 数 据 资 产 价 值 变 现 的 出 口, 同 时 使 需 求 方 获 得 自 身 业 务 发 展 所 需 的 数 据 资 源 与 传 统 银 行 或 交 易 平 台 不 同 的 是, 数 据 银 行 并 不 是 简 单 地 对 供 需 进 行 对 接 和 撮 合 : 数 据 资 产 类 型 各 异, 没 有 统 一 的 形 式 和 度 量, 数 据 银 行 必 须 积 极 从 多 个 源 头 引 入 资 源, 以 专 业 的 知 识 和 技 能 建 立 原 始 数 据 和 最 终 应 用 之 间 的 通 路, 让 数 据 需 求 方 可 以 顺 利 以 市 场 化 的 手 段 获 得 所 需 的 数 据 资 源 从 资 产 管 理 的 角 度 看, 数 据 银 行 的 本 质 在 于 为 数 据 资 源 的 价 值 体 现 提 供 便 利 传 统 银 行 所 管 理 的 金 融 资 产, 其 形 态 和 内 容 已 经 为 资 产 供 需 双 方 所 普 遍 理 解, 而 数 据 资 产 尤 其 是 原 始 数 据 的 价 值 需 要 通 过 各 种 手 段 主 动 挖 掘 才 能 体 现, 且 不 同 的 需 求 方 对 于 同 一 数 据 的 价 值 认 知 也 存 在 较 大 偏 差 因 此, 在 数 据 价 值 实 现 和 数 据 资 产 流 通 的 过 程 中 必

16 须 进 行 数 据 清 洗 格 式 化 以 及 必 要 的 应 用 场 景 开 发 等 工 作, 并 且 以 相 应 的 机 制 设 计 和 技 术 实 现, 聚 合 数 据 的 供 给 和 需 求, 确 保 数 据 资 产 接 入 发 布 和 访 问 通 道 的 顺 畅 数 据 的 原 始 形 态 通 常 与 应 用 方 的 需 求 有 一 定 差 距, 因 此 更 准 确 地 说, 数 据 资 源 必 须 经 过 有 目 的 的 发 掘 和 特 定 的 处 理 环 节, 才 能 真 正 实 现 资 产 化 相 对 于 数 据 交 易 平 台 一 类 的 形 态, 数 据 银 行 最 大 的 差 异 点 在 于 需 要 对 数 据 的 转 化 和 规 整 数 据 的 质 量 直 接 与 企 业 成 本 负 相 关, 据 Gartner 公 司 估 算, 数 据 混 杂 的 CRM 系 统 将 使 企 业 收 入 下 降 25%, 而 Experian 公 司 则 认 为 不 准 确 的 数 据 很 可 能 导 致 公 司 的 收 入 平 均 损 失 12% 通 过 脱 敏 去 噪 和 去 重 处 理, 以 及 针 对 文 本 图 像 和 音 视 频 等 海 量 非 结 构 化 数 据 的 标 注 和 特 征 抽 取, 能 够 将 数 据 转 化 为 需 求 方 易 于 理 解 和 利 用 的 形 式, 降 低 数 据 分 析 和 挖 掘 的 难 度 这 一 环 节 是 数 据 资 产 融 资 和 管 理 的 关 键, 是 提 取 和 挖 掘 数 据 所 含 高 价 值 信 息 和 知 识 的 前 提, 是 大 数 据 技 术 发 展 和 应 用 开 拓 的 核 心 推 动 力

17 图. 数 据 银 行 模 式 综 上 所 述, 数 据 银 行 的 本 质 就 在 于 实 现 了 数 据 资 源 的 商 品 化 标 准 化 资 产 化, 承 载 着 数 据 资 产 形 成 管 理 和 交 易 的 职 责 由 于 欧 美 先 进 国 家 在 数 据 利 用 方 面 有 较 深 传 统, 在 多 个 行 业 内 自 发 形 成 了 数 据 流 通 的 渠 道, 数 据 资 源 商 品 化 标 准 化 和 资 产 化 的 动 作 已 渗 透 到 大 数 据 产 业 链 的 各 个 环 节 中, 全 社 会 对 于 数 据 银 行 或 综 合 性 数 据 交 易 平 台 的 需 求 并 不 突 出 但 是, 对 于 信 息 产 业 相 对 落 后 数 据 利 用 意 识 比 较 淡 薄 的 国 家 和 地 区, 数 据 银 行 形 态 的 培 育 非 常 重 要, 从 而 在 市 场 供 给 和 需 求 之 间 对 数 据 资 源 进 行 深 度 资 产 化 改 造, 使 数 据 真 正 成 为 大 数 据 产 业 以 及 其 他 行 业 和 领 域 发 展 的 助 推 器 众 包 模 式 随 着 大 数 据 的 应 用 扩 展 和 深 化, 社 会 对 数 据 的 需 求 日 益 上 升, 现 有 的 数 据 获 取 渠 道 和 方 式 已 无 法 满 足 科 学 研 究 和 产 业 发 展 的 需 求, 更 为 便 捷 的 获 取 方 式 更 为 广 泛 的 覆 盖 面 和 更 为 真 实 准 确 的 数 据 已 成 为 迫 切 的 需 要 随 着 互 联 网 移 动 互 联 网 和 智 能 设 备 的 发 展, 每 个 人 都 成 为 一 个 潜 在 的 数 据 采 集 点, 导 致 众 包 (crowdsourcing) 模 式 成 为 大 数 据 时 代 一 种 极 具 现 实 意 义 的 数 据 采 集 方 式 众 包 这 一 概 念 由 美 国 连 线 杂 志 的 记 者 杰 夫 豪 (JeffHowe) 在 2006 年 6 月 明 确 提 出, 指 把 工 作 任 务 以 自 由 自 愿 的 形 式 外 包 给 大 众 的 方 法, 通 常 用 于 完 成 那 些 耗 费 大 量 人 力 的 繁 重 任 务 众 包 的 思 路 并 非 新 鲜 事 物,18 世 纪 英 国 就 通 过 向 民 间 征 集 海 洋 经 度 的 精 确 测 量

18 方 法, 解 决 了 牛 顿 惠 更 斯 和 哈 雷 等 著 名 科 学 家 未 能 解 决 的 问 题, 获 奖 者 是 一 位 来 自 于 乡 村 的 木 匠 此 后 的 几 个 世 纪 中, 类 似 的 方 法 曾 经 有 力 地 推 动 了 航 空 计 算 机 等 行 业 的 发 展 随 着 互 联 网 的 出 现, 众 包 的 覆 盖 范 围 和 可 参 与 度 都 大 大 提 升, 日 益 成 为 一 种 可 行 的 商 业 模 式 与 组 织 方 式 以 当 前 的 技 术 发 展 情 况 而 言, 数 据 的 采 集 标 注 和 清 理 等 重 复 性 工 作 还 很 难 完 全 实 现 自 动 化, 比 如 人 体 特 征 的 采 集 图 片 的 标 注 和 重 复 数 据 的 剔 除 等, 而 这 些 工 作 所 需 耗 用 的 人 力 随 着 数 据 量 的 剧 增 而 成 为 企 业 或 组 织 难 以 承 受 的 重 负 对 于 这 些 需 要 大 量 人 力 介 入 才 能 保 证 质 量 的 工 作, 众 包 模 式 提 供 了 一 种 成 本 可 控 规 模 易 伸 缩 的 实 现 途 径 比 较 典 型 的 案 例 有 : Twitter 使 用 亚 马 逊 的 众 包 平 台 Mechanical Turk, 来 响 应 用 户 对 热 点 话 题 的 搜 索 查 询 国 家 地 理 曾 发 动 近 2.8 万 人 在 蒙 古 的 卫 星 图 像 中 搜 寻 成 吉 思 汗 的 墓 地 澳 大 利 亚 昆 士 兰 的 公 交 乘 客 用 随 身 应 用 采 集 信 息 ( 比 如 公 车 到 站 时 间 等 ), 提 升 市 民 的 通 勤 效 率,2011 年 已 经 可 以 做 到 通 知 下 一 班 车 的 到 站 时 间 个 人 手 工 艺 术 品 网 站 Etsy 发 动 用 户 来 鉴 定 新 发 布 的 手 工 品 是 否 存 在 版 权 侵 权 的 问 题 Foursquare( 据 报 道, 将 被 雅 虎 以 9 亿 美 元 的 价 格 收 购 ) 和 Factual 等 公 司 让 企 业 用 户 自 己 提 交 地 理 位 置 信 息 的 做 法, 也 属 于 众 包 采 集 的 范 畴

19 亚 马 逊 与 移 动 打 车 应 用 Flywheel 合 作, 呼 叫 小 型 配 送 中 心 附 近 的 出 租 车 来 为 用 户 递 送 包 裹 在 大 数 据 时 代, 由 于 需 要 采 集 海 量 的 底 层 原 始 数 据, 在 成 本 可 接 受 的 范 围 内, 很 多 时 候 已 无 法 基 于 现 有 采 集 设 备 来 完 成 任 务, 因 此 众 包 模 式 在 大 数 据 产 业 中 最 重 要 的 应 用 场 景 就 是 数 据 的 采 集 同 时, 海 量 数 据 的 加 工 和 标 注 等 任 务 所 需 的 人 力 和 时 间 太 高, 使 得 众 包 模 式 在 数 据 处 理 环 节 也 具 有 较 大 的 应 用 空 间 除 了 采 集 和 加 工 等 高 人 力 和 时 间 消 耗 的 任 务 之 外, 通 过 众 包 模 式 也 可 以 将 需 要 高 智 力 和 技 术 水 平 的 问 题 外 包 给 大 众, 通 过 受 众 面 的 扩 大 来 提 高 任 务 完 成 的 效 率 比 如, 将 原 始 数 据 公 布 于 众, 让 公 众 积 极 参 与 到 对 数 据 的 分 析 挖 掘 和 应 用 创 新 活 动 中, 能 够 有 效 推 动 大 数 据 技 术 和 产 业 的 发 展 2.2 基 础 架 构 (Infrastructure) 与 传 统 IT 基 础 架 构 相 比, 大 数 据 基 础 架 构 必 须 应 对 空 前 规 模 的 数 据 和 各 类 音 频 图 像 视 频 和 文 本 等 非 结 构 化 信 息 ; 互 联 网 移 动 互 联 网 和 物 联 网 数 据 的 指 数 级 增 长, 使 得 基 础 架 构 必 须 拥 有 高 度 的 可 扩 展 性 ; 为 了 快 速 应 对 变 化 响 应 市 场, 实 时 分 析 的 需 求 日 益 强 烈, 基 础 架 构 必 须 具 有 强 大 的 数 据 吞 吐 和 计 算 能 力 基 础 架 构 区 块 中 的 企 业 主 要 提 供 大 数 据 的 存 储 和 管 理 产 品 或 服 务, 为 后 续 的 分 析 和 挖 掘 提 供 支 撑, 包 含 各 类 新 兴 的 NoSQL NewSQL MPP 和 图 数 据 库, 以 及 云 服 务 数 据 转 换 工 具 管 理 / 监 控 工 具 和 存 储 设

20 备 等 Neo4j 图 形 数 据 库, 将 结 构 化 数 据 以 图 结 构 进 行 存 储, 具 备 完 全 的 事 物 特 性 Aster data MPP 数 据 库, 起 源 于 斯 坦 福 大 学, 已 被 Teradata 收 购 Cloudera 基 于 Hadoop 的 产 品 与 解 决 方 案 提 供 商 MapR 基 于 Hadoop 的 产 品 与 解 决 方 案 提 供 商, 用 自 身 文 件 系 统 取 代 HDFS, 实 现 高 速 镜 像 快 照 等 功 能 Cleversafe 分 布 式 存 储 产 品, 为 提 升 系 统 吞 吐 率 优 化 了 HDFS 的 副 本 设 置 VoltDB 内 存 数 据 库 产 品,NewSQL 的 代 表 之 一 同 时 满 足 关 系 型 数 据 库 的 ACID 原 则 以 及 NoSQL 的 可 扩 展 性 StackIQ Hadoop 系 统 管 理 工 具 Greenplum MPP 数 据 库 的 代 表 之 一, 具 有 高 可 扩 展 性 的 关 系 型 并 行 数 据 库 微 软 Dryad 关 系 型 数 据 库 的 并 行 实 现, 能 够 将 SQL 语 句 转 化 为 基 于 DAG 的 多 个 操 作 Box 和 Dropbox 提 供 大 数 据 存 储 的 云 服 务 2.3 跨 平 台 (Cross infrastructure) 本 区 块 中 多 为 提 供 计 算 存 储 和 分 析 平 台 或 服 务 的 大 型 厂 商, 提 供 对 大 数 据 分 析 进 行 支 撑 的 软 硬 件 一 体 化 方 案

21 IBM 在 DB2 中 集 成 了 BLU 技 术 列 式 优 化 和 并 行 向 量 处 理 等 技 术, 以 内 存 计 算 大 幅 提 升 数 据 分 析 效 率 在 基 础 平 台 方 面, 为 Hadoop 平 台 提 供 支 持, 同 时 有 针 对 性 地 对 GPFS 文 件 系 统 进 行 了 改 造 微 软 推 出 了 基 于 Hadoop 的 大 数 据 处 理 的 组 件, 实 现 了 SQL Server 与 Hadoop 的 连 接 ; 推 出 LINQ Pack Project Daytona 以 及 Excel DataScope, 让 用 户 可 以 在 Windows Azure 云 上 进 行 大 数 据 分 析 ; 2015 年 初, 微 软 收 购 R 语 言 的 商 业 版 提 供 商 Revolution Analytics, 加 强 数 据 分 析 方 面 的 能 力 建 设 SAS 通 过 与 Hadoop 的 集 成, 为 客 户 提 供 分 布 式 的 分 析 产 品 1010data 公 司 提 供 基 于 云 计 算 平 台 的 数 据 分 析 服 务 Talend 公 司 针 对 数 据 集 成 提 供 专 业 的 ETL 工 具 和 主 数 据 管 理 云 服 务 惠 普 推 出 了 针 对 Hadoop 平 台 优 化 的 AppSystem for Apache Hadoop, 提 供 包 括 底 层 硬 件 Hadoop 和 实 时 数 据 分 析 的 一 体 式 解 决 方 案 2.4 开 源 (Open source) 由 企 业 高 校 或 科 研 机 构 所 研 发 并 开 源 的 大 数 据 产 品, 是 当 前 大 数 据 基 础 技 术 发 展 的 最 大 推 动 力, 通 常 集 中 在 基 础 性 平 台 和 分 析 工 具 两 大 类 Hadoop 起 源 于 雅 虎 公 司, 是 当 前 主 流 的 大 数 据 存 储 和 处 理 平 台, 实 现 了 分 布 式 的 计 算 框 架 MapReduce 和 文 件 存 储 系 统 HDFS Spark 诞 生 于 加 州 伯 克 利 大 学 AMP 实 验 室, 是 新 一 代 大 数 据 分 布

22 式 处 理 框 架, 以 高 效 的 内 存 计 算 著 称, 逐 渐 成 为 大 数 据 处 理 环 节 的 主 流 平 台 MongoDB 由 10gen 公 司 开 发, 著 名 的 分 布 式 NoSQL 数 据 库, 由 于 功 能 丰 富, 在 使 用 方 面 最 接 近 关 系 数 据 库 Storm 由 推 特 开 发 的 大 数 据 流 式 分 析 解 决 方 案, 在 接 收 数 据 的 同 时 就 进 行 计 算 和 分 析, 具 备 一 定 的 故 障 处 理 能 力 Mahout 数 据 挖 掘 工 具, 起 源 于 Apache 基 金 会, 实 现 了 一 个 分 布 式 机 器 学 习 算 法 的 集 合 Solr 起 源 于 Apache Lucene 项 目 的 开 源 企 业 搜 索 平 台, 功 能 包 括 全 文 检 索 命 中 标 示 和 分 面 搜 索 等 2.5 分 析 (Analytics) 除 了 存 储, 大 数 据 管 理 的 另 一 项 大 的 挑 战 是 数 据 分 析, 只 有 通 过 分 析 才 能 获 取 智 能 深 入 有 价 值 的 信 息 数 据 分 析 大 致 可 以 分 为 以 下 几 类 : 数 据 挖 掘, 大 数 据 分 析 的 理 论 核 心, 基 于 不 同 的 数 据 类 型 和 格 式 呈 现 出 数 据 的 各 种 特 性, 挖 掘 其 中 蕴 涵 的 价 值 ; 预 测 性 分 析, 大 数 据 分 析 最 重 要 的 应 用 领 域 之 一, 通 过 训 练 数 据 建 立 模 型, 并 以 此 为 基 础 预 测 未 来 的 趋 势 和 走 向 ; 非 结 构 化 分 析, 针 对 海 量 的 音 频 图 像 视 频 和 文 本 数 据, 结 合 人 工 智 能 技 术 抽 取 和 提 炼, 使 之 能 够 用 于 后 续 的 分 析 的 挖 掘 ; 可 视 化 分 析, 直 观 的 呈 现 数 据 统 计 分 布 特 性, 使 普 通 用 户 能 够 对 数 据 形 成 大 致 的 理 解

23 图. 分 析 领 域 及 技 术 在 大 数 据 海 量 多 源 异 构 特 性 和 实 时 处 理 的 需 求 推 动 下, 专 门 针 对 大 数 据 的 分 析 工 具 蓬 勃 发 展, 尤 其 是 对 于 非 结 构 化 数 据 以 及 对 未 来 进 行 预 测 的 分 析 从 创 业 和 获 得 投 资 的 情 况 来 看, 本 区 块 是 整 个 大 数 据 产 业 链 中 最 为 活 跃 的 部 分, 其 中 典 型 的 企 业 或 产 品 如 下 所 述 : 甲 骨 文 宣 布 收 购 Endeca Technologies, 为 企 业 用 户 提 供 非 结 构 化 数 据 的 搜 索 和 管 理 服 务 SAP 推 出 了 Hana 平 台, 能 够 对 非 结 构 化 数 据 进 行 高 速 分 析, 是 大 数 据 内 存 计 算 的 代 表 性 技 术 之 一 Google 推 出 企 业 级 大 数 据 分 析 云 服 务 BigQuery, 用 来 在 云 端 处 理 大 数 据, 帮 助 企 业 在 云 平 台 上 分 析 数 据 构 建 应 用 和 分 享 服 务 Dataminr 公 司 通 过 对 社 会 化 媒 体 进 行 分 析, 为 金 融 行 业 与 政 府 部 门 提 供 服 务, 曾 在 股 市 下 跌 前 三 分 钟, 预 知 黑 莓 股 票 将 被 抛 售

24 Splunk 专 注 于 日 志 分 析, 首 家 上 市 的 新 兴 大 数 据 公 司, 首 个 交 易 日 市 值 即 突 破 30 亿 美 元 Palantir Technologies 数 据 分 析 工 具 提 供 商, 旗 下 Palantir Gotham 系 统 主 要 用 于 反 恐, 协 助 美 国 中 央 情 报 局 发 现 本 拉 登 行 踪 ;Palantir Metropolis 则 主 要 为 对 冲 基 金 银 行 等 提 供 服 务 为 行 业 尤 其 是 政 府 金 融 等 行 业 提 供 解 决 方 案,2014 年 底 以 150 亿 美 元 估 值 完 成 融 资 Clear story 为 客 户 提 供 数 据 整 合 工 具, 可 以 整 合 包 括 Facebook 在 内 的 多 种 数 据 源 Affectiva 专 注 于 人 脸 表 情 识 别, 商 业 媒 体 评 为 发 展 最 快 的 创 业 公 司 之 一 2012 年 美 国 总 统 竞 选 期 间,Affectiva 追 踪 人 们 观 看 奥 巴 马 和 罗 姆 尼 辩 论 片 段 的 表 情, 结 果 以 73% 正 确 率 判 断 出 了 选 民 投 票 结 果 可 视 化 图 形 是 直 观 呈 现 数 据 的 直 接 方 法, 数 据 可 视 化 就 是 研 究 如 何 利 用 图 形, 展 现 数 据 中 隐 含 的 信 息, 发 掘 数 据 中 所 包 含 的 规 律 数 据 可 视 化 所 需 的 专 业 知 识 横 跨 计 算 机 统 计 和 心 理 学 随 着 大 数 据 的 发 展, 海 量 的 数 据 需 要 以 直 观 便 捷 的 方 式 展 示 给 技 术 和 业 务 人 员 大 数 据 可 视 化 分 析 领 域 的 典 型 公 司 包 括 : Risk Management Solutions 用 热 图 来 直 观 标 示 自 然 灾 害 的 风 险 和 类 别, 包 括 地 震 龙 卷 风 飓 风 暴 风 森 林 大 火 和 火 山 爆 发

25 等, 进 而 为 保 险 公 司 提 供 自 然 灾 难 风 险 模 型, 供 客 户 估 算 理 赔 风 险 Compuware 公 司 每 天 采 集 80 亿 个 数 据 点, 对 外 提 供 Web 服 务 故 障 热 图, 监 测 全 球 1500 个 Web 服 务 RetailNext 基 于 店 内 的 摄 像 头 Wi-Fi 和 其 他 探 测 设 备 所 采 集 的 数 据, 用 热 图 显 示 顾 客 在 商 店 内 的 实 际 行 走 模 式, 超 市 或 零 售 店 家 可 以 据 此 来 摆 放 货 物 或 评 估 促 销 活 动 的 实 际 效 果 DOMO 公 司 为 企 业 整 合 多 源 头 数 据 并 以 高 度 可 视 化 的 形 式 呈 现 出 来, 为 管 理 人 员 的 决 策 提 供 支 持, 估 值 高 达 20 亿 美 元 2.6 应 用 (Application) 掌 握 数 据 资 产 的 企 业 群 是 大 数 据 的 首 批 和 直 接 受 益 者, 可 以 方 便 地 对 大 数 据 进 行 加 工 消 化 利 用 而 随 着 应 用 价 值 的 逐 步 体 现 及 大 数 据 产 业 的 发 展, 应 用 将 必 然 扩 张 到 传 统 产 业 的 方 方 面 面, 不 断 创 造 新 的 应 用 场 景 在 全 球 范 围 内, 大 数 据 的 应 用 已 经 具 备 了 初 步 的 实 践 基 础, 在 政 府 决 策 公 共 服 务 影 视 娱 乐 交 通 物 流 医 疗 健 康 金 融 电 信 人 力 资 源 零 售 广 告 营 销 农 业 能 源 等 领 域 得 到 了 较 为 深 入 的 应 用, 下 面 就 是 当 前 全 球 大 数 据 应 用 的 各 主 要 场 景 影 视 / 娱 乐 传 统 上, 影 视 娱 乐 行 业 所 积 累 的 数 据 主 要 集 中 在 票 房 收 视 记 录

26 演 职 人 员 基 本 资 料 等 基 于 这 些 数 据, 相 关 人 员 已 经 将 简 单 的 数 据 分 析 应 用 于 市 场 预 测 和 主 角 人 员 选 定 等 方 面 随 着 互 联 网 移 动 互 联 网 和 有 线 电 视 网 的 发 展, 以 及 数 据 采 集 存 储 和 处 理 技 术 的 进 步, 影 视 娱 乐 业 产 生 了 大 量 文 本 图 片 或 UGC 数 据, 其 中 蕴 含 了 海 量 的 用 户 对 于 影 视 剧 作 品 的 偏 好 信 息 和 观 看 数 据, 结 合 了 其 他 来 源 的 用 户 数 据 之 后, 能 够 进 一 步 加 深 用 户 洞 察, 提 升 用 户 黏 性 基 于 更 为 准 确 和 具 有 时 效 性 的 影 视 剧 收 视 和 票 房 数 据, 能 够 分 析 各 地 区 人 群 对 不 同 题 材 的 偏 好, 了 解 观 影 的 时 段 分 布, 从 而 支 持 市 场 预 测 播 出 平 台 和 投 放 时 间 的 选 择 和 发 行 方 案 制 定 等 同 时, 收 集 主 创 班 底 参 与 过 的 影 视 作 品 基 本 资 料 及 市 场 表 现, 可 以 构 建 导 演 演 员 编 剧 等 主 创 人 员 的 评 估 模 型, 优 化 团 队 结 构, 降 低 投 资 风 险 当 前, 大 数 据 在 影 视 娱 乐 业 的 典 型 应 用 案 例 有 : 视 频 服 务 提 供 商 Netflix 基 于 其 广 大 的 影 视 租 赁 用 户 群 数 据, 通 过 偏 好 分 析, 搭 建 了 纸 牌 屋 的 主 创 班 底, 成 为 大 数 据 应 用 的 早 期 经 典 案 例 调 查 公 司 Rentrak 基 于 机 顶 盒 数 据, 监 测 各 种 屏 幕 上 的 媒 体 消 费 情 况, 为 影 视 制 作 公 司 和 广 告 公 司 提 供 咨 询 服 务 UnitedTalentAgency 通 过 Twitter YouTube Tumblr Facebook Instagram 和 电 影 类 博 客 等 渠 道 获 取 数 据, 评 估 电 影 受 欢 迎 的 程 度, 为 20 世 纪 福 克 斯 公 司 和 索 尼 影 业 等 巨 头 提 供 咨 询 服 务 Pandora Rithm Spotify 等 通 过 对 客 户 的 音 乐 偏 好 分 析, 为 消 费 者 提 供 个 性 化 推 荐 服 务

27 博 彩 业 巨 头 凯 撒 娱 乐 (Caesars Entertainment) 分 析 客 户 的 网 页 点 击 和 老 虎 机 游 戏 记 录, 提 升 客 户 营 销 和 服 务 的 实 时 性 交 通 / 物 流 随 着 交 通 系 统 信 息 化 程 度 的 加 深, 以 及 各 种 路 测 和 车 载 智 能 传 感 器 的 普 及, 大 量 包 含 道 路 公 交 轨 道 交 通 出 租 汽 车 航 空 铁 路 航 运 等 信 息 的 数 据 得 以 产 生 并 被 存 储 下 来, 可 在 构 建 实 时 准 确 高 效 的 综 合 交 通 运 输 管 理 系 统 方 面 发 挥 巨 大 作 用 交 通 基 础 设 施 建 设 和 运 营 涉 及 大 量 工 程 和 多 个 环 节, 而 大 数 据 技 术 能 够 对 海 量 信 息 进 行 分 析, 有 助 于 提 升 交 通 效 率, 降 低 物 流 成 本 在 实 时 监 控 交 通 动 态 的 基 础 上, 利 用 大 数 据 预 测 模 型, 可 及 时 预 警 拥 堵 情 况, 协 调 交 通 路 线 通 过 传 感 器 感 知 交 通 工 具 的 轨 迹 和 周 边 环 境 的 变 化, 并 通 过 大 数 据 技 术 进 行 数 据 整 合 和 分 析, 可 以 快 速 建 模 评 估 交 通 情 景 的 安 全 性, 降 低 交 通 事 故 发 生 的 概 率

28 图. 交 通 / 物 流 领 域 大 数 据 应 用 交 通 作 为 人 类 行 为 的 重 要 组 成 和 重 要 条 件 之 一, 其 相 关 数 据 的 内 在 价 值 极 高, 对 其 他 行 业 来 说 也 是 大 有 裨 益 最 明 显 的 就 是 与 交 通 运 输 密 切 相 关 的 物 流 行 业 物 流 产 业 需 要 对 各 种 物 流 要 素 进 行 优 化 组 合 和 合 理 配 置, 从 而 提 升 物 流 活 动 效 率 并 降 低 物 流 成 本 其 中 物 流 要 素 的 组 合 优 化 必 须 以 全 面 的 数 据 采 集 整 合 和 分 析 为 基 础, 其 最 基 础 的 数 据 源 就 是 交 通 领 域 的 数 据 此 外, 物 流 业 和 大 型 电 商 的 仓 储 配 送, 以 及 以 Uber 为 代 表 的 出 租 车 市 场 的 颠 覆 者, 也 都 引 入 了 大 数 据 的 特 性 当 前, 大 数 据 在 交 通 和 物 流 领 域 的 典 型 应 用 案 例 有 : UPS 基 于 超 过 货 车 上 的 传 感 器 数 据 来 规 划 运 输 线 路 数 据 包 括 速 度 方 向 刹 车 等 同 时 基 于 在 线 地 图 数 据, 实 时 规 划 每 辆 车 的 取 货 和 送 货 2011 年, 减 少 了 8500 万 英 里 的 行 车 路 程,

29 从 而 节 省 了 840 万 加 仑 的 燃 料 早 在 2000 年,UPS 就 利 用 这 种 基 于 大 数 据 的 预 测 性 分 析 系 统 来 检 测 全 美 辆 车 的 实 时 车 况, 以 便 及 时 地 进 行 主 动 修 理 法 国 电 信 公 司 Orange 承 建 了 一 个 法 国 高 速 公 路 数 据 监 测 项 目, 每 天 产 生 500 万 条 记 录, 对 这 些 记 录 进 行 大 数 据 分 析, 为 行 驶 于 高 速 公 路 上 的 车 辆 提 供 准 确 及 时 的 信 息, 有 效 提 高 道 路 通 畅 率 航 班 延 误 时 间 的 分 析 系 统 (Flyontime.us), 由 民 间 程 序 员 基 于 美 国 交 通 部 开 放 的 全 美 航 班 起 飞 到 达 延 误 数 据 而 开 发, 向 全 美 国 社 会 免 费 开 放 使 用, 成 为 很 多 人 乘 机 候 机 的 参 考 信 息 亚 马 逊 尝 试 名 为 预 判 发 货 的 服 务 根 据 订 单 搜 索 记 录 愿 望 清 单 购 物 车 鼠 标 在 某 件 商 品 上 的 悬 留 时 间 等 数 据, 预 判 用 户 消 费 行 为, 在 用 户 下 单 之 前 就 将 商 品 发 货 出 库, 以 此 提 升 配 送 的 速 度 Uber 根 据 用 户 需 求 的 波 动 开 发 溢 价 算 法, 动 态 调 整 出 租 车 价 格, 缓 解 特 定 时 段 的 打 车 供 需 矛 盾 医 疗 健 康 医 疗 行 业 正 处 于 重 要 转 折 点 据 麦 肯 锡 预 测,2050 年 60 岁 以 上 老 龄 人 口 将 占 全 球 人 口 比 例 的 20%, 当 前 医 疗 费 用 在 全 球 GDP 中 的 占 比 逐 渐 升 高, 医 疗 服 务 市 场 规 模 的 增 长 以 及 日 益 强 烈 的 个 性 化 医 疗 服 务 需 求, 使 得 医 疗 健 康 行 业 必 须 朝 着 更 加 精 细 化 和 科 学 化 的 方 向 发 展, 在 提 供 个 性 化 服 务 支 持 临 床 决 策 识 别 医 疗 服 务 相 关 的 欺 诈 行 为 以

30 及 分 析 并 应 对 各 类 新 型 疾 病 等 方 面, 都 需 要 以 数 据 分 析 为 基 础 据 预 测, 大 数 据 的 应 用, 能 够 为 全 球 每 人 每 年 带 来 1000 美 元 的 费 用 削 减 医 药 行 业 是 数 据 密 集 的 行 业, 包 括 药 企 研 发 科 研 进 展 医 生 诊 疗 记 录 患 者 病 历 检 测 和 用 药 记 录 患 者 身 体 状 况 和 保 险 赔 偿 记 录 等 各 类 数 据 都 被 持 续 地 记 录 和 存 储, 作 为 技 术 研 发 业 务 决 策 和 服 务 交 付 的 基 础 当 前, 医 疗 健 康 数 据 呈 现 下 列 主 要 特 征 : 来 源 广 泛 包 括 制 药 业 临 床 治 疗 信 息 医 疗 费 用 病 患 体 征 及 日 常 生 活 记 录 等 规 模 膨 胀 由 于 传 感 器 影 像 病 检 设 备 和 基 因 数 据 的 迅 速 增 长, 据 麦 肯 锡 分 析,2020 年 医 疗 数 据 将 增 长 到 35ZB, 相 当 于 2009 年 的 44 倍 类 型 多 样 医 疗 健 康 数 据 即 包 含 结 构 化 的 病 患 档 案, 又 包 括 大 量 口 述 或 手 写 数 据 图 片 和 影 像 等 非 结 构 化 数 据 实 时 分 析 比 如, 在 治 疗 过 程 中, 需 要 实 时 整 合 处 理 和 分 析 不 断 流 入 的 各 类 最 新 信 息 海 量 医 疗 数 据 的 积 累, 开 辟 了 大 数 据 在 疫 情 监 测 疾 病 防 控 临 床 研 究 医 疗 诊 断 资 源 调 度 和 远 程 医 疗 顾 问 等 方 面 广 阔 的 应 用 空 间, 而 实 时 分 析 和 图 像 分 析 一 类 的 技 术 需 求 则 进 一 步 提 升 了 大 数 据 进 入 医 疗 健 康 行 业 的 必 要 性 可 见, 大 数 据 的 引 入 已 成 为 医 疗 健 康 行 业 进 一 步 发 展 的 必 要 条 件 和 助 推 器 据 麦 肯 锡 2010 年 测 算, 大 数 据 将 给 医 疗 健 康 产 业 带 来 3330 亿 美 金 的 增 值 当 前, 大 数 据 在 医 疗 健 康 领

31 域 的 主 要 应 用 场 景 包 括 : 医 疗 数 据 的 结 构 化 全 球 医 疗 数 据 仅 有 五 分 之 一 为 适 于 计 算 机 处 理 的 结 构 化 数 据, 其 余 五 分 之 四 为 非 结 构 化 数 据, 包 括 手 写 病 历 各 类 文 档 音 视 频 文 件 等, 其 增 长 速 度 是 结 构 化 数 据 的 15 倍 优 化 运 营 医 疗 机 构 通 过 对 医 疗 档 案 数 据 的 转 化 整 合 统 计 和 分 析, 实 现 对 管 理 和 监 管 等 环 节 的 优 化 新 药 研 制 通 过 大 数 据 技 术, 加 大 临 床 数 据 采 集 力 度, 运 用 基 因 序 列 分 析 等 先 进 技 术, 提 升 疾 病 发 现 和 新 药 研 发 的 效 率 通 过 对 产 品 上 市 后 用 药 人 群 分 析, 检 测 其 疗 效 和 副 作 用, 从 而 达 到 提 高 研 发 成 功 率 的 目 的 个 性 化 医 疗 在 患 者 就 诊 时 实 时 整 合 其 体 征 数 据 临 床 记 录 和 日 常 生 活 信 息, 提 供 具 有 针 对 性 的 高 效 医 疗 服 务 当 前, 医 疗 和 健 康 行 业 的 典 型 大 数 据 企 业 有 : Health Fidelity Explorys PracticeFusion athenahealth Inc. 和 Humedica 等, 采 用 自 然 语 言 处 理 技 术 实 现 非 结 构 化 数 据 到 结 构 化 数 据 的 转 化 Flatiron 被 称 为 癌 症 治 疗 的 基 础 设 施, 通 过 对 临 床 数 据 收 集 整 理 方 法 的 创 新, 为 医 生 提 供 全 面 而 详 尽 的 数 据, 从 而 在 整 体 上 加 速 征 服 疾 病 的 进 度 Foundation Medicine 采 集 和 分 析 患 者 基 因 组 数 据, 通 过 特 定 算 法 进 行 突 变 分 析 和 解 读, 以 临 床 建 议 形 式 辅 助 医 生 设 定 治 疗 方 案

32 Ginger.IO 记 录 患 者 的 行 为 和 位 置 移 动, 帮 助 护 士 远 程 监 控 诸 如 糖 尿 病 等 类 患 者 的 实 时 情 况, 以 便 提 醒 其 停 止 不 利 于 治 疗 的 行 为 美 国 北 卡 罗 来 纳 医 疗 体 系 (Carolinas HealthCare System) 采 集 200 多 万 客 户 的 消 费 数 据, 识 别 其 中 高 风 险 的 患 者, 比 如 经 常 购 买 酒 精 饮 料 的 人 可 能 有 抑 郁 症 隐 患 等 DNAnexus 公 司 为 医 疗 行 业 客 户 提 供 DNA 数 据 的 管 理 和 分 析 平 台 Bina Technology 23andMe 以 及 Spiral Genetics 则 专 注 于 基 因 测 序 技 术 本 身 的 研 究 罗 氏 制 药 收 购 基 因 测 序 公 司 Signature Diagnostics, 加 速 靶 向 药 物 的 开 发 IBM 基 于 超 级 计 算 机 Watson, 与 WellPoint 合 作 进 行 恶 性 肿 瘤 的 临 床 诊 断, 与 BlueCross 合 作 进 行 医 保 数 据 分 析, 与 Sloan 癌 症 中 心 合 作 进 行 癌 症 研 究 金 融 金 融 业 在 信 息 技 术 和 人 才 等 方 面 相 较 其 他 产 业 具 有 明 显 的 优 势, 在 开 展 业 务 的 过 程 中 积 累 了 海 量 的 高 价 值 数 据, 不 但 属 于 数 据 密 集 型 的 行 业, 而 且 具 有 巨 大 的 数 据 价 值 变 现 潜 力 比 如, 据 波 士 顿 咨 询 (BCG) 统 计, 银 行 业 每 100 万 美 元 收 入 所 产 生 和 使 用 的 数 据 大 概 是 820GB, 远 多 于 其 它 行 业 相 应 地, 数 据 分 析 在 金 融 领 域 的 运 用 历 史 悠 久, 比 如 经 济 学 家 很 早 就 利 用 计 量 经 济 学 知 识 和 金 融 市 场 数 据 建 模 预 测 金 融 市 场 产 品 收 益 同 风 险 波 动 的 关 系

33 由 于 数 据 种 类 和 规 模 的 增 长 以 及 相 关 技 术 的 发 展, 大 数 据 在 银 行 保 险 公 司 和 券 商 等 金 融 机 构 的 应 用 逐 渐 深 入 和 拓 宽, 被 全 面 运 用 于 客 户 画 像 精 准 营 销 风 险 管 控 运 营 优 化 和 市 场 预 测 等 方 面 图. 金 融 大 数 据 应 用 场 景 客 户 画 像 客 户 画 像 主 要 包 括 对 用 户 的 基 础 信 息 社 交 数 据 兴 趣 爱 好 生 活 习 惯 消 费 习 惯 等 风 险 偏 好 等 进 行 分 析, 以 及 对 企 业 用 户 的 生 产 运 营 财 务 和 销 售 等 情 况 进 行 分 析 为 了 更 全 面 的 了 解 客 户, 除 了 自 身 业 务 所 采 集 到 的 数 据 之 外, 需 要 整 合 更 多 的 外 部 数 据, 比 如 客 户 在 社 交 媒 体 上 的 行 为 数 据 客 户 在 电 商 网 站 的 交 易 数 据 企 业 客 户 的 产 业 链 上 下 游 数 据 等 精 准 营 销 在 运 用 大 数 据 理 念 和 技 术 对 客 户 全 面 画 像 之 后, 可 以 通 过 多 种 创 新 提 升 营 销 的 精 度 和 准 度 :

34 (1) 实 时 营 销 获 取 用 户 的 当 前 状 况 来 提 升 营 销 活 动 的 时 效 性, 比 如 根 据 客 户 当 前 的 地 点 最 近 的 消 费 记 录 和 其 他 信 息 ( 工 作 变 化 迁 移 等 ) 来 推 送 具 有 针 对 性 的 产 品 或 服 务 ; (2) 个 性 化 推 荐 根 据 客 户 的 年 龄 资 产 规 模 理 财 偏 好 等 进 行 产 品 或 服 务 的 推 荐, 挖 掘 出 用 户 潜 在 的 金 融 服 务 需 求 ; (3) 客 户 挽 留 根 据 用 户 近 期 的 动 态 构 建 流 失 预 警 模 型, 对 高 流 失 概 率 的 客 户 提 供 相 应 的 优 惠 或 个 性 服 务 风 险 管 控 包 括 中 小 企 业 贷 款 风 险 的 评 估 和 欺 诈 识 别 等 : (1) 中 小 企 业 贷 款 风 险 评 估 银 行 可 通 过 企 业 的 产 流 通 销 售 财 务 等 相 关 信 息 结 合 大 数 据 挖 掘 方 法 进 行 贷 款 风 险 分 析, 量 化 企 业 的 信 用 额 度, 更 有 效 的 开 展 中 小 企 业 贷 款 (2) 欺 诈 交 易 实 时 甄 别 反 洗 钱 分 析 防 止 恶 意 透 支 银 行 可 以 利 用 持 卡 人 基 本 信 息 卡 基 本 信 息 交 易 历 史 客 户 历 史 行 为 模 式 正 在 发 生 行 为 模 式 ( 如 转 账 ) 等, 结 合 智 能 规 则 引 擎 ( 如 从 一 个 不 经 常 出 现 的 国 家 为 一 个 特 有 用 户 转 账 或 从 一 个 不 熟 悉 的 位 置 进 行 在 线 交 易 ) 进 行 实 时 的 交 易 反 欺 诈 分 析 运 营 优 化 包 括 金 融 机 构 本 身 的 运 营 效 率 优 化 和 产 品 服 务 提 升 : (1) 市 场 和 渠 道 分 析 优 化 通 过 大 数 据, 银 行 可 以 监 控 不 同 市 场 推 广 渠 道 尤 其 是 网 络 渠 道 推 广 的 质 量, 从 而 进 行 合 作 渠 道 的 调 整 和 优 化 同 时, 也 可 以 分 析 哪 些 渠 道 更 适 合 推 广 哪 类 银 行 产 品 或 者 服 务, 从 而 进 行 渠 道 推 广 策 略 的 优 化 (2) 产 品 和 服 务 优 化 : 银 行 可 以 将 客 户 行 为 转 化 为 信 息 流, 并 从

35 中 分 析 客 户 的 个 性 特 征 和 风 险 偏 好, 更 深 层 次 地 理 解 客 户 的 习 惯, 智 能 化 分 析 和 预 测 客 户 需 求, 从 而 进 行 产 品 创 新 和 服 务 优 化 如 兴 业 银 行 目 前 对 大 数 据 进 行 初 步 分 析, 通 过 对 还 款 数 据 的 挖 掘 比 较, 区 分 优 质 客 户, 根 据 客 户 还 款 数 额 的 差 别, 提 供 差 异 化 的 金 融 产 品 和 服 务 方 式 市 场 预 测 金 融 市 场 价 格 走 势 很 大 程 度 上 受 市 场 情 绪 的 左 右, 通 过 对 社 交 媒 体 类 数 据 的 抽 取 和 分 析, 能 够 挖 掘 出 其 中 蕴 含 的 大 量 市 场 情 绪 信 息, 从 而 以 较 高 的 准 确 度 预 测 未 来 金 融 市 场 的 走 向 在 金 融 业 与 信 息 业 结 合 最 紧 密 的 美 国, 这 方 面 的 研 究 和 实 践 已 经 成 为 热 点 比 如, 华 尔 街 部 分 交 易 公 司 就 是 通 过 采 集 互 联 网 上 的 政 经 新 闻 来 预 测 市 场 走 向 ; 麻 省 理 工 学 院 的 学 者, 根 据 情 绪 词 将 推 特 内 容 标 定 为 正 面 或 负 面 情 绪, 发 现 某 些 负 面 词 汇 在 推 特 的 占 比, 都 与 道 琼 斯 指 数 标 准 普 尔 500 指 数 纳 斯 达 克 指 数 的 下 跌 有 较 强 的 关 联 性 ; 美 国 印 第 安 纳 大 学 利 用 谷 歌 公 司 提 供 的 心 情 分 析 工 具 对 道 琼 斯 工 业 指 数 变 化 的 预 测 ; 美 国 佩 斯 大 学 追 踪 星 巴 克 可 口 可 乐 和 耐 克 三 家 公 司 在 社 交 媒 体 上 的 受 欢 迎 程 度, 发 现 Facebook 的 粉 丝 数 推 特 上 的 听 众 数 和 YouTube 上 的 观 看 人 数 都 和 公 司 股 价 密 切 相 关 当 前, 全 球 金 融 大 数 据 应 用 的 典 型 案 例 有 : 挪 威 DNB 银 行 将 电 子 渠 道 所 采 集 的 数 据 与 原 有 数 据 进 行 整 合, 引 入 Teradata 等 大 数 据 技 术 服 务 提 供 商 构 建 分 析 预 测 模 型, 以 此 提 升 客 户 满 意 度 并 实 现 对 销 售 活 动 全 天 候 的 追 踪

36 万 事 达 (Mastercard) 公 司 通 过 大 量 的 数 据 清 洗 工 作, 整 合 了 全 球 19 亿 张 信 用 卡 和 3200 万 商 家 客 户 信 息, 基 于 Mu Sigma 公 司 的 技 术 进 行 欺 诈 识 别 和 客 户 洞 察 分 析 Zestfinace 突 破 了 传 统 征 信 的 FICO 征 信 模 型, 主 要 是 将 用 户 的 搬 家 电 话 联 系 水 电 等 线 下 信 息 纳 入 到 征 信 模 型 中, 描 述 每 个 用 户 的 变 量 可 达 1000 个 以 上 新 加 坡 星 展 银 行 (DBS) 与 商 铺 进 行 合 作, 当 消 费 者 路 经 店 铺 时, 向 其 手 机 推 送 相 应 的 优 惠 提 示, 比 如 在 20 分 钟 内 使 用 星 展 银 行 信 用 卡 可 享 受 10% 的 折 扣 Paypal 基 于 Hadoop Cassandra 和 Luster 文 件 系 统 构 建 大 数 据 技 术 栈, 并 应 用 于 欺 诈 识 别, 第 一 年 即 挽 回 多 达 7 亿 美 元 的 损 失 美 国 KeyBank 银 行 通 过 对 网 点 客 户 行 为 的 实 时 监 测, 定 时 调 配 员 工 并 关 掉 某 些 非 必 要 的 网 点, 每 年 因 此 节 省 3500 万 美 元 的 运 营 费 用 波 士 顿 咨 询 (BCG) 结 合 银 行 业 内 部 数 据 ( 现 有 的 网 点 分 布 和 业 绩 状 况 等 ) 和 外 部 数 据 ( 各 个 地 区 的 人 口 数 量 人 口 结 构 收 入 水 平 等 ), 帮 助 澳 大 利 亚 某 家 银 行 优 化 网 点 布 局 高 盛 基 于 图 分 析 (Graph Analytics) 技 术, 对 社 交 数 据 进 行 挖 掘, 协 助 合 规 审 查 和 欺 诈 行 为 的 识 别 2013 年 高 盛 对 大 数 据 公 司 Applied Predictive Technologies 投 资 1 亿 美 元, 以 期 获 得 后 者 所 拥 有 的 大 量 客 户 数 据 以 及 相 应 的 分 析 模 型 摩 根 大 通 利 用 大 数 据 技 术 追 踪 盗 取 客 户 账 号 或 侵 入 自 动 柜 员 机 系

37 统 的 罪 犯 保 险 公 司 United Healthcare 对 客 户 拨 打 服 务 电 话 的 音 频 数 据 进 行 文 字 化 处 理, 并 采 用 自 然 语 言 处 理 技 术 识 别 重 点 客 户 和 自 身 业 务 短 板 MarketPsych 公 司 基 于 路 透 社 的 新 闻, 评 估 119 个 国 家 的 多 个 独 立 指 数, 如 每 分 钟 的 心 情 状 态 ( 乐 观 忧 郁 快 乐 恐 惧 和 生 气 等 ), 为 金 融 机 构 提 供 第 三 方 服 务 华 尔 街 的 德 温 特 资 本 市 场 公 司 对 3.4 亿 社 交 媒 体 用 户 的 留 言 进 行 情 感 分 析, 以 大 众 情 绪 为 指 引 来 决 定 股 票 买 卖 时 机 英 国 对 冲 基 金 DerwentCapital Markets 专 门 建 立 了 一 支 对 冲 基 金, 通 过 分 析 Twitter 的 数 据 内 容 来 感 知 市 场 情 绪, 指 导 投 资 策 略 在 首 月 的 交 易 中 以 1.85% 的 收 益 率 超 过 0.76% 的 市 场 平 均 业 绩 Estimize 公 司 通 过 众 包 模 式 采 集 大 众 对 于 上 市 公 司 下 一 季 度 每 股 收 益 和 收 入 的 预 测, 准 确 率 往 往 超 过 专 业 机 构 Cignifi 针 对 手 机 预 付 费 用 户 开 发 风 险 评 估 模 型, 基 于 付 费 通 话 上 网 及 其 他 使 用 情 况 预 测 贷 款 人 的 还 款 意 愿 和 能 力 Kabbage 使 用 来 自 于 亚 马 逊,UPS 和 Intuit 的 信 用 评 分 模 型 数 据, 以 及 企 业 销 量 和 客 户 反 馈, 评 估 中 小 企 业 的 风 险 等 级 美 国 一 家 创 业 公 司 用 电 梯 数 据 和 黄 页 数 据 帮 助 银 行 进 行 风 险 预 警 如 果 某 家 公 司 的 电 梯 数 据 突 然 发 生 异 常 变 化, 某 种 程 度 上 反 映 了 该 公 司 的 经 营 状 况, 比 如 电 梯 停 靠 次 数 突 然 减 少 可 能 意 味 着 员 工 的 减 少 或 者 客 户 拜 访 次 数 的 减 少

38 互 联 网 金 融 除 了 各 类 应 用 场 景 之 外, 大 数 据 在 金 融 领 域 的 应 用 还 催 生 了 所 谓 互 联 网 金 融 的 新 兴 服 务 模 式 以 互 联 网 云 计 算 和 大 数 据 为 代 表 的 现 代 信 息 科 技 对 金 融 行 业 产 生 了 巨 大 的 影 响, 再 加 上 全 球 化 浪 潮 的 冲 击, 金 融 领 域 内 原 有 的 信 息 壁 垒 被 打 破, 导 致 传 统 的 中 介 开 始 消 解, 新 型 融 资 模 式 和 平 台 开 始 涌 现, 即 互 联 网 金 融 的 概 念 图. 互 联 网 金 融 互 联 网 金 融 的 称 谓 本 身 从 字 面 上 看 并 不 准 确, 其 本 质 不 是 将 金 融 产 品 和 服 务 的 交 付 界 面 移 到 互 联 网 或 移 动 应 用 上, 而 主 要 在 于 以 下 两 点 : 更 全 面 和 准 确 的 企 业 和 个 人 画 像 引 入 各 类 网 络 数 据, 在 很 大 程 度 上 解 决 市 场 信 息 不 对 称 的 问 题 网 络 数 据 尤 其 是 社 交 媒 体 信 息 蕴 含 了 丰 富 的 企 业 组 织 或 个 人 之 间 接 触 关 联 和 群 聚 的 信 息, 能 够 展 现 财 产 经 营 消 费 习 惯 和 商 业 道 德 等 各 个 方 面 的 历 史 和 当 前 状 况 在 目 前 的 现 实 规 则 和 客 观 条 件 限 制 下, 上 述 信 息 中 很

39 大 一 部 分 属 于 个 人 和 机 构 没 有 披 露 义 务 的 范 畴, 同 时 采 用 传 统 技 术 手 段 也 难 以 采 集 随 着 互 联 网 和 大 数 据 技 术 的 发 展, 上 述 数 据 的 采 集 和 分 析 成 为 可 能, 使 得 决 策 的 数 据 支 撑 面 得 以 扩 展, 进 而 极 大 提 升 了 信 用 评 级 和 风 险 控 制 的 效 率 和 准 确 率, 大 幅 降 低 全 社 会 的 交 易 成 本 更 广 阔 的 金 融 服 务 市 场 网 络 数 据 的 采 集 和 网 络 接 口 的 构 建, 其 本 质 在 于 通 过 更 丰 富 多 样 的 数 据 和 客 户 触 点, 扩 大 了 金 融 服 务 的 受 众 面 据 统 计, 全 球 范 围 约 有 50% 的 成 年 人 还 没 有 被 金 融 服 务 所 覆 盖, 其 原 因 有 二 : 征 信 方 式 的 落 后 导 致 很 大 一 部 分 民 众 并 未 被 纳 入 到 信 贷 业 务 的 覆 盖 范 围 内 ; 对 于 银 行 记 录 较 少 学 生 或 新 移 民 等 人 群, 征 信 数 据 的 缺 失 导 致 无 法 对 其 进 行 信 用 评 估 而 社 交 媒 体 电 商 消 费 记 录 等 数 据 的 引 入 则 能 够 极 大 地 扩 大 信 用 评 估 模 型 所 适 用 人 群 的 覆 盖 面, 从 而 实 现 诸 如 信 贷 一 类 金 融 服 务 市 场 的 增 容 互 联 网 金 融 代 表 了 一 种 理 念 和 发 展 趋 势, 而 不 是 一 种 企 业 归 类 的 标 准 当 前, 诸 多 传 统 金 融 机 构 引 入 了 网 络 数 据 并 建 设 了 互 联 网 交 付 的 渠 道, 而 众 多 所 谓 互 联 网 金 融 企 业 也 同 样 需 要 依 赖 线 下 数 据 可 见, 评 定 企 业 是 否 属 于 互 联 网 金 融 公 司 是 毫 无 意 义 的, 真 正 值 得 关 注 的 是 是 否 通 过 新 数 据 新 技 术 和 新 触 媒 提 升 了 风 险 管 理 水 平 降 低 了 融 资 成 本 改 善 了 用 户 体 验 简 化 了 交 易 手 段

40 2.6.5 电 信 业 运 营 商 所 拥 有 的 海 量 高 价 值 数 据, 是 大 数 据 在 电 信 业 应 用 的 主 要 立 足 点 电 信 运 营 商 作 为 社 会 信 息 的 基 础 收 录 者, 比 任 何 行 业 ( 也 许 银 行 业 除 外 ) 都 更 可 能 了 解 客 户 全 世 界 的 60 亿 部 手 机 无 时 无 刻 不 在 产 生 着 各 类 地 理 位 置 商 业 活 动 搜 索 历 史 和 社 交 网 络 信 息, 根 据 思 科 的 预 测,2017 年 全 球 移 动 数 据 流 量 将 比 2012 年 提 升 13 倍 而 且, 随 着 移 动 支 付 的 普 及, 商 业 活 动 的 信 息 也 能 够 被 移 动 设 备 所 采 集 和 记 录 可 见, 运 营 商 所 处 的 数 据 交 换 中 心 地 位, 是 Google 和 Facebook 等 巨 头 无 法 企 及 的 : 图. 运 营 商 数 据 对 客 户 的 刻 画 电 信 运 营 商 数 据 的 优 势 主 要 体 现 在 : (1) 维 度 丰 富 运 营 商 数 据 涵 盖 了 用 户 的 行 为 位 置 消 费 和 各 类 人 口 统 计 学 特 征, 是 用 户 画 像 的 物 理 基 础 ;

41 (2) 群 体 性 强 全 球 各 个 国 家 的 电 信 市 场 基 本 都 由 为 数 不 多 的 运 营 商 所 占 据, 海 量 用 户 的 累 积 导 致 运 营 商 数 据 可 以 充 分 反 映 群 体 客 户 的 特 征 ; (3) 连 续 性 好 由 于 用 户 一 般 不 会 频 繁 的 切 换 运 营 商, 数 据 累 积 时 间 相 对 较 长, 使 得 预 测 模 型 的 建 立 具 有 较 高 的 可 能 性 ; (4) 网 络 行 为 全 覆 盖 运 营 商 掌 握 的 用 户 全 网 行 为 数 据, 是 确 保 分 析 准 确 性 的 基 础 (5) 关 联 性 强 更 进 一 步, 由 于 丰 富 维 度 和 全 网 覆 盖 性 质, 运 营 商 数 据 具 备 了 更 为 深 远 的 意 义, 即 不 同 领 域 数 据 集 之 间 的 跨 域 关 联 分 析 比 如, 社 交 媒 体 数 据 手 机 通 讯 记 录 和 网 上 购 物 记 录 等 可 以 通 过 同 一 个 用 户 关 联 起 来, 进 而 催 生 更 具 想 象 空 间 的 分 析 和 应 用 场 景 基 于 上 述 优 势, 除 了 提 升 和 优 化 自 身 业 务 之 外, 运 营 商 开 展 大 数 据 应 用 的 主 要 方 向 让 自 身 数 据 与 外 部 数 据 产 生 碰 撞, 创 新 业 务 模 式 并 助 力 其 他 行 业 的 发 展 对 于 企 业 界 来 说, 使 用 运 营 商 的 数 据 对 客 户 精 准 画 像, 可 以 在 客 户 关 系 管 理 经 营 决 策 指 导 和 个 性 化 推 荐 等 方 面 发 挥 巨 大 作 用 对 于 社 会 管 理 和 公 共 服 务, 运 营 商 数 据 可 以 广 泛 用 于 交 通 市 政 治 安 等 方 面 当 前, 全 球 运 营 商 开 展 大 数 据 的 典 型 案 例 包 括 : Sprint 公 司 将 设 备 位 置 信 息 提 供 给 数 据 集 成 与 分 析 商 Locately, 由 后 者 在 汇 总 分 析 之 后 将 结 果 提 供 给 市 场 营 销 公 司 HAVAS 和 Mobext, 最 终 Whole Foods Sears Target 和 沃 尔 玛 等 超 市 连 锁 获 得 相 应 的 市 场 调 研 报 告 及 咨 询 建 议

42 Verizon 成 立 Precision Market Insight 部 门, 专 门 为 媒 体 和 广 告 行 业 各 种 活 动 或 赛 事 的 举 办 者 以 及 零 售 商 提 供 分 析 服 务 SAP 公 司 从 运 营 商 处 收 集 智 能 手 机 使 用 信 息 和 位 置 数 据, 并 销 售 给 市 场 营 销 机 构 美 国 定 位 服 务 提 供 商 AirSage 采 集 来 自 运 营 商 基 站 的 实 时 数 据, 在 经 过 匿 名 处 理 和 加 密 之 后, 对 外 提 供 特 定 地 区 内 的 人 群 特 征 分 析 服 务 西 班 牙 电 信 成 立 了 Dynamic Insights 部 门, 基 于 完 全 匿 名 和 聚 合 的 移 动 网 络 数 据, 对 影 响 某 个 时 段 某 个 地 点 人 流 量 的 关 键 因 素 进 行 分 析, 并 将 分 析 结 果 作 为 商 品 出 售 日 本 NTT 公 司 利 用 所 掌 握 的 用 户 信 息 向 金 融 电 子 商 务 物 联 网 等 周 边 产 业 进 行 扩 张 法 国 运 营 商 SFR 通 过 Intersec 公 司 的 软 件 方 案, 分 析 球 赛 后 观 众 主 要 通 过 哪 些 地 铁 站 疏 散, 而 后 交 通 部 门 则 根 据 分 析 结 果 在 热 点 地 区 提 供 短 程 的 摆 渡 服 务 麻 省 理 工 基 于 意 大 利 罗 马 的 电 信 运 营 商 数 据, 分 析 工 作 日 和 休 息 日 的 人 群 流 动 模 式 和 交 通 拥 堵 状 况 哈 佛 大 学 的 流 行 病 学 家 Caroline Buckee 基 于 肯 尼 亚 的 1500 万 部 手 机 数 据, 分 析 传 染 病 感 染 人 群 的 流 动 方 向, 其 成 果 发 表 在 科 学 杂 志 上 人 力 资 源 企 业 人 力 资 源 部 门 或 者 人 力 公 司, 拥 有 大 量 的 市 场 劳 动 力 信 息,

43 员 工 工 作 表 现 信 息 企 业 内 部 组 织 和 层 级 信 息 在 上 述 数 据 的 基 础 上, 补 充 以 互 联 网 上 散 落 的 大 量 企 业 和 个 人 碎 片 信 息, 能 够 被 人 力 资 源 管 理 者 用 来 对 企 业 或 个 人 进 行 更 为 全 面 的 画 像, 尤 其 是 了 解 和 掌 握 企 业 内 部 运 作 和 个 人 工 作 生 活 相 关 的 不 易 被 搜 集 的 信 息, 进 而 更 精 准 的 定 位 人 才 或 对 接 人 力 市 场 供 需 两 端 在 具 体 方 法 上, 生 物 计 量 和 游 戏 化 等 元 素 的 引 入, 可 以 极 大 丰 富 数 据 来 源, 为 更 加 全 面 和 准 确 的 评 估 奠 定 基 础 大 数 据 在 人 力 资 源 方 面 的 主 要 应 用 场 景 有 : 首 先, 在 人 力 招 聘 和 职 位 供 需 对 接 方 面, 通 过 大 数 据 技 术, 对 前 述 信 息 进 行 分 析 和 挖 掘, 提 升 对 人 才 信 息 的 收 集 分 析 和 搜 索 能 力, 使 人 力 测 评 由 主 观 性 强 的 人 为 判 断 向 基 于 大 数 据 的 建 模 评 估 方 向 转 变 同 时, 业 界 也 越 来 越 多 地 将 社 交 媒 体 等 类 信 息 引 入 到 分 析 模 型 中, 进 一 步 提 升 人 才 评 估 和 职 位 匹 配 的 准 确 性 其 次, 除 了 人 才 招 聘 和 管 理 范 畴 之 外, 人 力 数 据 中 所 蕴 含 的 信 息 还 能 够 反 映 企 业 的 运 营 状 况 和 业 务 需 求 人 力 资 源 部 门 可 以 基 于 自 身 数 据 的 分 析 挖 掘, 为 管 理 层 提 供 相 应 的 决 策 支 持 而 人 力 公 司 则 可 以 通 过 数 据 分 析, 为 各 行 各 业 提 供 人 力 资 源 管 理 解 决 方 案 和 行 业 宏 观 分 析 报 告 当 前, 大 数 据 在 人 力 资 源 领 域 的 各 类 典 型 案 例 有 : LinkedIn 公 司 基 于 大 数 据 分 析, 构 建 了 用 户 的 身 份 识 别 系 统, 比 如 哪 些 人 在 企 业 里 属 于 关 键 决 策 人 等 Kiran Analytics 公 司 为 美 国 富 国 银 行 提 供 基 于 生 物 计 量 的 员 工 评 测 方 案, 对 员 工 进 行 分 析 并 预 测 离 职 可 能 性, 并 对 表 现 优 异 的

44 员 工 进 行 群 体 画 像, 从 而 指 导 未 来 的 招 聘 方 案 Glassdoor Simply hired 和 ResumUp 等 企 业 通 过 各 种 方 式 收 集 企 业 信 息, 为 求 职 者 提 供 企 业 评 价 薪 水 范 围 面 试 问 题 招 聘 启 事 等 信 息, 达 成 供 需 双 方 的 信 息 对 等 Pymetrics 通 过 游 戏 化 的 测 试 方 案, 对 应 聘 者 的 性 格 特 质 进 行 分 析 评 估, 供 招 聘 企 业 进 行 筛 选 Wanted Analytics 和 Forensic JobStats 为 企 业 提 供 招 聘 广 告 的 投 放 方 案, 帮 助 企 业 快 速 定 位 适 合 的 人 力 资 源 Identified 公 司 提 供 基 于 Facebook 的 职 业 搜 索 引 擎, 通 过 工 作 经 历 教 育 背 景 和 社 交 网 络 数 据 等 评 估 应 聘 者, 类 似 于 Google PageRank 的 人 力 版 Evolv 和 Knack 公 司 为 企 业 提 供 招 聘, 培 训 和 人 才 数 据 分 析 的 大 数 据 服 务 IBM 开 发 Professional Marketplace 数 据 库, 包 含 员 工 技 能 薪 资 以 及 近 期 工 作 安 排 等 信 息, 进 而 通 过 分 析 为 项 目 实 现 最 佳 的 资 源 配 置 2012 年, 以 13 亿 美 元 收 购 人 力 服 务 公 司 Kenexa, 基 于 后 者 对 4000 万 员 工 和 管 理 人 员 的 调 查 问 卷, 分 析 特 定 岗 位 所 需 的 品 质 特 性 零 售 零 售 业 属 于 较 早 引 入 大 数 据 应 用 的 行 业 之 一 传 统 上, 零 售 业 的 数 据 分 析 基 础 是 POS 机 数 据 和 竞 争 对 手 信 息 等 随 着 电 脑 和 移 动 设 备

45 的 购 物 模 式 的 普 及, 零 售 商 可 以 通 过 网 络 收 集 存 储 和 分 析 更 为 广 泛 的 用 户 信 息, 从 而 形 成 对 用 户 更 加 深 刻 的 洞 察 此 外, 天 气 公 共 事 件 信 息 的 引 入 客 户 电 话 信 息 的 转 化, 也 逐 渐 成 为 大 数 据 在 零 售 业 应 用 的 基 础 总 体 而 言, 目 前 零 售 业 的 大 数 据 应 用 场 景 包 括 : 购 物 体 验 的 个 性 化 主 要 是 收 集 和 分 析 POS 在 线 交 易 社 交 媒 体 客 服 电 话 等 信 息, 提 升 客 户 画 像 个 性 化 推 荐 以 及 服 务 水 平 ; 商 品 布 局 的 优 化 主 要 是 收 集 并 分 析 竞 争 对 手 天 气 公 共 事 件 等 信 息, 实 时 调 整 价 格 店 面 商 品 布 局 和 物 流 计 划 ; 运 营 效 率 提 升 根 据 各 种 交 通 天 气 政 治 和 需 求 信 息, 形 成 整 个 零 售 网 络 的 全 局 管 理 体 系, 更 全 面 地 进 行 财 务 决 策 以 及 提 升 防 欺 诈 水 平

46 图. 零 售 业 大 数 据 应 用 大 数 据 在 零 售 业 的 典 型 应 用 案 例 包 括 : 沃 尔 玛 利 用 全 球 各 分 店 产 生 的 海 量 数 据, 结 合 气 象 信 息 经 济 和 人 口 数 据 等, 对 货 架 定 价 库 存 和 促 销 进 行 优 化 例 如, 通 过 数 据 分 析 及 时 指 导 库 存 调 整, 将 一 些 店 面 的 业 绩 提 升 了 40%; 同 时, 其 40% 以 上 交 易 是 靠 个 性 推 荐 转 化 而 成 的 沃 尔 玛 在 2013 年 6 月 收 购 了 大 数 据 预 测 公 司 Inkiru, 以 此 获 得 所 需 的 分 析 人 才 技 术 和 平 台 梅 西 百 货 (Macys) 基 于 Hadoop 平 台, 综 合 运 用 R Impala SAS Vertica 和 Tableau 等 各 类 分 析 工 具, 开 发 机 器 学 习 算 法, 对 企 业 数 据 进 行 分 析, 提 升 客 户 认 知 水 平 和 个 性 化 推 荐 的 精 度 西 尔 斯 百 货 (Sears) 引 入 Kafka 和 Storm, 对 业 务 数 据 进 行 实 时 处 理, 将 复 杂 营 销 活 动 的 准 备 期 从 8 个 礼 拜 减 少 到 1 个 礼 拜 塔 吉 特 百 货 (Target) 专 门 成 立 了 Guest Marketing Analytics 部 门, 针 对 每 个 用 户 专 门 建 档 进 行 分 析, 包 括 与 Target 相 关 的 信 息 ( 如 购 物 记 录 刷 卡 信 息 服 务 电 话 拨 打 记 录 ) 以 及 从 外 部 引 入 的 信 息 ( 如 婚 姻 家 庭 种 族 职 业 教 育 情 况 住 址 开 车 到 Target 所 需 时 间 薪 酬 上 网 记 录 阅 读 喜 好 和 政 治 观 点 等 ) Bloomreach 通 过 互 联 网 用 户 分 析, 预 测 用 户 的 购 物 偏 好, 实 现 电 子 商 务 站 点 的 网 页 优 化 RelateIQ 大 数 据 智 能 关 系 管 理 公 司, 从 Gmail Facebook 和 LinkedIn 抓 取 并 整 合 数 据, 为 企 业 提 供 更 加 详 细 的 客 户 信 息

47 2.6.8 广 告 大 数 据 在 广 告 方 面 的 应 用 首 先 是 提 升 广 告 可 见 度 (viewability), 即 评 估 广 告 是 否 精 准 地 被 送 达 目 标 群 体 广 告 可 见 度 的 重 要 性 正 逐 渐 被 市 场 认 识, 根 据 ClickZ 公 司 的 统 计, 有 77% 的 广 告 甚 至 都 没 有 被 潜 在 目 标 群 体 看 到 目 前, 互 联 网 作 为 新 兴 媒 介 承 载 了 巨 大 的 广 告 投 放 量, 在 全 球 范 围 内 其 广 告 投 放 金 额 已 超 越 平 面 广 告, 成 为 仅 次 于 电 视 媒 体 的 第 二 大 信 息 传 播 平 台 基 于 用 户 的 网 络 浏 览 和 点 击 数 据, 结 合 其 他 能 够 反 映 用 户 特 性 的 数 据, 通 过 大 数 据 分 析, 专 业 公 司 可 以 对 广 告 位 的 可 见 度 进 行 评 估, 具 体 而 言 就 是 在 投 放 平 台 受 众 群 体 和 投 放 时 间 的 选 择 上 更 加 精 准 其 中, 最 典 型 的 代 表 就 是 自 2010 年 以 来 兴 起 的 实 时 竞 价 (Real Time Bid) 广 告 模 式, 根 据 海 量 数 据 将 当 前 受 众 与 广 告 精 确 匹 配, 实 时 提 升 广 告 的 投 放 精 度 和 成 本 收 益 率 与 之 相 对 应, 一 门 被 称 之 为 计 算 广 告 学 的 分 支 学 科 正 在 兴 起, 旨 在 结 合 文 本 分 析 信 息 获 取 统 计 学 机 器 学 习 优 化 以 及 微 观 经 济 学 等, 研 究 用 户 和 广 告 之 间 的 匹 配 问 题 除 了 网 络 数 据 之 外, 广 告 业 还 可 以 基 于 电 信 运 营 商 数 据 对 线 下 广 告 的 可 见 度 和 效 果 进 行 评 估 比 如 对 某 广 告 牌 附 近 的 日 常 人 流 进 行 分 析, 结 合 广 告 主 在 广 告 投 放 一 段 时 期 内 的 销 售 数 据 或 网 站 访 问 数 据, 可 以 评 估 广 告 对 企 业 所 产 生 的 实 际 影 响 此 外, 基 于 有 线 电 视 网 络 收 集 的 数 据 也 能 够 用 于 对 电 视 广 告 的 可 见 度 进 行 评 估

48 图. 广 告 业 大 数 据 应 用 目 前, 将 大 数 据 技 术 应 用 于 广 告 行 业 的 典 型 案 例 有 : ebay 通 过 数 据 挖 掘 精 确 计 算 出 广 告 中 的 每 一 个 关 键 字 带 来 的 回 报 通 过 对 广 告 投 放 的 优 化,2007 年 以 来 ebay 产 品 销 售 的 广 告 费 降 低 了 99% Simpli.fi 公 司 基 于 非 结 构 数 据, 为 互 联 网 广 告 实 时 竞 价 提 供 支 撑 Integral Ad Science( 原 AdSafe) 公 司 基 于 机 器 学 习 算 法, 评 估 广 告 位 的 可 见 度 Exelate 运 用 独 特 的 建 模 算 法, 为 实 时 竞 价 广 告 行 业 提 供 数 据 和 分 析 服 务, 让 广 告 商 和 DSP 可 以 深 入 地 了 解 受 众 属 性 Route 利 用 GPS 眼 球 追 踪 软 件 以 及 流 量 模 式 分 析 等 工 具, 确 定 长

49 椅 以 及 公 交 车 两 侧 广 告 的 可 见 度 农 业 大 数 据 在 农 业 领 域 具 有 广 阔 的 应 用 前 景, 这 主 要 是 由 农 业 本 身 的 特 点 以 及 当 前 全 球 在 农 业 方 面 面 临 的 各 种 挑 战 所 决 定 的 : (1) 农 业 生 产 周 期 长 影 响 因 子 复 杂, 导 致 农 业 数 据 涵 盖 面 广 数 据 源 复 杂, 大 数 据 理 念 技 术 和 方 法 具 有 极 大 的 应 用 空 间, 有 助 于 解 决 农 业 领 域 数 据 的 采 集 存 储 计 算 与 应 用 问 题 (2) 随 着 全 球 人 口 的 增 加 气 候 极 端 化 和 能 源 价 格 波 动 的 加 剧, 农 业 领 域 对 于 提 升 风 险 管 理 水 平 和 运 营 效 率 的 需 求 日 益 强 烈 传 感 器 物 联 网 云 计 算 和 大 数 据 等 技 术 的 成 熟 为 应 对 挑 战 提 供 了 契 机, 能 够 推 动 农 业 向 集 约 化 精 准 化 和 智 能 化 的 方 向 转 变 大 数 据 在 农 业 领 域 主 要 有 以 下 应 用 场 景 : 科 学 化 管 理 通 过 对 农 田 环 境 数 据 采 集 和 遥 感 监 测, 通 过 大 数 据 分 析, 为 土 质 管 理 产 量 评 估 病 虫 害 防 控 和 化 肥 药 剂 管 理 提 供 支 持 市 场 监 控 通 过 对 气 候 农 产 品 价 格 道 路 交 通 信 息 和 终 端 消 费 等 数 据 的 整 合 与 分 析, 实 时 监 测 并 评 估 市 场 需 求 和 价 格 变 动 等 情 况 精 细 化 耕 种 整 合 有 关 土 壤 水 资 源 动 植 物 和 气 候 的 数 据 并 进 行 分 析, 实 现 耕 种 模 式 和 方 法 的 精 细 化

50 食 品 安 全 实 时 采 集 生 产 运 输 和 消 费 等 各 个 环 节 数 据, 结 合 条 形 码 RFID 等 技 术, 实 现 对 农 产 品 全 产 业 链 条 的 监 控 和 溯 源 图. 农 业 大 数 据 示 意 当 前, 在 农 业 领 域, 最 具 有 大 数 据 内 涵 和 现 实 意 义 的 应 用 场 景 是 基 于 环 境 数 据 提 升 生 产 管 理 运 输 等 环 节 的 效 率 据 IBM 统 计, 全 球 90% 以 上 的 农 作 物 损 失 是 由 于 天 气 原 因 造 成 的,50% 的 粮 食 损 耗 发 生 在 运 输 环 节 准 确 的 天 气 建 模 预 测 可 以 将 农 作 物 损 失 减 少 25%, 提 升 农 产 品 生 产 和 运 输 的 效 率 当 前, 大 数 据 在 全 球 农 业 领 域 的 典 型 应 用 案 例 有 : 孟 山 都 公 司 用 历 史 的 降 水 和 土 壤 品 质 数 据, 帮 助 农 民 预 测 产 出 和 管 理 风 险 2012 年, 孟 山 都 花 2.5 亿 美 元 收 购 的 种 植 技 术 公 司 Precision Planting, 实 现 每 块 农 田 上 耕 种 模 式 的 差 异 化

51 Climate 公 司 ( 已 被 孟 山 都 以 9.3 亿 美 元 收 购 ) 每 天 从 250 万 个 采 集 点 获 取 天 气 数 据, 并 结 合 大 量 的 天 气 模 拟 海 量 的 植 物 根 部 构 造 和 土 质 分 析 等 信 息 对 意 外 天 气 风 险 做 出 综 合 判 断, 向 农 民 提 供 农 作 物 保 险 芝 加 哥 天 气 交 易 所 (Chicago Weather Exchange) 基 于 气 象 数 据 的 采 集 和 分 析, 提 供 温 度 和 降 雪 的 期 货 合 约 Farmeron 公 司 为 农 民 提 供 类 似 于 Google Analytics 的 数 据 跟 踪 和 分 析 服 务 通 过 将 饲 料 库 存 消 耗 和 花 费, 畜 牧 的 出 生 死 亡 产 奶 等 信 息 进 行 整 合, 以 分 析 报 告 的 形 式 监 测 农 场 整 体 状 况 Solum 公 司 通 过 高 效 精 准 的 土 壤 抽 样 分 析, 帮 助 种 植 者 在 正 确 的 时 间 和 地 点 精 确 施 肥, 帮 助 农 民 提 高 产 出 降 低 成 本 文 莱 政 府 与 IBM 合 作, 研 发 了 当 地 天 气 预 报 的 数 据 模 型, 目 标 是 在 2015 年 末 将 本 国 之 前 3% 稻 米 自 给 率 提 高 到 60% 同 时, 通 过 气 象 学 和 水 文 地 理 学 模 型 预 测 降 雨 量 降 雨 时 间 和 地 表 水 流 变 化 趋 势, 合 理 安 排 排 涝 施 肥 和 喷 洒 杀 虫 药 等 生 产 活 动 企 业 应 用 企 业 应 用 主 要 指 采 购 库 存 生 产 线 物 流 办 公 团 队 协 作 和 客 户 管 理 等 基 础 性 横 向 应 用, 用 于 协 调 管 理 者 员 工 与 部 门 之 间 的 关 系, 为 企 业 运 营 管 理 及 业 务 提 供 全 面 的 综 合 支 持 超 越 行 业 的 界 限, 当 前 全 球 企 业 界 面 临 的 共 同 的 挑 战 和 机 遇 在 金 融 危 机 的 威 胁 尚 未 完 全 消 除 的 背 景 下, 市 场 竞 争 加 剧 利 润 下 滑

52 企 业 增 长 放 缓 等 是 企 业 界 必 须 应 对 的 挑 战 而 在 互 联 网 发 展 的 带 动 下, 新 市 场 新 渠 道 新 需 求 和 新 交 付 模 式 的 不 断 涌 现, 也 为 各 行 业 带 来 巨 大 的 市 场 空 间, 对 企 业 来 说 是 宝 贵 的 历 史 机 遇 为 了 迎 接 挑 战 把 握 机 遇, 企 业 必 须 贯 彻 大 数 据 的 理 念, 以 数 据 驱 动 业 务, 引 入 相 应 的 大 数 据 技 术, 全 面 了 解 企 业 运 营 状 况 和 客 户 需 求, 持 续 优 化 运 营, 提 升 产 品 和 服 务 水 平, 发 掘 新 的 业 务 增 长 点 大 数 据 在 企 业 应 用 领 域 的 切 入 点 主 要 是 实 时 采 集 整 合 和 分 析 企 业 内 外 部 的 数 据 ( 包 括 供 应 商 信 息 采 购 数 据 库 存 信 息 订 单 信 息 销 售 数 据 和 客 户 反 馈 等 ), 从 而 形 成 对 企 业 运 营 的 全 面 深 刻 洞 察 并 对 经 营 决 策 进 行 支 撑 与 企 业 应 用 领 域 传 统 的 数 据 分 析 相 比, 大 数 据 在 企 业 应 用 中 最 鲜 明 的 特 点 是 引 入 了 对 音 频 视 频 文 档 工 作 流 日 志 社 交 媒 体 等 非 结 构 化 数 据 的 整 合 和 挖 掘 能 力 不 局 限 于 具 体 垂 直 行 业 划 分, 大 数 据 在 企 业 界 的 通 用 性 案 例 有 : Gainsight 公 司 整 合 包 括 Salesforce 的 多 种 数 据 源, 对 销 售 日 志 进 行 分 析, 以 SaaS 的 模 式 为 企 业 提 供 客 户 挽 留 与 流 失 预 测 服 务 Fractal Analytics 公 司 基 于 客 户 的 交 易 记 录 和 社 交 媒 体 内 容 分 析 客 户 特 征, 帮 助 企 业 对 客 户 进 行 全 面 画 像 Aspect 公 司 开 发 了 语 音 数 据 分 析 平 台 Aspect Analytics for Speech and Text, 专 门 针 对 呼 叫 中 心 的 非 结 构 化 语 音 数 据 进 行 分 析, 深 刻 洞 察 客 户 的 需 求 Elasticsearch 公 司 基 于 开 源 的 Apache Lucene 系 统, 为 企 业 提

53 供 内 容 管 理 和 搜 索 方 案 WGBH 电 视 台 采 用 RedPoint 公 司 的 技 术 来 实 现 多 渠 道 用 户 数 据 的 清 洗 和 整 合 TideMark 公 司 为 企 业 客 户 提 供 绩 效 管 理 和 预 测 分 析 云 服 务 能 源 能 源 行 业 是 国 民 经 济 和 社 会 发 展 的 基 础, 具 有 多 环 节 多 地 域 特 色, 需 要 对 长 期 负 荷 以 及 环 境 变 化 的 监 控 分 析 和 预 测, 这 是 大 数 据 在 能 源 行 业 应 用 的 主 要 切 入 点 基 于 各 类 传 感 器 所 采 集 的 海 量 数 据, 能 够 对 能 源 系 统 实 时 的 监 测 和 分 析, 提 升 运 维 和 服 务 的 效 率, 优 化 能 耗 负 载 同 时, 基 于 气 象 数 据 的 分 析 建 模 来 减 少 极 端 天 气 给 基 础 设 施 造 成 的 损 失 下 列 是 几 种 能 源 行 业 的 大 数 据 典 型 应 用 场 景 : 在 能 源 供 应 链 上 实 现 信 息 链 的 全 覆 盖, 及 时 掌 握 上 下 游 的 行 为 和 变 化, 实 现 能 源 生 产 分 配 以 及 消 耗 的 优 化, 支 持 能 源 网 络 的 安 全 检 测 与 控 制 ( 包 括 灾 难 预 警 调 度 决 策 和 用 量 预 测 ) 客 户 行 为 分 析 和 精 细 化 运 营 管 理 等 多 方 面 基 于 诸 如 智 能 电 表 等 能 耗 采 集 设 备, 能 源 供 应 公 司 可 以 快 速 采 集 分 析 能 源 用 量, 根 据 能 耗 高 峰 和 低 谷 时 段 的 制 定 不 同 的 价 格 策 略, 在 平 衡 了 系 统 负 载 的 同 时, 降 低 用 户 的 能 耗 成 本 ; 避 免 全 球 气 候 极 端 化 给 能 源 基 础 设 施 造 成 的 损 失 据 IBM 推 算, 截 至 2030 年, 气 候 相 关 的 损 害 将 给 能 源 设 施 带 来 每 年 180 亿 美 元 的 损 失 因 此, 准 确 高 效 的 天 气 预 测 模 型 将 对 能 源 行 业 带 来 巨

54 大 的 收 益 当 前, 大 数 据 在 能 源 行 业 的 典 型 应 用 案 例 如 下 : GE 公 司 基 于 Hadoop 和 Amazon Web Services 构 建 监 控 平 台, 用 于 设 备 维 护 故 障 预 警 节 能 和 流 程 优 化 维 斯 塔 斯 风 力 系 统 公 司 (Vestas Wind Systems) 利 用 大 数 据 技 术 对 气 象 数 据 进 行 分 析, 找 出 安 装 风 力 涡 轮 机 和 整 个 风 电 场 最 佳 的 地 点, 使 以 往 需 要 数 周 的 分 析 工 作 在 不 足 1 小 时 内 便 可 完 成 The California ISO 公 司 采 集 天 气 传 感 器 和 电 表 数 据, 实 现 美 国 加 州 电 网 的 优 化 调 配, 预 测 停 电 等 事 故 的 发 生 概 率 Arad 公 司 在 IBM 的 协 助 下 监 测 自 来 水 管 道 和 水 表 的 实 时 状 况, 实 现 水 资 源 的 优 化 配 置 Energy Hub 公 司 与 传 感 器 网 络 厂 商 Earth Networks 合 作, 利 用 气 象 数 据 提 高 能 源 供 给 设 施 的 效 率 TXU Energy 公 司 利 用 智 能 电 表 实 时 采 集 的 数 据, 通 过 价 格 杠 杆 来 平 抑 用 电 高 峰 和 低 谷 的 波 动 幅 度, 鼓 励 用 户 避 开 用 电 高 峰 Grid Navigator 公 司 为 楼 宇 业 主 提 供 能 够 更 好 控 制 能 源 使 用 的 软 件 系 统 德 国 部 分 地 区 通 过 智 能 电 网 终 端 每 隔 五 分 钟 或 十 分 钟 收 集 一 次 数 据, 以 此 预 测 客 户 的 用 电 习 惯, 推 断 出 在 未 来 数 月 时 间 里 的 整 体 电 力 需 求, 进 而 售 卖 电 力 期 货

55 政 府 决 策 与 公 共 服 务 大 数 据 分 析 在 经 济 发 展 社 会 管 理 卫 生 防 疫 等 方 面 对 各 国 政 府 都 具 有 极 其 重 要 的 意 义 扩 展 数 据 源, 引 入 大 数 据 相 关 的 新 兴 技 术, 可 以 推 动 政 府 和 公 共 服 务 机 构 从 全 新 的 视 角 审 视 自 身 工 作, 实 现 公 共 管 理 和 服 务 方 式 方 法 的 创 新, 进 而 提 升 决 策 水 平 社 会 管 理 水 平 和 公 共 服 务 水 平 大 数 据 在 政 府 和 公 共 服 务 领 域 典 型 应 用 是 统 计 及 后 续 政 策 的 制 定 工 作 政 策 制 定 离 不 开 全 面 准 确 的 统 计, 比 如 宏 观 经 济 运 行 情 况 人 口 普 查 工 农 业 产 值 和 流 通 环 节 的 价 格 指 数 等 相 对 于 传 统 的 方 法, 以 大 数 据 理 念 采 集 和 分 析 可 以 使 统 计 结 果 更 具 时 效 性 更 加 全 面 比 如, 麻 省 理 工 通 过 在 线 商 品 价 格 预 测 CPI 数 据,IBM 日 本 通 过 搜 索 引 擎 热 词 统 计 来 评 估 美 国 的 ISM 制 造 业 指 数 迅 猛 增 长 的 网 络 数 据 背 后 是 相 互 联 系 的 各 种 人 群, 结 合 心 理 学 经 济 学 信 息 科 学 等 不 同 学 科 共 同 探 索 网 络 数 据 产 生 扩 散 和 涌 现 的 基 本 规 律, 揭 示 其 后 所 隐 藏 的 社 会 动 向 和 矛 盾 隐 患, 能 够 为 社 会 稳 定 和 国 家 安 全 提 供 及 时 而 充 分 的 决 策 依 据 此 外, 大 数 据 在 提 升 突 发 事 件 反 应 速 度 和 处 理 方 式 上 也 有 较 大 的 发 挥 空 间 政 府 部 门 和 公 共 服 务 机 构 沉 淀 了 大 量 的 宝 贵 数 据 资 源, 这 些 数 据 是 整 个 社 会 经 济 活 动 的 数 字 化 记 录, 运 用 大 数 据 的 理 念 和 技 术 可 以 极 大 地 提 升 工 作 效 率 比 如, 通 过 图 像 识 别 技 术, 对 海 量 的 监 控 视 频 数 据 进 行 分 析 和 挖 掘, 可 以 及 时 发 现 治 安 隐 患

56 目 前, 各 国 在 政 府 决 策 和 公 共 服 务 领 域 的 大 数 据 应 用 典 型 案 例 有 : 英 国 国 家 统 计 局 通 过 大 数 据 技 术 进 行 人 口 普 查, 在 节 省 约 5 亿 英 镑 经 费 的 同 时 还 提 升 了 人 口 数 据 的 实 时 性 纽 约 州 能 源 研 究 和 发 展 管 理 局 运 用 大 数 据 技 术 来 评 估 气 候 变 化 的 影 响, 并 为 农 业 公 共 卫 生 能 源 和 交 通 运 输 等 领 域 提 供 应 对 气 候 变 化 的 策 略 美 国 拉 斯 维 加 斯 市 通 过 传 感 器 技 术 和 数 据 可 视 化 建 模, 构 建 市 政 基 础 设 施 实 景 图, 提 升 事 故 处 置 的 效 率 德 国 某 些 州 政 府 建 立 了 覆 盖 人 口 分 布 地 理 数 据 矿 藏 信 息 等 领 域 的 数 据 库, 通 过 数 据 分 析 让 决 策 更 加 科 学 化 富 士 通 公 司 基 于 用 户 手 机 访 问 社 交 媒 体 的 数 据, 帮 助 东 京 市 政 府 建 立 预 测 犯 罪 或 暴 力 事 件 的 热 点 图, 探 索 治 安 事 件 的 高 效 应 对 机 制 PrePol 公 司 与 美 国 洛 杉 矶 警 方 合 作, 将 地 震 预 测 算 法 运 用 于 精 确 到 500 平 方 英 尺 范 围 内 的 治 安 案 件 预 测, 使 盗 窃 罪 和 暴 力 犯 罪 率 分 别 下 降 了 33% 和 21% 联 合 国 启 动 的 全 球 脉 动 计 划 (UN Global Pulse), 采 集 2009 年 到 2011 年 之 间 来 自 于 美 国 和 爱 尔 兰 的 社 交 媒 体 数 据 并 按 住 房 交 通 酒 精 教 育 医 疗 等 主 题 进 行 分 类, 通 过 文 本 标 注 和 情 感 计 算 发 现 了 交 通 通 勤 类 话 题 高 峰 与 失 业 率 之 间 的 强 相 关 性 Shotspotter 公 司 建 立 了 全 美 的 枪 声 监 测 平 台, 为 警 方 提 供 实 时 的 枪 击 事 件 信 息

57 WideNoise 公 司 通 过 手 机 应 用 感 知 并 采 集 周 围 噪 音, 分 析 出 整 个 城 市 的 噪 音 分 布, 从 而 对 城 市 规 划 起 到 参 考 作 用

58 三 我国大数据产业分析 在我国的大数据产业链条上 由于尚未出现微软 IBM 惠普一类 称得上跨平台基础架构的厂商 同时也没有出现具有较大影响力的大 数据开源项目 因此 国内的产业区块暂不计入跨平台基础架构和开 源两个部分 整体大数据产业链布局图如下所示 分析 医疗 健康 金融/保险 商业 智能 图像分析 电子商务 旅 游 农业/ 天气 地理信息服务 实时 处理 房地产 语音 识别 语音服务 基因分析 空间分析 用户分析 日志分析 行业 平台 数 据 源 安全安全 NoSQL 气象 云 存 储 视频 分 布 式 文件管理 图片/视频 众包 采集 开放 平台 个人 数据 钢 铁 医疗 健康 房地产 监控 车联 网 交通/ 物流 物联 网 算法 数据银行 广告 营销 人 力 资 源 可视 化 基 础 架 构 媒 体 娱 乐 企业应用 车联 网 教育/ 知识 媒体/娱乐 交 通 地 理 农业/ 环境 基础 平台 生 活 建筑/房产 旅 游 金 融 体育 能 源 图.我国大数据产业链布局 关于企业在产业链上的定位 由于我国的大数据产业发展还未完 全成型 各企业的业务模式都还处于探索期间 本报告站在大数据产 业的角度 对相关企业 产品和服务进行梳理 确定其在大数据产业 链中应处的环节 比如

59 大 型 电 子 商 务 平 台 尽 管 拥 有 海 量 数 据, 但 不 太 可 能 将 其 高 价 值 数 据 大 范 围 开 放, 因 而 不 计 入 数 据 源 区 块 ; 某 些 云 服 务 提 供 商 没 有 直 接 通 过 所 拥 有 的 数 据 获 得 收 入, 但 由 于 其 数 据 可 能 对 其 他 行 业 具 有 较 高 利 用 价 值, 因 而 也 归 入 数 据 源 区 块 ; 某 些 企 业 拥 有 较 强 的 数 据 分 析 技 术, 在 大 数 据 产 业 中 最 大 的 价 值 体 现 在 于 为 其 他 企 业 提 供 分 析 技 术, 尽 管 其 当 前 没 有 直 接 向 市 场 交 付 分 析 服 务 或 方 案, 仍 然 归 入 分 析 区 块 3.1 数 据 源 与 国 外 的 数 据 源 区 块 相 比, 我 国 大 数 据 产 业 对 于 数 据 源 有 着 自 身 的 特 点 由 于 数 据 流 通 在 全 社 会 还 未 形 成 规 模, 国 内 数 据 源 区 块 中 的 综 合 性 平 台 比 例 较 为 明 显, 尤 其 是 培 育 出 了 集 采 集 加 工 和 流 通 功 能 于 一 体 的 数 据 银 行 典 型 案 例 同 时, 在 国 内 互 联 网 向 其 他 行 业 迅 速 渗 透 的 趋 势 下, 各 类 线 下 数 据 的 采 集 和 整 合 现 象 也 较 为 突 出 ( 尽 管 未 必 直 接 通 过 数 据 租 赁 或 销 售 获 取 利 益 ) 根 据 数 据 所 涉 及 的 行 业 和 企 业 服 务 形 态, 国 内 的 数 据 源 类 企 业 可 分 为 以 下 几 类 : 数 据 银 行 最 为 典 型 的 是 数 据 堂 ( 北 京 ) 科 技 股 份 有 限 公 司 具 有 鲜 明 的 数 据 市 场 中 介 功 能, 成 为 数 据 资 源 供 需 对 接 的 桥 梁 : 主 动 采 集 数 据 资 源 满 足 各 类 需 求 ; 履 行 数 据 资 产 管 理 职 能, 通 过 数 据 加 工 和 转 化 服 务, 实 现 数 据 资 源 的 变 现 和 增 值

60 综 合 性 数 据 流 通 平 台 中 关 村 数 海 大 数 据 交 易 平 台 是 国 内 首 个 面 向 数 据 交 易 的 产 业 组 织, 通 过 开 放 API 进 行 数 据 录 入 检 索 调 用, 为 政 府 机 构 科 研 单 位 企 业 乃 至 个 人 提 供 数 据 交 易 和 使 用 的 场 所 开 放 平 台 数 据 堂 基 于 自 身 的 各 类 海 量 数 据, 对 外 开 放 通 用 数 据 API; 淘 宝 和 百 度 基 于 自 身 的 业 务 数 据, 分 别 推 出 了 数 据 魔 方 和 数 据 开 放 平 台 ; 聚 合 数 据 也 通 过 API 接 口 为 应 用 开 发 者 提 供 各 类 数 据 众 包 采 集 平 台 数 据 堂 基 于 广 大 的 用 户 群 体, 众 包 采 集 各 类 语 音 和 图 片 数 据 ; 成 都 夏 陌 科 技 推 出 的 嗨 图 应 用, 通 过 众 包 方 式 对 图 片 数 据 进 行 标 注 建 筑 类 数 广 联 达 通 过 销 售 建 筑 材 料 价 格 信 息 赚 取 利 润, 为 客 户 提 供 反 映 经 济 形 势 和 供 求 关 系 变 化 的 价 格 数 据 ; 鲁 班 软 件 构 建 了 建 筑 业 的 数 据 汇 集 平 台, 积 累 了 大 量 建 材 相 关 数 据 金 融 类 万 得 信 息 专 注 于 金 融 行 业, 致 力 于 为 国 内 投 资 者 提 供 金 融 信 息 和 软 件 服 务 ; 九 次 方 金 融 和 通 联 数 据 掌 握 海 量 的 上 市 企 业 各 类 数 据 ; 同 花 顺 为 金 融 机 构 提 供 财 经 资 讯 及 全 球 金 融 市 场 行 情 等 信 息 ; 恒 生 电 子 ( 阿 里 系 以 33 亿 元 入 股 ) 主 营 金 融 IT 产 品 与 服 务, 掌 握 各 大 金 融 机 构 重 要 数 据, 全 面 覆 盖 客 户 的 各 类 交 易 记 录 ; 银 联 智 惠, 掌 握 所 有 银 联 卡 用 户 的 刷 卡 数 据 在 保 险 行 业, 2014 年 中 国 保 险 保 障 基 金 有 限 责 任 公 司 出 资 20 亿 元 人 民 币 成 立 中 国 保 险 信 息 技 术 管 理 有 限 责 任 公 司, 旨 在 打 造 中 国 保 险 行 业 的

61 数 据 共 享 平 台 气 象 类 华 风 气 象 直 属 于 国 家 气 象 局, 是 最 具 权 威 性 的 气 象 数 据 源 房 地 产 类 易 遨 中 国 通 过 为 房 产 中 介 行 业 开 发 ERP 系 统, 积 累 了 大 量 房 源 经 纪 人 和 买 家 数 据 影 视 / 娱 乐 类 克 顿 公 司 ( 已 被 华 策 公 司 以 16 亿 元 的 价 格 收 购 ) 建 立 了 影 视 剧 行 业 数 据 库, 收 录 自 97 年 以 来 近 万 部 电 视 剧 的 收 视 评 估 情 况 国 内 主 要 制 作 班 底 以 及 近 万 主 创 人 员 的 信 息 ; 猫 眼 电 影 基 于 在 线 售 票 和 在 线 选 座 业 务, 积 累 了 观 众 的 性 别 年 龄 地 域 分 布 和 观 影 时 间 等 各 类 数 据, 以 及 影 片 的 真 实 上 座 数 据 ; 星 红 桉 公 司 通 过 机 顶 盒 和 有 线 电 视 网, 积 累 了 大 量 关 于 电 视 节 目 收 看 信 息 和 电 视 用 户 数 据 ; 粤 科 软 件 (2015 年 4 月 被 阿 里 影 业 以 8.3 亿 元 收 购 ) 作 为 我 国 影 院 市 场 的 主 要 系 统 供 应 商, 掌 握 最 为 底 层 的 票 房 数 据, 并 为 各 类 在 线 选 座 服 务 提 供 支 持 ; 无 锡 天 脉 聚 源 建 有 全 国 最 大 的 视 频 节 目 加 工 中 心 和 数 据 库 旅 游 类 汇 通 天 下 公 司 为 酒 店 提 供 在 线 中 央 预 订 分 销 管 理 和 交 易 系 统, 北 京 中 长 石 基 公 司 ( 阿 里 巴 巴 集 团 28 亿 入 股 ) 在 国 内 五 星 级 酒 店 信 息 管 理 系 统 市 场 占 90% 份 额, 都 掌 握 有 大 量 的 酒 店 业 务 和 客 户 信 息 ; 票 管 家 为 景 区 提 供 电 子 票 务 解 决 方 案, 掌 握 大 量 景 区 人 流 数 据 地 理 / 环 境 类 长 地 万 方 凯 立 德 北 京 城 际 高 科 等 企 业 通 过 测 绘 收 集 各 类 地 理 数 据 ; 中 科 宇 图 主 要 采 集 环 境 监 测 数 据 ; 科 菱 航 睿

62 ( 腾 讯 入 股 ) 为 奇 瑞 汇 众 华 泰 等 汽 车 厂 商 提 供 地 图 数 据 生 活 类 电 话 邦 为 客 户 提 供 电 话 号 码 数 据, 获 小 米 参 与 的 千 万 美 元 A 轮 融 资 ; 无 忧 停 车 采 集 停 车 场 和 停 车 位 信 息, 为 百 度 地 图 提 供 数 据 支 持 能 源 类 海 博 思 创 开 发 智 能 电 网 系 统, 掌 握 大 量 用 电 数 据 ; 国 家 电 网 下 属 的 国 网 信 通 则 由 于 特 殊 的 行 业 背 景, 掌 握 海 量 的 电 力 行 业 数 据 交 通 类 中 航 信 是 我 国 最 主 要 的 航 空 数 据 源, 拥 有 最 准 确 的 航 班 实 时 信 息 ; 中 国 船 期 网 采 集 全 球 班 轮 数 据 车 联 网 类 腾 讯 路 宝 元 征 科 技 Autobot 和 博 泰 电 子 都 基 于 自 身 的 车 载 设 备, 掌 握 大 量 的 里 程 耗 油 急 刹 车 等 行 车 数 据 ; 北 京 汇 通 天 下 采 集 大 量 的 汽 车 发 动 机 数 据, 为 物 流 行 业 提 供 支 持 个 人 类 涟 漪 采 集 医 师 的 职 称 论 文 同 行 口 碑 等 大 量 文 本 信 息 ; 微 糖 和 橙 意 家 人 分 别 采 集 糖 尿 病 和 鼾 症 患 者 身 体 数 据 ; 易 达 讯 负 责 建 设 全 国 人 口 库 和 法 人 库, 拥 有 全 面 的 法 人 数 据 ; 上 海 万 达 信 息 建 设 了 全 国 性 的 医 疗 健 康 服 务 平 台 和 社 会 保 障 系 统, 覆 盖 上 亿 人 口 ; 厦 门 可 睿 特 通 过 专 业 仪 器 采 集 人 体 足 型 体 形 等 数 据, 为 电 商 和 鞋 类 品 牌 提 供 服 务 ; 爱 康 国 宾 和 慈 铭 体 检 拥 有 海 量 且 较 为 全 面 的 个 人 健 康 数 据 教 育 / 知 识 类 同 方 知 网 拥 有 海 量 的 科 技 文 献 资 源 ; 知 乎 百 度 知 道 新 浪 爱 问 等 通 过 众 包 式 的 问 题 解 答 模 式, 采 集 了 海 量 的 知 识 信 息, 百 度 基 于 百 度 知 道 推 出 了 教 育 类 应 用 作 业 帮

63 农 业 / 环 境 类 北 京 太 谷 雨 田, 因 承 建 农 业 部 和 各 省 " 金 农 " 工 程 " 三 电 合 一 " 信 息 服 务 工 程 综 合 信 息 服 务 工 程, 掌 握 大 量 农 业 生 产 经 营 相 关 的 信 息 ; 珠 海 云 洲 智 能 科 技 有 限 公 司, 无 人 船 制 造 商, 采 集 水 质 水 文 和 辐 射 数 据 体 育 类 上 海 创 冰 通 过 图 像 可 视 化 加 人 工 辅 助 统 计 的 方 式, 在 一 场 比 赛 中 收 集 超 过 6000 项 数 据, 并 实 时 进 行 统 计 和 可 视 化 处 理 3.2 基 础 架 构 在 基 础 架 构 区 块, 国 内 目 前 最 主 要 的 形 态 还 局 限 于 数 据 的 存 储 和 简 单 管 理 上, 缺 少 面 向 大 数 据 的 计 算 和 网 络 系 统, 参 与 者 多 为 正 在 试 图 转 型 的 传 统 IT 厂 商 云 存 储 金 山 百 度 和 腾 讯 等 互 联 网 公 司 都 推 出 了 面 向 全 社 会 的 通 用 云 存 储 服 务 ; 爱 数 和 亿 方 云 推 出 了 侧 重 于 大 数 据 管 理 的 云 存 储 服 务 ; 七 牛 和 upyun 的 云 存 储 服 务 主 要 针 对 于 图 片 和 视 频 数 据 基 础 平 台 华 为 华 胜 天 成 浪 潮 曙 光 等 公 司 推 出 大 数 据 分 析 平 台 级 的 方 案 ; 同 有 科 技 主 要 致 力 于 大 数 据 数 据 的 存 储 保 护 和 容 灾 系 统 的 研 发 ; 用 友 基 于 大 数 据 技 术, 提 供 营 销 管 理 供 应 链 项 目 管 理 等 企 业 云 服 务 算 法 九 章 云 极 科 技 为 企 业 提 供 大 数 据 分 析 所 需 的 基 础 环 境 和 常 见 算 法 库 监 控 并 行 科 技 开 发 了 针 对 大 数 据 基 础 设 施 的 监 控 和 性 能 分 析 工 具

64 非 关 系 型 数 据 库 巨 彬 公 司 推 出 了 分 布 式 NoSQL 数 据 库 sequoiadb, 已 获 千 万 美 元 级 的 投 资 分 布 式 存 储 龙 存 科 技 研 发 了 具 有 自 主 知 识 产 权 的 分 布 式 存 储 方 案, 并 以 在 石 油 广 电 和 互 联 网 等 行 业 得 到 了 普 遍 应 用 行 业 数 据 平 台 京 东 小 米 Broadlink 和 庆 科 致 力 于 做 物 联 网 行 业 的 基 础 设 施, 成 为 各 类 智 能 设 备 的 数 据 收 集 和 管 理 平 台 ; 随 手 房 供 中 介 记 录 诸 如 房 屋 类 型 地 址 面 积 客 户 信 息 等 数 据 ; 春 雨 医 生 和 易 随 诊 为 医 生 提 供 病 患 资 料 的 统 一 存 储 和 管 理 平 台 ; 博 康 智 能 与 海 康 威 视 等 专 注 于 各 类 视 频 监 控 数 据 的 采 集 存 储 和 管 理 3.3 分 析 在 大 数 据 分 析 区 块, 从 分 析 技 术 的 角 度 进 行 区 分, 国 内 的 企 业 大 致 可 分 为 以 下 几 类 : 商 业 智 能 类 直 接 为 企 业 提 供 决 策 支 持, 侧 重 的 行 业 各 有 不 同, 但 基 本 都 是 针 对 业 务 运 维 和 客 户 进 行 分 析, 典 型 的 厂 商 有 华 院 数 据 美 林 数 据 龙 信 数 据 星 图 数 据 等 专 注 于 金 融 行 业 大 数 据 分 析 的 有 融 智 网 信, 拓 尔 思 专 注 于 非 结 构 化 数 据 处 理 的 软 件 研 发 图 像 分 析 Face++ 主 要 提 供 人 脸 识 别 的 技 术 方 案 ; 汉 王 科 技 侧 重 于 文 字 和 人 脸 的 识 别 ; 格 林 深 瞳 专 注 于 计 算 机 视 觉 方 面 的 研 究, 获 红 杉 3000 万 美 元 投 资 ; 图 谱 科 技 基 于 用 户 提 供 的 标 签 进 行 建 模,

65 实 现 图 片 的 识 别 和 分 类 ; 面 包 旅 行 针 对 海 量 的 风 景 区 图 片 进 行 结 构 化 处 理 和 识 别 ; 天 创 征 腾 针 对 金 融 行 业 提 供 票 据 的 识 别 技 术 ; 南 京 智 搜 智 能 专 注 于 流 媒 体 的 自 动 化 识 别 和 搜 索 ; 杭 州 摩 图 科 技 致 力 于 图 像 识 别 引 擎 的 开 发 ; 中 科 奥 森 基 于 图 像 识 别 技 术 探 索 人 车 物 事 件 的 自 动 识 别 和 检 索 ; 重 庆 中 科 雲 從 专 注 于 动 态 人 脸 识 别 大 规 模 人 群 监 测 车 辆 多 属 性 深 度 分 析 警 用 图 侦 等 领 域 ; 上 海 银 晨 智 能 识 别 科 技 有 限 公 司 的 人 脸 识 别 技 术 广 泛 用 于 公 安 金 融 司 法 民 航 等 领 域, 支 持 了 上 海 世 博 会 安 保 工 作 语 音 识 别 北 京 羽 扇 智 公 司 开 发 的 出 门 问 问 应 用, 专 注 于 中 文 语 音 的 识 别 技 术 研 发 ; 广 州 灵 聚 信 息 致 力 于 以 语 音 领 域 的 中 文 人 工 智 能 交 互 引 擎 开 发 ; 普 强 信 息 ( 北 京 ) 专 注 于 中 文 的 智 能 语 音 识 别 和 自 然 语 言 处 理 技 术 其 他 诸 如 科 大 讯 飞 等 语 音 识 别 的 领 先 企 业 由 于 大 多 直 接 进 入 了 面 向 消 费 者 的 服 务 领 域, 因 此 归 类 到 应 用 区 块 中 实 时 处 理 深 圳 祥 云 信 息 科 技 专 注 于 复 杂 事 务 处 理 CUDA 和 神 经 网 络 等 技 术 的 融 合, 面 向 股 票 交 易 进 行 实 时 分 析 ; 杭 州 同 盾 科 技 针 对 网 络 交 易 进 行 实 时 分 析, 识 别 欺 诈 现 象 空 间 分 析 基 于 地 理 信 息 系 统 (GIS) 基 础 软 件 对 外 提 供 地 理 空 间 信 息 技 术 服 务, 包 括 超 图 软 件 和 数 字 空 间 等 公 司 ; 中 科 九 度 ( 北 京 ) 空 间 信 息 技 术 有 限 责 任 公 司 专 注 于 遥 感 图 像 处 理 和 空 间 信 息 分 析 基 因 分 析 华 大 基 因 和 解 码 DNA 公 司 致 力 于 基 因 的 检 测 和 分 析 日 志 分 析 翰 思 (Hansight) 公 司 基 于 日 志 分 析, 提 供 企 业 安 全

66 解 决 方 案 个 体 分 析 百 分 点 通 过 网 络 采 集 大 量 的 消 费 者 偏 好 信 息, 为 企 业 提 供 业 务 优 化 方 案 ; 友 盟 专 注 于 移 动 互 联 网 用 户 的 分 析, 为 应 用 开 发 者 提 供 决 策 支 持 ; 北 京 至 信 普 林 科 技 有 限 公 司 基 于 自 然 语 言 处 理 和 深 度 学 习 技 术, 为 企 业 提 供 全 面 的 客 户 画 像 服 务 可 视 化 永 洪 科 技 海 云 数 据 和 苏 州 国 云 数 据 专 注 于 大 数 据 的 可 视 化 分 析 3.4 应 用 医 疗 / 健 康 正 如 全 球 大 数 据 大 数 据 产 业 链 部 分 的 分 析, 医 疗 健 康 行 业 的 大 数 据 应 用 主 要 在 于 医 疗 档 案 整 合 和 分 析 病 患 实 时 监 控 和 新 药 研 制 等 环 节 而 由 于 非 技 术 因 素 的 影 响, 我 国 医 疗 数 据 的 鸿 沟 仍 然 客 观 存 在, 导 致 当 前 的 医 疗 健 康 大 数 据 应 用 不 得 不 从 数 据 源 切 入, 透 过 基 础 架 构 和 分 析 区 块, 最 终 才 抵 达 应 用 环 节 医 疗 相 关 仪 器 设 备 以 及 信 息 系 统 的 各 自 为 政, 也 导 致 了 数 据 标 准 化 方 面 的 巨 大 需 求, 比 如 同 一 指 标 的 化 验 结 果, 可 能 在 不 同 医 院 以 不 同 的 格 式 存 在, 给 数 据 价 值 的 充 分 实 现 造 成 了 极 大 的 障 碍 以 春 雨 医 生 易 随 诊 华 大 基 因 丁 香 园 微 糖 等 为 例, 都 是 从 健 康 数 据 的 采 集 环 节 入 手, 在 数 据 统 一 存 储 清 理 和 标 准 化 的 基 础 上, 直 接 面 对 消 费 市 场 提 供 服 务, 形 成 一 个 完 整 的 商 业 闭 环 国 内 逐 渐 兴 起 的 体 检 行 业 同 样 是 医 疗 大 数 据 的 典 型 应 用 场 景 根

67 据 Frost & Sullivan 公 司 的 调 查,2014 年 年 中 国 体 检 市 场 份 额 的 复 合 增 长 率 将 达 到 22.5%, 中 国 健 康 体 检 的 市 场 规 模 将 会 在 2020 年 达 到 3000 亿 元 庞 大 的 市 场 规 模 和 发 展 空 间, 将 使 体 检 机 构 成 为 我 国 个 人 健 康 数 据 的 主 要 源 头 之 一, 诸 如 爱 康 国 宾 和 慈 铭 体 检 等 大 型 体 检 连 锁 都 开 始 从 自 身 掌 握 的 海 量 体 检 数 据 为 入 口, 对 客 户 健 康 状 况 加 以 解 读 和 判 断, 将 业 务 扩 展 到 后 续 的 医 疗 健 康 服 务 环 节 但 是, 由 于 目 前 大 数 据 分 析 的 技 术 色 彩 仍 显 单 薄, 这 类 体 检 机 构 被 归 入 到 数 据 源 区 块 中 同 时, 行 业 外 的 大 型 企 业 也 开 始 以 类 似 的 模 式 涉 足 医 疗 健 康 行 业, 比 如 百 度 平 安 阿 里 和 腾 讯 等 其 中, 以 百 度 的 举 措 最 具 大 数 据 特 质 : 接 入 北 京 市 的 卫 生 信 息 系 统, 通 过 移 动 医 疗 健 康 平 台 和 智 能 穿 戴 设 备 记 录 人 们 的 健 康 数 据, 依 托 百 度 知 道 专 家 资 源 和 病 例 问 答 内 容, 以 及 好 大 夫 在 线 39 健 康 网 寻 医 问 药 网 有 问 必 答 网 育 儿 网 中 国 育 婴 网 宝 宝 树 等 医 疗 健 康 类 网 站 的 数 据, 上 线 了 百 度 医 前 智 能 问 诊 平 台 在 医 院 环 节, 以 东 软 金 蝶 等 大 型 厂 商 为 代 表 的 企 业 也 开 始 在 我 国 医 院 信 息 化 建 设 中 涉 足 医 疗 档 案 整 合 和 分 析 电 子 商 务 我 国 幅 员 辽 阔 市 场 庞 大 和 线 下 成 本 过 高 等 因 素, 导 致 以 淘 宝 京 东 等 为 代 表 的 网 络 零 售 交 易 平 台 和 电 子 商 务 网 站 得 以 蓬 勃 发 展 基 于 所 掌 握 的 海 量 消 费 者 和 商 家 的 数 据, 电 商 可 以 将 大 数 据 应 用 在 下 列

68 三 个 方 面 : 精 准 营 销 对 用 户 消 费 全 过 程 数 据 ( 包 括 浏 览 交 易 客 服 配 送 和 物 流 等 ) 进 行 分 析, 掌 握 用 户 基 本 属 性 购 买 能 力 行 为 特 征 社 交 特 征 心 理 特 征 和 兴 趣 偏 好 等 多 方 面 信 息, 为 其 提 供 具 有 高 度 针 对 性 的 服 务 ; 商 家 和 供 应 商 决 策 支 持 提 供 具 有 高 度 时 效 性 的 行 业 平 均 数 据 市 场 需 求 变 化 产 业 上 下 游 动 态 等 市 场 信 息, 帮 助 商 家 和 供 应 商 分 析 运 营 状 态, 预 测 销 售 和 用 户 趋 势, 并 提 供 针 对 性 的 运 营 优 化 策 略 ; 自 身 平 台 运 营 优 化 通 过 大 数 据 分 析 为 管 理 层 以 及 各 级 运 营 管 理 人 员 提 供 数 据 分 析 和 决 策 支 持 服 务 需 要 指 出 的 是,Google 亚 马 逊 和 Facebook 等 互 联 网 巨 头 对 大 数 据 概 念 的 推 广 起 到 了 重 要 的 作 用, 对 于 社 交 媒 体 和 网 购 记 录 等 数 据 的 分 析 一 直 是 大 数 据 研 究 的 热 点, 其 中 基 本 的 理 念 算 法 和 模 型 都 具 有 较 高 的 普 及 度 因 此, 无 论 规 模 大 小 以 及 是 否 局 限 于 某 垂 直 行 业, 大 多 数 电 子 商 务 网 站 都 具 备 了 一 定 的 大 数 据 特 征 但 是, 从 数 据 规 模 覆 盖 面 视 角 丰 富 度 和 实 时 性 等 角 度 考 虑, 只 有 足 够 大 的 电 子 商 务 平 台 才 能 为 大 数 据 提 供 真 正 的 应 用 场 景, 比 如 亚 马 逊 由 于 几 乎 涵 盖 了 全 美 所 有 生 活 必 需 品 并 掌 握 了 海 量 消 费 者 的 原 始 数 据, 分 析 和 预 测 的 准 确 性 才 有 足 够 的 保 证 有 鉴 于 此, 本 文 只 将 淘 宝 和 京 东 等 大 型 平 台 作 为 大 数 据 在 我 国 电 子 商 务 领 域 的 典 型 应 用 案 例

69 3.4.3 语 音 服 务 我 国 互 联 网 和 移 动 互 联 网 具 有 庞 大 的 市 场 规 模 和 潜 力, 促 使 业 界 在 网 络 服 务 上 不 断 追 求 创 新 和 用 户 体 验 的 提 升 对 于 移 动 设 备 和 诸 如 车 辆 驾 驶 之 类 的 特 定 情 景, 操 控 上 的 局 限 性 更 使 得 便 捷 的 服 务 交 付 和 用 户 互 动 方 式 成 为 各 类 厂 商 的 研 发 热 点 由 于 语 音 交 流 是 人 类 最 基 本 的 沟 通 方 式, 基 于 语 音 的 网 络 服 务 成 为 必 然 的 发 展 趋 势 鉴 于 我 国 语 音 服 务 领 域 的 独 有 特 点 和 蓬 勃 态 势, 本 文 将 其 单 独 作 为 一 个 子 类 进 行 论 述 目 前, 语 音 服 务 多 运 用 在 客 服 中 心 电 子 导 航 智 能 家 电 可 穿 戴 设 备 上, 今 后 将 进 一 步 扩 展 到 工 业 家 电 通 信 汽 车 电 子 医 疗 家 庭 服 务 消 费 电 子 产 品 等 更 多 的 领 域 语 音 服 务 的 主 要 用 途 有 : 情 绪 识 别 通 过 对 基 音 频 率 音 量 持 续 时 间 和 语 速 等 指 标 的 分 析, 对 语 音 数 据 中 所 包 含 的 情 绪 进 行 识 别, 可 用 于 客 服 ; 语 义 分 析 基 于 语 义 理 解 技 术, 准 确 识 别 语 音 内 容, 尤 其 是 常 用 词 专 有 名 词 和 术 语 的 识 别 声 波 分 析 语 音 数 据 中 的 声 音 波 纹 与 指 纹 一 样 具 有 个 人 指 向 的 作 用, 基 于 大 数 据 分 析 能 够 识 别 说 话 人 的 身 份 基 于 上 述 用 途, 当 前 我 国 语 音 服 务 的 主 要 场 景 是 客 服 或 呼 叫 中 心 和 互 联 网 语 音 服 务 对 于 客 户 或 呼 叫 中 心, 通 常 是 对 富 含 客 户 身 份 信 息 客 户 偏 好 信 息 服 务 质 量 信 息 市 场 动 态 信 息 和 竞 争 对 手 信 息 的 语 音 数 据 进 行 分 析, 获 取 客 户 群 体 特 征 客 户 流 失 原 因 业 务 热 点 趋 势, 进 而 提 升 运 营 效 率, 及 时 响 应 市 场 需 求 对 于 互 联 网 语 音 服 务,

70 主 要 是 用 于 人 机 交 互 方 面, 比 如 百 度 为 用 户 提 供 基 于 语 音 的 搜 索 服 务 ; 腾 讯 通 过 微 信 语 音 开 放 平 台 为 开 发 者 提 供 语 音 识 别 服 务 我 国 提 供 语 音 识 别 专 业 服 务 的 典 型 企 业 有 科 大 讯 飞 云 知 声 思 必 驰 捷 通 华 声 等 另 外, 各 行 业 巨 头 也 开 始 涉 足 语 音 业 务, 包 括 ; 京 东 与 科 大 讯 飞 合 作 研 发 智 能 家 居 领 域 的 语 音 技 术 和 服 务 ; 阿 里 与 云 知 声 共 同 针 对 可 穿 戴 设 备 等 智 能 硬 件 产 品 提 供 语 音 服 务 ; 交 通 银 行 和 中 金 数 据 基 于 海 量 客 户 电 话 录 音 提 取 客 户 信 息 和 市 场 动 态 值 得 一 提 的 是, 由 于 我 国 方 言 众 多 地 区 间 口 音 差 异 较 大, 语 音 识 别 技 术 的 研 发 对 各 种 方 言 和 口 音 数 据 有 着 巨 大 的 需 求, 进 而 推 动 了 产 业 生 态 链 的 成 型, 比 如 数 据 堂 等 数 据 源 企 业 就 向 上 述 应 用 厂 商 大 量 提 供 各 类 经 过 加 工 处 理 后 的 语 音 数 据 广 告 营 销 我 国 新 媒 体 迅 猛 发 展, 随 着 互 联 网 移 动 互 联 网 数 字 电 视 智 能 设 备 的 发 展 普 及 与 功 能 延 伸, 广 告 相 关 的 数 据 采 集 投 放 通 道 和 分 析 方 法 也 发 生 了 巨 大 的 变 化 据 统 计,2010 年, 我 国 广 告 市 场 总 体 额 度 为 7000 亿 左 右, 超 过 日 本 成 为 仅 次 于 美 国 的 全 球 第 二 大 广 告 市 场 ;2014 年, 我 国 广 告 市 场 传 统 广 告 市 场 首 次 出 现 下 降, 微 降 1.7% 电 视 广 告 费 用 首 次 呈 现 停 滞 状 态, 而 新 媒 体 类 广 告 多 数 保 持 了 高 增 长 的 态 势, 在 总 体 市 场 的 占 比 为 17%, 较 2013 年 加 了 3 个 百 分 点, 其 中 网 络 广 告 营 收 超 过 1500 亿 元, 同 比 增 长 40%; 预 计 到 2018 年, 我 国 网 络 广 告 市 场 规 模 将 达 到 3900 亿 元

71 随 着 广 告 投 放 重 心 的 逐 渐 迁 移, 业 界 更 多 地 依 赖 于 网 络 数 据 和 相 应 的 分 析 技 术, 达 成 更 加 智 能 的 广 告 匹 配 以 及 更 加 高 效 的 广 告 资 源 配 置, 导 致 本 子 类 的 企 业 大 多 集 中 于 互 联 网 广 告 领 域 同 时, 自 2012 年 开 始, 以 品 友 互 动 为 代 表 的 我 国 网 络 广 告 实 时 竞 价 企 业 也 开 始 迅 速 发 展, 而 腾 讯 阿 里 和 百 度 也 分 布 推 出 了 自 己 的 DMP 系 统 : 腾 讯 广 点 通 阿 里 妈 妈 ( 达 摩 盘 ) 和 百 度 DMP 数 据 服 务 目 前, 我 国 广 告 营 销 领 域 的 大 数 据 应 用 典 型 案 例 有 : 亿 赞 普 通 过 与 运 营 商 的 数 据 合 作, 对 用 户 进 行 行 为 偏 好 分 析, 为 企 业 营 销 提 供 支 持 智 子 云 秒 针 系 统 品 友 互 动 和 精 硕 科 技 专 注 于 互 联 网 广 告 的 实 时 监 测 和 分 析, 为 广 告 投 放 提 供 咨 询 服 务 集 奥 聚 合 和 缔 元 信 采 集 网 络 用 户 信 息, 提 供 用 户 洞 察, 为 广 告 主 提 供 决 策 支 持 金 融 在 宏 观 层 面, 我 国 经 过 十 几 年 改 革, 金 融 业 以 空 前 未 有 的 速 度 和 规 模 在 成 长 但 是, 由 于 潜 在 的 系 统 金 融 风 险 不 断 积 累, 直 接 融 资 比 例 过 低, 银 行 证 券 和 保 险 业 的 发 展 不 足 难 以 适 应 多 元 化 经 济 主 体 的 投 资 需 求 因 此, 产 品 和 服 务 的 创 新 成 为 金 融 市 场 完 善 和 长 远 发 展 的 必 然 需 求 优 秀 的 数 据 分 析 能 力 是 当 今 金 融 市 场 创 新 的 关 键, 资 本 管 理 交 易 执 行 安 全 和 反 欺 诈 等 相 关 的 数 据 洞 察 力, 成 为 金 融 企 业 运 营 和 发 展 的 核 心 竞 争 力

72 在 具 体 业 务 层 面, 由 于 市 场 本 身 以 及 互 联 网 的 迅 猛 发 展, 我 国 金 融 行 业 对 大 数 据 应 用 的 需 求 也 日 益 凸 显 : 海 量 历 史 数 据 的 挖 掘 横 向 来 看, 相 对 于 我 国 其 他 传 统 行 业, 金 融 业 属 于 信 息 密 集 型, 累 积 了 海 量 数 据, 其 巨 大 价 值 的 挖 掘 需 要 引 入 大 数 据 理 念 和 技 术 ; 数 据 规 模 的 迅 猛 增 长 比 如, 随 着 证 券 市 场 的 发 展, 上 市 公 司 标 的 正 在 向 海 量 发 展, 导 致 相 关 机 构 必 须 依 赖 大 数 据 分 析 指 导 业 务 ; 异 构 数 据 的 整 合 需 求 随 着 互 联 网 和 移 动 互 联 网 的 发 展, 多 种 新 型 服 务 渠 道 的 涌 现, 必 须 对 各 类 多 源 异 构 的 数 据 进 行 处 理 和 整 合 ; 分 析 预 测 准 确 性 的 需 求 由 于 市 场 竞 争 加 剧 风 险 升 高, 诸 如 保 险 或 征 信 业 需 要 进 一 步 丰 富 数 据 维 度, 并 基 于 大 数 据 分 析 的 新 兴 技 术 建 立 分 析 和 预 测 模 型 在 上 述 客 观 需 求 的 推 动 下, 中 国 金 融 行 业 正 在 步 入 大 数 据 时 代 的 初 级 阶 段, 诸 多 证 券 保 险 银 行 等 金 融 机 构 都 开 始 运 用 大 数 据 目 前, 我 国 金 融 市 场 中 最 具 创 新 意 义 的 大 数 据 应 用 来 自 于 互 联 网 金 融 所 涉 及 的 各 类 P2P 和 征 信 企 业, 自 2012 年 以 来, 中 国 P2P 网 贷 规 模 增 长 了 近 13 倍, 在 2014 年 达 410 亿 美 元 的 规 模 随 着 市 场 的 迅 速 增 长, 我 国 在 金 融 领 域 的 大 数 据 创 新 全 面 覆 盖 了 数 据 采 集 处 理 和 分 析 的 各 个 环 节 : 闪 银 (Wecash) 利 用 大 数 据 技 术 分 析 用 户 的 社 交 数 据, 完 成 个 人

73 授 信, 获 得 IDG4000 万 元 投 资 宜 信 获 取 征 信 对 象 在 各 电 商 平 台 及 社 交 媒 体 上 的 信 息, 纳 入 到 信 用 模 型 评 估 体 系 中 拍 拍 贷 陆 金 所 人 人 贷 等 都 利 用 企 业 或 个 人 相 关 的 各 类 数 据 来 完 成 贷 款 风 险 的 评 估 芝 麻 征 信 ( 阿 里 ) 腾 讯 征 信 和 京 小 贷 ( 京 东 ) 都 凭 借 自 身 所 积 累 的 海 量 用 户 数 据 来 进 行 风 险 评 估 元 宝 铺 采 集 各 个 电 商 平 台 上 的 卖 家 数 据, 为 贷 款 决 策 提 供 支 持 融 360( 百 度 背 景 ) 提 供 贷 款 理 财 和 信 用 卡 产 品 的 一 站 式 搜 索 服 务, 融 资 总 额 达 1 亿 美 元 数 联 铭 品, 注 重 引 入 各 类 非 受 控 的 外 部 数 据 源, 对 外 提 供 大 数 据 征 信 服 务 九 次 方, 基 于 所 掌 握 的 海 量 金 融 数 据, 构 建 全 国 性 的 企 业 征 信 大 数 据 平 台 除 上 述 新 兴 公 司 之 外, 建 行 广 发 ( 与 百 度 合 作 ) 中 信 和 光 大 等 传 统 大 中 型 银 行 也 基 于 大 数 据 技 术 在 客 户 洞 察 等 方 面 进 行 了 探 索, 但 是 从 总 体 上 来 说 仍 偏 重 于 传 统 的 商 业 智 能 领 域, 而 且 在 主 动 引 入 外 部 数 据 源 进 行 创 新 等 方 面 力 度 仍 有 待 提 升 影 视 / 娱 乐 大 数 据 在 我 国 影 视 娱 乐 业 的 应 用, 首 先 体 现 在 各 类 视 频 和 音 乐 网

74 站 对 于 自 身 的 音 视 频 数 据 资 源 的 加 工 上 通 过 分 段 和 标 签 等 手 段, 形 成 更 为 丰 富 的 分 类 维 度 和 检 索 体 系, 提 升 了 用 户 体 验 这 类 典 型 企 业 包 括 腾 讯 视 频 爱 奇 艺 优 酷 & 土 豆 搜 狐 视 频 虾 米 音 乐 网 易 云 音 乐 豆 瓣 FM QQ 音 乐 等 同 时, 通 过 对 访 问 数 据 的 分 析, 比 如 点 击 率 和 访 问 评 论, 评 估 音 乐 和 影 视 作 品 的 市 场 反 应, 并 为 用 户 提 供 个 性 化 推 荐 服 务 除 了 上 述 场 景, 大 数 据 在 我 国 影 视 娱 乐 业 最 具 特 色 的 应 用 在 于 将 新 数 据 源 引 入 到 业 务 分 析 中 由 于 互 联 网 / 移 动 互 联 网 与 影 视 娱 乐 业 的 充 分 融 合, 在 线 售 票 和 选 座 业 务 迅 猛 发 展, 前 所 未 有 地 积 累 了 海 量 的 线 下 观 影 用 户 数 据, 为 影 视 业 的 发 展 提 供 了 坚 实 基 础, 这 在 数 据 源 区 块 中 已 经 提 及 此 外, 类 同 于 Rentrak 公 司, 各 有 线 电 视 服 务 商 和 盒 子 厂 商 采 集 了 大 量 的 电 视 节 目 观 看 数 据, 在 结 合 了 其 他 渠 道 获 取 的 用 户 信 息 之 后, 能 够 形 成 对 电 视 用 户 的 更 为 深 入 的 洞 察, 比 如 特 定 节 目 观 众 群 的 年 龄 分 布 地 区 分 布 消 费 能 力 文 化 水 平 和 观 看 习 惯 等 新 数 据 源 的 引 入 是 对 传 统 票 房 数 据 和 收 视 率 的 校 正, 创 新 式 的 数 据 采 集 手 段 将 使 行 业 陋 规 和 陈 旧 的 调 查 问 卷 方 式 成 为 历 史 在 夯 实 数 据 基 础 的 前 提 下, 针 对 影 视 行 业 的 第 三 方 数 据 分 析 服 务 随 之 出 现 除 了 在 数 据 源 区 块 提 及 的 猫 眼 电 影 和 星 红 桉 之 外, 比 较 典 型 的 企 业 还 有 : 艺 恩 世 纪 国 际 信 息 咨 询 ( 北 京 ) 有 限 公 司 整 合 多 屏 终 端 消 费 行 为 数 据, 为 影 视 业 提 供 决 策 支 持 新 影 数 讯 基 于 社 交 数 据, 为 影 视 业 提 供 商 业 智 能 方 案

75 艾 漫 科 技 抓 取 全 网 的 娱 乐 相 关 信 息, 为 文 娱 产 业 提 供 决 策 支 持 牧 星 人 影 视 采 集 演 员 档 期 性 别 外 形 社 交 关 系 口 碑 以 及 剧 组 预 算 等 数 据, 通 过 分 析 为 剧 组 推 荐 演 员 在 线 教 育 传 统 教 育 模 式 受 限 于 地 点 和 时 间 的 限 制, 再 加 上 课 程 单 一 等 缺 陷, 使 得 用 户 对 于 方 式 灵 活 的 个 性 化 教 育 需 求 日 益 高 涨 而 随 着 互 联 网 和 移 动 互 联 网 技 术 的 发 展, 在 线 教 育 行 业 发 展 迅 速, 成 为 我 国 教 育 信 息 化 发 展 最 快 的 领 域 2014 年, 我 国 在 线 教 育 市 场 规 模 达 到 1334 亿 元, 预 计 到 2017 年 时 市 场 规 模 将 达 到 2864 亿 元 由 于 在 线 教 育 的 迅 速 发 展, 海 量 的 课 程 教 材 和 用 户 信 息 得 以 采 集 和 汇 聚, 对 于 大 数 据 技 术 和 理 念 的 需 求 成 为 客 观 现 实 大 数 据 应 用 于 在 线 教 育 领 域 的 切 入 点 包 括 模 式 创 新 用 户 体 验 和 个 性 化 教 育 等 : 通 过 多 点 触 摸 增 强 现 实 眼 动 和 体 感 等 方 式, 构 建 新 型 的 教 育 模 式 和 渠 道, 提 升 学 习 效 率 ; 通 过 图 像 识 别 技 术 和 游 戏 化 手 段, 改 善 用 户 的 学 习 体 验 ; 通 过 人 工 智 能 数 据 挖 掘 推 荐 引 擎 等 技 术, 为 用 户 提 供 量 身 定 制 的 学 习 环 境 和 课 程 当 前, 我 国 大 数 据 在 教 育 领 域 的 典 型 应 用 有 : 作 业 通 和 学 大 教 育 通 过 教 材 和 试 题 的 收 集 组 织 和 搜 索 以 及 对 用 户 的 特 性 分 析, 实 现 个 性 化 的 教 育 服 务 作 业 帮 ( 百 度 ) 基 于 百 度 知 道 平 台 所 积 累 的 海 量 知 识, 百 度 推 出 了 作 业 帮 应 用, 除 海 量 数 据 的 管 理 和 检 索 之 外, 还 涉 及 了 图 像 识

76 别 等 大 数 据 技 术 学 霸 君 通 过 图 像 识 别 技 术 提 供 试 题 答 案 的 查 询 检 索 服 务 人 力 资 源 社 会 经 济 的 发 展, 推 动 了 我 国 对 于 各 类 劳 动 力 和 专 业 人 才 的 需 求, 从 而 带 动 了 人 力 资 源 产 业 的 发 展, 政 府 企 业 和 组 织 都 已 认 识 到 人 力 资 源 的 重 要 作 用 据 统 计, 我 国 的 人 力 资 源 从 业 者 已 达 300 万 人 以 上 但 是, 从 整 体 上 来 看, 我 国 人 力 资 源 行 业 仍 处 于 传 统 的 以 行 政 性 和 事 务 性 劳 动 为 主 的 阶 段, 管 理 和 控 制 仍 偏 静 态, 缺 乏 适 应 时 代 发 展 特 征 的 理 念 和 手 段, 最 基 本 的 表 现 是 缺 乏 对 人 才 与 职 位 的 科 学 分 析, 没 有 严 谨 的 数 据 体 系 和 分 析 方 法, 同 时 无 法 对 相 关 法 律 法 规 和 市 场 环 境 的 变 化 做 出 及 时 的 调 整 大 数 据 时 代 的 一 大 特 点 就 在 于 对 组 织 机 构 和 人 的 画 像, 而 互 联 网 则 逐 渐 在 消 解 招 聘 和 求 职 者 之 间 存 在 的 信 息 不 对 称 现 象, 集 二 者 于 一 身 的 在 线 招 聘 行 业 为 我 国 人 力 招 聘 市 场 带 来 巨 大 的 想 象 空 间 从 之 前 的 论 述 可 见, 大 数 据 分 析 在 人 力 资 源 行 业 的 应 用 已 经 相 对 成 熟, 随 着 国 内 市 场 的 发 展, 我 国 人 力 资 源 管 理 与 招 聘 行 业 也 会 沿 着 相 同 的 路 径, 告 别 过 分 依 靠 市 场 投 入 驱 动 增 长 的 模 式, 进 入 以 数 据 为 驱 动 的 时 代 当 前, 我 国 人 力 资 源 行 业 比 较 典 型 的 大 数 据 应 用 案 例 如 下 所 述 : 搜 前 途 通 过 大 数 据 分 析 实 现 简 历 和 职 位 的 精 准 匹 配 哪 上 班 基 于 大 数 据 算 法 进 行 人 才 分 析 和 职 位 匹 配

77 e 成 招 聘 通 过 机 器 学 习 算 法 帮 助 企 业 进 行 人 才 筛 选 望 才 招 聘 基 于 社 交 媒 体 内 容 对 候 选 人 进 行 分 析 画 像 内 聘 网 基 于 文 本 分 析, 实 现 简 历 和 职 位 描 述 的 格 式 化 和 自 动 匹 配 人 人 猎 头 基 于 熟 人 推 荐 的 模 式, 用 众 包 方 式 进 行 人 才 的 搜 索 旅 游 多 年 以 来, 我 国 的 旅 游 业 保 持 了 7% 年 均 增 长 率, 带 动 了 相 关 产 业 的 全 面 发 展, 已 经 成 为 国 民 经 济 新 的 经 济 增 长 点 和 支 柱 性 产 业 之 一 相 应 地, 旅 游 相 关 信 息 呈 爆 炸 性 增 长 态 势, 不 止 是 景 区 和 景 点 所 掌 握 的 大 量 人 流 数 据, 各 类 在 线 旅 游 网 站 也 聚 集 了 大 量 的 有 关 游 客 景 区 酒 店 等 的 数 据 对 于 旅 游 服 务 提 供 商, 充 分 挖 掘 这 些 海 量 的 旅 游 原 始 数 据, 可 以 掌 握 游 客 感 兴 趣 的 旅 游 目 标 和 信 息, 分 析 客 户 的 行 为 兴 趣 爱 好 等, 针 对 不 同 类 型 客 户, 在 线 路 交 通 住 宿 用 餐 娱 乐 观 光 项 目 等 方 面 提 供 个 性 化 的 旅 游 方 案 对 于 管 理 部 门 和 景 区, 针 对 我 国 旅 游 高 峰 期 集 中 的 特 点, 可 以 根 据 历 史 和 实 时 的 游 客 人 流 数 据, 及 时 在 交 通 食 宿 和 流 量 管 控 等 环 节 制 定 应 对 方 案, 提 升 用 户 体 验 并 确 保 旅 游 安 全 当 前 我 国 大 数 据 在 旅 游 业 的 应 用 主 要 集 中 在 各 类 在 线 旅 游 网 站, 典 型 案 例 有 : 去 哪 儿 积 累 了 大 量 的 游 客 航 班 酒 店 信 息, 为 用 户 提 供 出 行 方 案 的 检 索 比 对, 同 时 也 为 相 关 行 业 提 供 决 策 支 持

78 好 巧 网 与 蚂 蜂 窝 抓 取 国 外 酒 店 各 种 用 户 评 论 和 标 签 数 据, 提 供 检 索 和 个 性 化 推 荐 服 务 智 游 啦 抓 取 酒 店 和 景 点 的 评 论 和 标 签 数 据, 提 供 个 性 化 的 旅 游 产 品 推 荐 服 务 携 程 基 于 客 户 及 订 单 信 息, 实 现 个 性 化 推 荐 服 务, 并 为 景 区 管 理 提 供 决 策 辅 助 旗 下 的 慧 评 网 则 主 要 针 对 酒 店 业 务 提 供 数 据 挖 掘 方 案 地 理 信 息 服 务 地 理 信 息 是 人 类 社 会 的 基 础 性 信 息, 据 统 计, 在 与 人 类 生 活 息 息 相 关 的 所 有 信 息 中, 与 位 置 有 关 的 信 息 大 约 占 80% 经 过 多 年 发 展, 地 理 信 息 服 务 已 成 为 信 息 服 务 业 的 重 要 组 成 部 分, 其 应 用 覆 盖 面 极 广, 其 中 具 有 大 数 据 特 点 的 主 要 应 用 场 景 有 : (1) 分 析 用 户 偏 好, 将 基 础 地 理 信 息 与 用 户 当 前 位 置 信 息 相 结 合, 主 动 推 送 适 当 的 信 息 产 品 和 服 务, 或 在 适 当 的 位 置 投 放 广 告 建 设 门 店 (2) 响 应 用 户 需 求, 为 其 提 供 准 确 的 位 置 信 息 这 一 类 场 景 目 前 在 我 国 应 用 的 最 为 广 泛, 即 向 公 众 提 供 与 之 衣 食 住 行 密 切 相 关 的 各 类 地 理 信 息 查 询 和 导 航 服 务, 如 商 场 景 点 交 通 娱 乐 餐 饮 医 院 学 校 等 以 诺 基 亚 Here 地 图 业 务 ( 占 全 球 汽 车 导 航 市 场 80% 以 上 的 份 额 ) 为 例, 其 收 购 历 程 清 晰 地 反 映 出 了 对 上 述 两 类 业 务 的 覆 盖, 以 及 支 撑

79 地 理 信 息 服 务 所 需 的 大 数 据 技 术 要 素 : 图. 地 理 信 息 服 务 概 况 此 外, 以 底 层 的 地 理 信 息 数 据 为 基 础, 政 府 和 企 业 也 可 以 通 过 地 理 信 息 服 务 获 取 基 础 设 施 交 通 信 息 投 资 环 境 行 业 分 布 房 地 产 和 人 口 分 布 等 方 面 的 宏 观 统 计 信 息, 为 相 关 决 策 提 供 支 持

80 图. 地 理 信 息 宏 观 统 计 ( 麦 肯 锡 ) 当 前 我 国 地 理 信 息 服 务 产 业 发 展 迅 速, 主 要 原 因 在 于 互 联 网 企 业 线 上 线 下 融 合 的 大 力 推 动 中 国 互 联 网 信 息 中 心 (CNNIC) 数 据 显 示, 2012 年 中 国 手 机 地 图 用 户, 使 用 路 线 导 航 和 地 点 查 找 比 例 分 别 为 62.7% 和 45.3% 使 用 周 边 生 活 信 息 等 热 点 查 询 比 例 为 29.2%, 签 到 或 位 置 信 息 分 享 比 例 为 10.4% 旺 盛 的 需 求 对 整 个 产 业 链 造 成 了 极 大 的 影 响, 地 理 信 息 数 据 系 统 和 服 务 提 供 商 快 速 成 长, 从 数 据 采 集 加 工 和 交 付 的 地 理 信 息 完 整 产 业 链 已 经 形 成 鉴 于 我 国 目 前 地 理 信 息 服 务 的 发 展 态 势, 本 报 告 单 独 将 其 列 为 大 数 据 应 用 区 块 的 一 个 子 类 目 前, 我 国 比 较 典 型 的 地 理 信 息 服 务 企 业 有 : 百 度 地 图 搜 狗 地 图 和 腾 讯 地 图 等 直 接 针 对 用 户 提 供 地 图 服 务 高 德 地 图 除 为 大 众 提 供 地 图 服 务 外, 还 为 产 业 链 上 其 他 企 业 提 供 地 理 数 据 服 务 中 海 达 提 供 测 绘 卫 星 定 位 和 街 景 等 数 据 服 务 东 方 道 迩 提 供 卫 星 数 据 加 工 和 地 理 信 息 服 务 灵 图 软 件 地 理 信 息 服 务 提 供 商 交 通 / 物 流 我 国 在 交 通 网 络 上 投 入 巨 大, 积 累 了 大 量 实 时 底 层 的 数 据 比 如, 重 庆 高 速 公 路 视 频 监 控 数 据 每 天 达 到 50TB, 我 国 每 天 的 船 舶 航 速 数 据 达 5500 万 条, 广 州 每 日 新 增 城 市 交 通 运 营 数 据 记 录 12 亿 以 上

81 数 据 规 模 在 150GB 到 300GB 之 间 尽 管 规 模 庞 大, 目 前 我 国 各 类 交 通 类 数 据 被 局 限 在 垂 直 应 用 系 统 中, 相 互 之 间 缺 乏 共 享 和 流 动 借 助 大 数 据 理 念 和 技 术, 有 助 于 整 合 不 同 范 围 不 同 区 域 不 同 领 域 的 数 据, 构 建 综 合 性 的 交 通 信 息 体 系 和 一 体 化 的 智 能 交 通 系 统 在 管 理 方 面, 我 国 的 交 通 管 理 过 于 依 靠 人 工 方 式 基 于 大 数 据 技 术, 能 够 全 面 统 筹 与 协 调 交 通 资 源, 准 确 评 估 相 关 建 设 的 科 学 性, 有 效 提 升 交 通 决 策 水 平 物 流 产 业 与 交 通 领 域 紧 密 相 关 作 为 现 代 物 流 的 核 心, 我 国 在 物 流 信 息 化 建 设 还 处 于 相 对 落 后 的 阶 段 尤 其 是 在 整 个 行 业 的 供 应 链 中, 上 下 游 之 间 的 信 息 流 没 有 打 通, 从 而 在 很 大 程 度 上 导 致 了 物 流 成 本 居 高 不 下 的 局 面 通 过 大 数 据 技 术 对 物 流 数 据 进 行 全 面 整 合, 可 以 极 大 提 升 物 流 产 业 的 运 营 效 率 同 时, 基 于 对 物 流 信 息 的 实 时 分 析, 能 够 挖 掘 出 反 映 物 流 规 律 的 信 息, 进 而 持 续 优 化 物 流 流 程 汽 车 保 有 量 的 大 幅 增 长 (2014 年 国 内 汽 车 保 有 量 将 近 1.4 亿 ) 为 车 联 网 的 发 展 提 供 了 巨 大 的 空 间 通 过 车 联 网, 车 险 业 可 以 提 供 差 异 化 服 务 ( 防 盗 事 故 后 的 数 据 分 析 理 赔 车 险 的 差 异 化 定 制 等 等 ), 交 通 业 可 以 获 取 实 时 的 路 况 信 息 当 前, 大 数 据 在 我 国 交 通 / 物 流 相 关 行 业 的 应 用 场 景 主 要 体 现 在 交 通 工 具 信 息 的 实 时 采 集 和 分 析, 用 于 信 息 查 询 和 出 行 服 务 等 方 面 航 旅 纵 横 由 中 航 信 基 于 自 身 所 掌 握 的 数 据 开 发, 面 向 社 会 提 供 航 班 的 实 时 信 息 飞 常 准 基 于 中 航 信 空 管 局 机 场 和 航 空 公 司 的 数 据, 提 供 航

82 班 查 询 服 务 途 志 收 集 国 际 航 班 的 各 种 底 层 数 据, 为 用 户 提 供 出 行 方 案 优 化 服 务 车 来 了 通 过 车 辆 上 的 GPS 获 取 数 据, 提 供 公 交 实 时 查 询 服 务 北 京 汇 通 天 下 物 联 科 技 通 过 车 载 设 备 G7 采 集 汽 车 行 驶 实 时 数 据, 为 物 流 公 司 提 供 运 营 决 策 支 持, 客 户 基 本 涵 盖 了 我 国 中 上 规 模 的 物 流 公 司 快 的 打 车 采 集 用 户 和 出 租 司 机 信 息, 分 析 其 基 本 信 息 信 用 行 为 模 式, 在 用 户 下 单 后 通 过 局 部 地 理 范 围 内 的 人 车 匹 配, 提 升 叫 车 效 率 和 服 务 质 量 美 的 空 调 查 交 通 违 章 数 据, 优 化 对 自 身 运 输 车 队 的 管 理 快 逸 行 通 过 车 辆 和 用 户 数 据 的 采 集, 面 向 车 主 用 户 提 供 车 辆 健 康 安 全 行 驶 等 服 务 九 五 智 驾 基 于 自 身 的 OBD 盒 子 采 集 行 驶 相 关 数 据, 提 供 车 联 网 相 关 的 各 类 服 务 需 要 说 明 的 是, 诸 如 顺 丰 等 大 型 物 流 企 业 已 经 开 始 利 用 自 身 系 统 中 累 积 的 海 量 数 据 进 行 业 务 优 化 和 决 策 支 撑, 但 是 在 数 据 源 的 丰 富 性 和 分 析 的 时 效 性 等 方 面 仍 然 带 有 较 为 浓 厚 的 传 统 数 据 分 析 色 彩 农 业 以 金 农 工 程 为 代 表 的 一 批 农 村 信 息 化 建 设 工 作, 已 初 步 构 建

83 起 了 我 国 农 村 信 息 化 基 础 架 构, 有 效 地 推 动 了 我 国 农 业 产 业 化 和 现 代 化 进 程 但 是, 农 村 信 息 资 源 分 散 在 多 个 规 模 较 小 且 内 容 经 常 重 复 的 系 统 中, 缺 乏 有 效 的 信 息 整 合 且 数 据 的 实 时 性 较 差 基 于 大 数 据 技 术, 整 合 数 据 资 源 规 范 数 据 标 准 统 一 标 识 和 规 范 协 议 等, 是 打 通 数 据 流 动 通 道 推 动 大 数 据 在 我 国 农 业 领 域 应 用 深 化 的 关 键 所 在 这 方 面 的 典 型 案 例 包 括 : 蒙 牛 通 过 奶 牛 的 智 能 耳 环 云 端 牧 场 应 用 质 检 工 序 监 测 和 社 交 媒 体 营 销 等 策 略, 打 造 从 生 产 到 消 费 的 闭 环, 构 建 集 质 量 追 溯 生 产 管 理 和 市 场 开 拓 于 一 体 的 大 数 据 架 构 软 通 动 力 在 河 北 廊 坊 的 农 田 里 安 装 内 置 摄 像 头 的 传 感 器, 采 集 诸 如 气 温 湿 度 雨 量 等 农 作 物 生 长 环 境 的 数 据, 并 将 数 据 汇 聚 到 云 端 进 行 实 时 监 测 分 析 和 管 理 在 基 于 大 数 据 技 术 的 预 测 分 析 方 面, 我 国 农 业 领 域 的 应 用 屈 指 可 数, 其 中 最 为 典 型 的 是 禾 讯 科 技, 利 用 卫 星 数 据, 评 估 农 作 物 长 势, 建 模 预 测 农 业 产 量, 与 之 相 较 的 是 Planet Labs 用 卫 星 数 据 评 估 地 区 发 展 水 平 房 地 产 过 去 的 十 多 年 中, 中 国 房 地 产 行 业 在 整 体 上 呈 现 粗 放 式 的 增 长 模 式 但 是, 近 年 来 在 整 体 调 控 供 应 过 剩 融 资 成 本 攀 高 市 场 需 求 趋 理 性 化 和 个 性 化 的 背 景 下, 房 地 产 业 开 始 向 精 细 化 运 营 和 深 入 挖 潜 的 方 向 转 变 房 地 产 行 业 的 决 策 始 终 围 绕 着 土 地 房 屋 和 消 费 者 三 者

84 展 开, 而 大 数 据 的 应 用, 使 房 地 产 商 和 中 介 行 业 更 加 深 刻 地 洞 察 土 地 和 房 屋 的 价 值 以 及 消 费 者 的 真 实 需 求 成 为 可 能 大 数 据 在 房 地 产 行 业 的 应 用 场 景 大 致 可 分 为 以 下 三 类 : 引 入 大 数 据 理 念, 通 过 用 电 数 据 和 电 信 运 营 商 数 据 等 新 数 据 源, 以 创 新 方 法 评 估 城 市 经 济 发 展 状 况 消 费 力 人 口 组 成 区 域 内 购 房 人 群 特 征 日 常 通 勤 人 流 量 等 指 标, 支 持 投 资 决 策 与 互 联 网 企 业 或 电 信 运 营 商 等 掌 握 海 量 用 户 数 据 的 企 业 合 作, 结 合 销 售 过 程 中 掌 握 的 用 户 信 息, 对 主 要 客 户 群 进 行 群 体 画 像, 提 升 项 目 建 设 产 品 营 销 等 环 节 的 针 对 性, 同 时 探 索 新 的 盈 利 模 式 和 空 间 在 大 型 综 合 性 购 物 休 闲 中 心 的 运 营 中, 引 入 室 内 定 位 技 术, 分 析 商 场 人 流 轨 迹, 结 合 外 部 数 据 渠 道, 对 日 常 客 流 进 行 群 体 分 析, 进 而 优 化 商 场 布 局, 帮 助 商 家 制 定 具 有 针 对 性 的 销 售 策 略 图. 房 地 产 大 数 据 应 用 场 景

85 需 要 指 出 的 是, 在 评 估 城 市 和 地 块 的 开 发 前 景 的 过 程 中, 如 果 仅 以 传 统 途 径 获 取 宏 观 经 济 市 场 热 点 市 场 活 跃 度 供 需 对 比 常 住 及 户 籍 人 口 数 房 价 收 入 比 地 价 房 价 比 人 口 年 龄 结 构 周 边 楼 盘 价 格 商 业 和 生 活 配 套 等 数 据, 则 属 于 传 统 的 数 据 分 析 思 路, 不 应 归 属 为 大 数 据 的 创 新 应 用 当 前, 我 国 房 地 产 行 业 的 大 数 据 典 型 应 用 案 例 如 下 : 万 科 地 产 与 移 动 联 通 电 信 三 大 手 机 运 营 商 合 作, 测 算 北 京 地 区 的 实 际 人 口 规 模, 并 结 合 当 年 北 京 的 新 房 供 应 量 存 量 房 数 量 房 屋 均 价 购 房 人 群 年 龄 结 构 等 数 据, 支 持 土 地 投 资 决 策 链 家 地 产 基 于 自 身 的 房 源 和 客 户 数 据 进 行 关 联 分 析, 打 造 包 括 生 活 支 付 社 区 服 务 智 能 家 居 等 方 面 的 生 活 服 务 平 台 易 遨 中 国 基 于 房 产 中 介 业 ERP 系 统 的 数 据 积 累, 开 发 了 美 丽 屋 应 用, 实 现 房 主 和 中 介 的 对 接 万 达 地 产 和 万 科 地 产 ( 与 百 度 合 作 ) 等 通 过 室 内 定 位 技 术 分 析 商 场 内 人 流 模 式, 或 引 入 新 数 据 源 对 用 户 全 面 画 像, 以 此 优 化 商 场 布 局, 帮 助 商 家 提 升 销 售 业 绩 企 业 应 用 本 类 别 中 的 企 业 很 少 有 初 创 公 司, 主 要 是 传 统 的 IT 厂 商, 普 遍 还 处 于 技 术 跟 随 的 阶 段, 典 型 企 业 有 东 方 国 信 亚 信 金 蝶 用 友 神 州 数 码 等

86 ( 四 ) 我 国 大 数 据 产 业 发 展 策 略 4.1 现 状 分 析 根 据 对 国 内 大 数 据 产 业 的 调 研, 可 以 得 出 以 下 主 要 结 论 : ( 一 ) 互 联 网 企 业 在 引 领 大 数 据 应 用 国 内 互 联 网 企 业 由 于 在 拥 有 了 海 量 的 用 户 数 据 之 后 开 始 着 手 开 展 各 类 分 析 工 作, 用 以 支 撑 自 身 的 电 子 商 务 定 向 广 告 和 影 音 娱 乐 等 业 务 同 时, 在 互 联 网 产 业 O2O 的 趋 势 下, 互 联 网 企 业 逐 渐 将 业 务 延 伸 到 金 融 保 险 生 活 旅 游 健 康 教 育 等 多 个 行 业, 极 大 丰 富 了 数 据 来 源, 促 进 了 分 析 技 术 的 发 展, 拓 展 了 大 数 据 分 析 在 诸 多 传 统 行 业 的 应 用 场 景 这 种 现 象 仅 从 阿 里 百 度 和 腾 讯 三 大 互 联 网 巨 头 的 情 况 即 可 得 知 : 阿 里 相 关 的 有 淘 宝 庆 科 ( 物 联 网 ) 芝 麻 信 用 蚂 蚁 金 服 中 长 石 基 数 据 魔 方 高 德 地 图 虾 米 音 乐 阿 里 旅 游 等 ; 腾 讯 相 关 的 有 腾 讯 广 点 通 面 包 旅 行 大 众 点 评 腾 讯 视 频 腾 讯 路 宝 四 维 图 新 科 菱 航 赛 腾 讯 征 信 腾 讯 云 中 海 达 丁 香 园 腾 讯 健 康 云 等 ; 百 度 相 关 的 有 百 度 云 爱 奇 艺 百 度 视 频 百 度 迁 移 百 度 精 算 百 度 语 音 百 度 知 道 作 业 帮 元 征 科 技 无 忧 停 车 百 度 数 据 开 放 平 台 百 度 地 图 长 地 万 方 融 360 去 哪 儿 等 ( 二 ) 产 业 分 布 过 于 偏 重 应 用 环 节 应 用 类 的 企 业 或 产 品 的 占 比 达 到 了 39%, 产 业 链 分 工 还 不 够 精 细

87 除 了 国 内 企 业 在 基 础 架 构 和 分 析 技 术 上 多 处 于 跟 随 状 态, 缺 乏 自 主 创 新 之 外, 一 个 很 重 要 的 原 因 是 绝 大 部 分 拥 有 数 据 的 企 业 都 在 分 析 挖 掘 的 基 础 上 对 外 提 供 服 务, 比 如 阿 里 巴 巴 开 始 做 金 融 行 业 的 数 据 分 析 应 用, 百 度 基 于 自 身 数 据 涉 足 在 线 教 育 领 域, 中 航 信 通 过 航 旅 纵 横 提 供 航 班 信 息 服 务, 春 雨 医 生 和 丁 香 园 之 类 也 没 有 直 接 通 过 数 据 的 租 售 获 利 相 比 之 下, 国 外 案 例 中 的 Sermo.com 则 在 累 积 了 大 量 医 疗 数 据 之 后 直 接 销 售 给 医 药 公 司 图. 国 内 大 数 据 产 业 分 布 ( 三 ) 缺 乏 综 合 性 的 数 据 聚 合 流 通 平 台 由 于 欧 美 日 等 发 达 国 家 和 地 区 较 早 跨 入 了 信 息 化 时 代, 对 数 据 的 整 合 和 利 用 也 已 成 为 常 态, 初 步 培 育 形 成 了 各 垂 直 领 域 内 的 数 据 采 集 和 租 售 的 产 业 生 态 而 我 国 由 于 细 分 行 业 的 数 据 链 条 还 处 于 起 步 阶 段, 对 于 综 合 性 的 数 据 汇 集 和 流 通 平 台 有 着 客 观 的 需 求 国 内 企 业 由 于 主 观 认 知 的 不 足 或 客 观 条 件 的 限 制, 很 多 数 据 拥 有 者 仍 主 要 关 注 于 将 数 据 用 于 自 身 的 业 务 这 种 局 面 造 成 的 一 个 后 果 是,

88 对 数 据 的 采 集 也 只 是 局 限 在 多 个 行 业 细 类 之 内 在 所 有 纯 数 据 源 企 业 或 平 台, 只 有 不 到 8% 在 开 展 数 据 的 租 售 业 务, 其 中 面 向 各 类 数 据 的 平 台 只 有 数 据 堂 和 聚 合 数 据 等 少 数 几 家 ( 四 ) 基 础 架 构 和 分 析 环 节 比 较 薄 弱 我 国 互 联 网 企 业 快 速 将 国 际 上 先 进 的 开 源 大 数 据 技 术 整 合 到 自 身 系 统 中, 并 构 建 了 较 大 规 模 的 系 统, 在 国 内 保 持 领 先 但 总 体 上 仍 缺 乏 原 创 的 平 台 和 分 析 技 术, 对 国 际 主 流 开 源 社 区 的 贡 献 程 度 也 不 高, 学 界 和 产 业 界 在 全 球 大 数 据 技 术 发 展 进 程 中 的 话 语 权 不 够 与 技 术 创 新 不 足 直 接 相 关 的 一 个 问 题 是, 我 国 科 研 机 构 和 高 校 在 大 数 据 技 术 研 究 方 面 缺 乏 建 树 国 外 的 很 多 大 数 据 技 术 或 产 品 出 自 于 高 校, 比 如 起 源 于 加 州 伯 克 利 大 学 的 实 时 大 数 据 平 台 Spark 和 起 源 于 麻 省 理 工 学 院 的 人 脸 识 别 公 司 Affectiva 等 ( 五 ) 应 用 领 域 的 行 业 分 布 仍 不 够 全 面 全 球 的 大 数 据 应 用 主 要 集 中 在 金 融 保 险 电 信 媒 体 政 府 零 售 交 通 公 共 服 务 医 疗 健 康 等 而 由 于 国 情 的 不 同, 我 国 当 前 的 大 数 据 应 用 热 点 主 要 集 中 在, 金 融 / 保 险 医 疗 健 康 娱 乐 广 告 教 育 等 领 域, 在 有 所 交 叉 的 同 时 体 现 出 了 很 大 的 差 异 性 值 得 一 提 的 是, 可 能 与 直 观 的 印 象 不 符, 本 文 并 未 计 入 大 量 的 电 子 商 务 类 企 业 这 是 因 为 大 数 据 在 电 子 商 务 领 域 的 应 用 模 式 相 对 单 一, 基 本 都 是 基 于 社 交 网 络 和 网 购 行 为 数 据, 对 潜 在 用 户 的 挖 掘 并 进 行 个 性 化 推 荐, 对 行 业 和 技 术 的 发 展 都 没 有 显 著 的 意 义 因 此, 只 有 如 淘 宝 和 京 东 等 自 身 拥 有 海 量 数 据 的 厂 商 才 能 算 作 大 数 据 产 业 链 的 组 成

89 部 分 图. 大 数 据 应 用 热 点 我 国 当 前 在 大 数 据 应 用 环 节 的 主 要 问 题 是 : 政 府 / 公 共 服 务 类 应 用 基 本 缺 位 我 国 正 处 于 新 型 工 业 化 信 息 化 城 镇 化 农 业 现 代 化 同 步 发 展 的 新 时 期, 大 数 据 技 术 在 经 济 发 展 社 会 管 理 和 公 共 服 务 方 面 应 该 大 有 作 为 但 是, 较 为 典 型 的 应 用 案 例 仅 有 粮 食 库 存 监 控 和 利 用 卫 星 数 据 估 算 耕 地 面 积 等 少 数 几 个 农 业 类 应 用 基 本 缺 位 与 北 美 等 农 业 先 进 地 区 相 比, 我 国 农 业 产 业 链 条 IT 化 的 程 度 还 不 够 充 分, 在 短 时 间 内 确 实 难 有 较 大 的 突 破 目 前, 应 该 着 力 于 数 据 采 集 网 络 的 建 设, 并 进 一 步 推 动 气 象 卫 星 等 相 关 数 据 的 开 放, 为 大 数 据 应 用 奠 定 基 本 的 物 质 基 础 电 信 业 和 银 行 业 应 用 相 对 滞 后 首 先, 我 国 电 信 业 和 银 行 业 在 数 据 分 析 的 对 象 方 法 和 目 的 上 已 经 有 了 长 足 的 进 步, 但 是 思 路 上 创 新 不 够, 多 为 已 有 案 例 的 移 植 和 模 仿 ; 其 次, 从 全 球 的 大 数 据 案 例 中 可 以 看 到, 电 信 业 的 数 据 已 经 开 始 与 外 部 数 据 产 生 碰 撞,

90 或 为 电 信 业 自 身 所 用, 或 为 其 他 行 业 提 供 决 策 支 持, 而 我 国 运 营 商 数 据 的 流 通 仍 存 在 较 大 的 困 难 但 是, 随 着 征 信 行 业 的 开 放 和 互 联 网 金 融 的 兴 起, 央 行 征 信 系 统 逐 渐 成 为 一 个 真 实 可 用 的 数 据 源 医 疗 健 康 领 域 的 应 用 还 不 够 深 入 当 前, 我 国 医 疗 健 康 行 业 的 大 数 据 应 用 多 由 各 类 健 康 类 APP 推 动, 主 要 集 中 在 数 据 的 收 集 和 分 享 环 节, 很 少 有 数 据 转 换 整 合 和 分 析 等 挖 掘 数 据 潜 在 价 值 的 企 业 或 产 品, 也 没 有 将 大 数 据 与 医 院 业 务 系 统 紧 密 结 合 的 典 型 案 例 ( 六 ) 大 数 据 应 用 的 思 路 较 为 单 一 当 前, 我 国 大 数 据 应 用 的 模 式 和 方 向 上 较 为 单 一, 倾 向 于 抄 袭 或 模 仿 国 外 现 成 的 案 例, 其 中 最 为 典 型 的 就 是 金 融 行 业 的 应 用 对 比 随 着 国 外 如 Zestfinance 等 公 司 超 越 行 业 惯 用 的 FICO 模 型, 引 入 征 信 对 象 更 为 全 面 ( 并 非 只 是 线 上 ) 的 信 息 并 开 发 新 的 模 型 评 估 个 人 信 用 等 级, 国 内 P2P 网 贷 企 业 也 以 此 为 参 照, 引 入 各 类 网 络 信 息, 试 图 以 自 动 化 方 式 取 代 耗 时 耗 力 的 针 对 贷 款 企 业 的 实 地 调 查, 在 一 定 程 度 上 忽 略 了 数 据 覆 盖 面 技 术 积 累 和 征 信 对 象 类 型 等 种 种 不 同 更 进 一 步, 国 外 金 融 行 业 的 案 例 包 括 了 引 入 网 络 数 据 清 洗 现 有 数 据 基 于 先 进 架 构 提 升 欺 诈 识 别 效 率 实 时 采 集 网 点 数 据 转 化 客 服 音 频 数 据 等 各 种 不 同 的 切 入 角 度 和 实 现 思 路, 都 是 基 于 自 身 的 业 务 痛 点 而 做 出 的 反 观 我 国 金 融 行 业, 几 乎 都 集 中 在 信 用 评 估 业 务 分 析 和 客 户 画 像 上, 思 路 较 为 单 一, 缺 乏 创 新 下 图 以 中 外 银 行 业 为 例, 说 明 了 在 大 数 据 应 用 上 的 差 异 :

91 图. 国 内 外 银 行 业 大 数 据 应 用 对 比 4.2 趋 势 分 析 结 合 大 数 据 近 年 来 的 发 展 态 势, 以 及 大 数 据 所 涉 及 的 技 术 本 质, 我 国 未 来 大 数 据 产 业 的 发 展 将 呈 现 以 下 趋 势 ( 一 ) 数 据 的 流 通 以 综 合 性 的 流 通 和 交 易 平 台 为 主 在 用 户 需 求 的 推 动 下, 综 合 性 的 数 据 交 易 平 台 将 成 为 行 业 主 流, 形 成 少 数 几 个 全 国 性 的 数 据 流 通 集 市, 主 要 是 因 为 : 1. 数 据 的 跨 域 关 联 分 析 已 成 为 普 通 的 共 识, 业 务 决 策 支 持 可 能 会 同 时 接 入 多 方 的 数 据, 因 此 市 场 需 要 综 合 性 的 流 通 平 台 来 降 低 数 据 获 取 的 成 本 2. 我 国 目 前 缺 乏 对 各 类 数 据 的 统 一 标 准 规 范 以 及 大 规 模 的 自 动 化 处 理 手 段, 相 关 工 作 的 推 进 需 要 如 果 数 据 流 通 平 台 局 限 在 特 定 行 业 或 领 域 内 3. 不 同 用 户 对 于 数 据 价 值 的 认 知 有 较 大 差 异, 为 了 客 观 真 实 的

92 反 映 数 据 的 内 在 价 值, 必 须 通 过 综 合 性 交 易 平 台 来 撮 合 供 需 多 方, 形 成 对 特 定 数 据 价 值 的 普 遍 共 识 ( 二 ) 产 业 链 的 分 工 将 日 益 清 晰 和 细 化 随 着 数 据 价 值 认 知 的 深 化, 用 户 对 于 数 据 的 质 量 要 求 越 来 越 高, 由 于 标 签 的 准 确 性 无 效 或 错 误 值 的 比 例 数 据 检 索 的 效 率 和 数 据 关 联 的 精 准 度 等 指 标 对 产 业 链 上 各 类 产 品 或 服 务 价 格 的 影 响 日 渐 加 大 同 时, 在 综 合 性 的 大 型 数 据 交 易 平 台 带 动 下, 围 绕 数 据 所 产 生 的 各 类 需 求 能 够 得 到 最 大 程 度 的 凸 显, 必 然 会 促 进 大 数 据 产 业 链 的 划 分 逐 渐 清 晰 和 细 化, 诸 如 数 据 采 集 汇 聚 加 工 交 易 和 分 析 等 环 节 在 内 的 细 分 产 业 都 将 得 到 极 大 的 推 动 此 外, 企 业 在 大 数 据 产 业 链 中 的 定 位 将 会 更 加 明 确 和 聚 焦 当 前 很 多 跨 越 了 多 个 环 节 的 企 业, 将 会 根 据 自 身 的 优 势 和 特 点 来 重 新 定 位 在 大 数 据 产 业 链 中 的 角 色, 可 以 预 见 的 是 某 些 数 据 拥 有 者 将 专 注 于 对 外 提 供 数 据 服 务, 而 目 前 横 跨 分 析 和 应 用 环 节 的 企 业 将 会 有 很 大 一 部 分 成 为 专 业 的 分 析 技 术 提 供 商 ( 三 ) 形 成 多 个 细 分 的 垂 直 行 业 生 态 随 着 大 数 据 应 用 在 不 同 行 业 的 落 地 和 深 入, 数 据 分 析 终 将 成 为 企 业 日 常 运 作 的 基 础 性 工 作 应 用 环 节 对 于 数 据 平 台 和 分 析 的 需 求 会 逐 渐 细 化, 并 连 锁 式 地 逐 一 反 向 作 用 于 产 业 链 上 游 的 各 个 环 节, 进 而 形 成 具 有 行 业 特 色 的 大 数 据 垂 直 生 态 系 统 这 一 趋 势 将 对 基 础 架 构 和 分 析 环 节 产 生 较 大 影 响 大 数 据 分 析 所 涉 及 的 理 论 和 技 术 因 数 据 类 型 数 据 规 模 和 应 用 场

93 景 而 异, 最 终 无 法 收 敛 于 统 一 的 数 学 模 型, 因 此 必 然 会 在 算 法 层 面 产 生 各 种 分 支, 衍 生 出 侧 重 于 不 同 行 业 的 分 析 技 术 供 应 商 随 着 分 析 技 术 的 差 异 化, 基 础 架 构 也 必 将 出 现 各 种 面 向 应 用 的 定 制 和 优 化, 从 而 削 弱 当 前 MapReduce 模 型 和 Hadoop 平 台 的 强 势 地 位, 内 存 计 算 模 型 的 提 出 和 Spark 平 台 的 出 现 就 是 证 明 更 进 一 步, 在 体 系 架 构 方 面 也 将 会 突 破 由 通 用 硬 件 搭 建 分 布 式 系 统 的 模 式 综 上 所 述, 围 绕 大 型 数 据 流 通 平 台, 产 业 链 在 横 向 和 纵 向 上 都 将 逐 渐 细 化, 形 成 大 数 据 产 业 的 网 格 状 布 局 4.3 各 国 推 动 大 数 据 发 展 的 案 例 全 球 主 要 国 家 各 类 国 际 组 织 和 国 内 多 地 政 府, 都 将 大 数 据 的 发 展 提 升 到 了 战 略 层 面, 并 陆 续 出 台 了 一 系 列 的 政 策 加 以 推 动 ( 一 ) 国 外 现 状 美 国 政 府 将 大 数 据 从 商 业 行 为 上 升 到 国 家 战 略 层 面, 推 动 大 数 据 在 经 济 社 会 各 个 层 面 各 个 领 域 的 应 用 深 化 2012 年 3 月 29 日, 奥 巴 马 政 府 宣 布 大 数 据 的 研 究 和 发 展 计 划, 由 美 国 科 学 基 金 会 卫 生 福 利 部 / 国 家 卫 生 研 究 所 能 源 部 国 防 部 等 多 个 联 邦 政 府 部 门 共 同 推 进 2011 年 9 月, 巴 西 印 度 尼 西 亚 墨 西 哥 挪 威 菲 律 宾 南 非 英 国 美 国 等 八 个 国 家 联 合 签 署 开 放 数 据 声 明, 成 立 开 放 政 府 合 作 伙 伴 组 织, 目 前 全 球 已 有 60 多 个 国 家 加 入 日 本 政 府 于 2012 年 7 月 宣 布 面 向 2020 年 的 ICT 综 合 战 略,

94 力 图 通 过 大 数 据 应 用 促 进 社 会 发 展 和 经 济 增 长, 并 提 出 活 力 数 据 战 略 文 部 科 学 省 同 时 指 出 将 大 数 据 收 集 存 储 分 析 可 视 化 建 模 信 息 整 合 作 为 研 究 的 重 点 英 国 在 2013 年 1 月 宣 布 将 大 数 据 作 为 未 来 八 大 关 键 技 术 领 域, 计 划 在 两 年 内 投 入 1.89 亿 英 镑 同 时, 在 2013 年 11 月 承 诺 所 有 的 数 据 都 通 过 数 据 门 户 data.gov.uk 向 社 会 公 开, 并 为 此 专 门 构 建 一 个 国 家 级 的 信 息 基 础 设 施 2013 年 6 月 18 日, 八 国 集 团 首 脑 在 北 爱 峰 会 上 签 署 开 放 数 据 宪 章, 要 求 各 成 员 国 率 先 开 放 公 司 信 息 犯 罪 与 司 法 地 球 观 测 教 育 能 源 与 环 境 医 疗 健 康 科 学 研 究 统 计 社 会 福 利 交 通 运 输 与 基 础 设 施 等 数 据 联 合 国 发 布 了 大 数 据 促 发 展 : 挑 战 与 机 遇 的 白 皮 书, 指 出 大 数 据 时 代 已 经 到 来, 大 数 据 对 于 联 合 国 和 各 国 政 府 都 是 一 次 历 史 性 的 机 遇 报 告 讨 论 了 如 何 利 用 大 量 丰 富 的 数 据 资 源 帮 助 政 府 更 好 地 响 应 社 会 需 求, 指 导 经 济 运 行 ( 二 ) 国 内 动 态 2013 年 8 月, 国 务 院 发 布 了 关 于 促 进 信 息 消 费 扩 大 内 需 的 若 干 意 见 ( 国 发 号 ), 文 件 提 出 的 促 进 公 共 信 息 资 源 共 享 和 开 发 利 用 和 提 升 民 生 领 域 信 息 服 务 水 平 等 方 针 都 明 确 指 向 了 数 据 资 源 的 开 放 在 中 央 层 面, 中 央 网 络 安 全 和 信 息 化 领 导 小 组 办 公 室 已 经 于 2014 年 初 开 始 进 行 国 家 公 共 信 息 资 源 开 放 的 规 划 工 作, 充 分 借 鉴 各 国 政 府

95 的 数 据 开 放 工 作 成 果, 旨 在 形 成 覆 盖 全 国 贯 穿 各 级 政 府 和 公 共 服 务 单 位 的 数 据 采 集 存 储 和 社 会 化 服 务 体 系, 提 升 全 社 会 对 公 共 信 息 资 源 的 再 利 用 水 平 在 地 方 层 面, 各 地 政 府 已 逐 步 推 动 数 据 开 放 的 工 作 北 京 市 政 务 数 据 资 源 网 目 前 已 汇 集 了 35 个 政 府 部 门 的 269 项 共 计 约 36 万 余 条 原 始 数 据, 涵 盖 旅 游 教 育 交 通 医 疗 等 多 个 领 域 上 海 市 公 共 信 用 信 息 服 务 平 台 于 2014 年 4 月 正 式 开 通, 已 发 布 交 通 公 共 服 务 经 济 统 计 行 政 管 理 等 200 多 个 数 据 产 品 武 汉 各 市 直 部 门 已 公 开 数 据 类 别 500 多 个, 涉 及 政 务 警 务 环 保 医 疗 农 业 交 通 物 流 等 30 多 个 领 域 此 外, 青 岛 贵 阳 广 州 厦 门 等 城 市 也 在 积 极 着 手 准 备 相 关 工 作 4.4 我 国 大 数 据 产 业 发 展 建 议 从 数 据 源 和 应 用 环 节 入 手 大 数 据 涵 盖 的 范 围 较 广, 需 要 一 定 程 度 的 聚 焦 才 能 让 大 数 据 概 念 和 应 用 尽 快 落 地, 形 成 具 有 示 范 意 义 的 典 型 案 例, 实 现 质 的 突 破 对 于 当 前 阶 段 大 数 据 发 展 的 关 注 重 点, 需 要 着 眼 于 产 业 链 全 局 进 行 考 虑 任 何 一 个 产 业 链 的 成 型 和 发 展 的 核 心 本 质 都 在 于 达 成 供 需 两 端 的 平 衡, 而 供 需 两 端 的 发 展 和 完 善 也 是 一 个 产 业 链 最 终 走 向 成 熟 的 必 要 条 件 大 数 据 产 业 链 的 供 需 两 端 分 别 是 数 据 源 和 应 用 环 节, 从 前 述 世 界 各 国 以 及 我 国 各 地 政 府 对 大 数 据 的 推 动 举 措 来 看, 也 多 从 数 据 和 应 用 领 域 入 手 由 于 我 国 大 数 据 产 业 链 尚 处 于 孕 育 期, 数 据 供 给 和 应 用 需

96 求 更 是 当 前 工 作 的 重 中 之 重 对 于 基 础 架 构 和 分 析 环 节, 由 于 应 用 场 景 的 不 同, 必 然 会 呈 现 多 种 形 态 并 存 的 局 面 当 前, 基 础 架 构 的 发 展 明 显 未 能 满 足 应 用 场 景 优 化 的 需 求, 较 为 单 一 的 架 构 导 致 了 大 量 存 储 能 耗 机 房 空 间 和 管 理 成 本 的 浪 费, 而 分 析 技 术 则 必 然 与 应 用 场 景 紧 密 挂 钩, 不 可 能 出 现 一 种 特 定 算 法 未 经 修 正 即 有 效 运 用 于 各 类 业 务 的 情 况 因 此, 在 大 数 据 发 展 初 期, 基 础 架 构 和 分 析 算 法 的 发 展 应 主 要 以 科 研 机 构 和 企 业 界 自 发 行 动 为 主, 无 须 在 战 略 或 政 策 层 面 进 行 规 划, 否 则 极 有 可 能 导 致 大 量 投 资 和 人 力 的 浪 费 而 只 有 打 破 现 有 的 数 据 藩 篱, 加 大 全 社 会 数 据 资 源 的 供 给, 促 进 数 据 资 源 共 享 和 流 通 体 系 的 建 设, 同 时 以 应 用 需 求 为 导 向, 为 目 前 涵 盖 面 过 广 的 大 数 据 领 域 指 出 具 有 真 正 实 用 意 义 的 前 进 路 径, 才 能 够 给 基 础 架 构 和 分 析 技 术 的 发 展 注 入 长 久 的 驱 动 力 积 极 推 动 数 据 开 放 数 据 开 放 的 意 义 数 据 是 继 土 地 劳 动 力 资 金 之 后 的 第 四 种 生 产 资 料, 是 大 数 据 发 展 的 核 心 所 在 数 据 在 人 类 的 生 产 生 活 过 程 中 不 断 产 生, 为 人 类 的 各 种 决 策 提 供 着 事 实 依 据, 推 动 社 会 向 前 发 展 由 于 云 计 算 大 数 据 和 物 联 网 的 发 展 使 得 各 种 信 息 被 更 加 详 细 的 记 录 下 来 尽 管 数 据 规 模 已 足 够 庞 大, 要 真 正 实 现 大 数 据 的 价 值, 首 先 要 面 对 数 据 开 放 和 流 通 的 挑 战, 只 有 结 合 多 源 头 数 据 的 跨 域 分 析 才 能 提 炼 出 更 完 整 的 知 识 和 更 深 刻 的 洞 察, 才 能 真 正 达 成 社 会 管 理 公 共 服 务 金 融 保 险 科 研

97 教 育 医 疗 卫 生 零 售 消 费 文 化 娱 乐 及 制 造 业 的 跨 越 式 发 展 由 于 数 据 所 蕴 含 的 巨 大 价 值, 数 据 开 放 和 流 通 的 价 值 已 成 为 一 种 普 遍 的 认 知 根 据 麦 肯 锡 预 测, 开 放 数 据 在 全 球 的 教 育 交 通 运 输 消 费 市 场 电 力 石 油 / 天 然 气 医 疗 健 康 消 费 金 融 ( 包 括 银 行 保 险 和 房 地 产 ) 等 7 个 领 域 可 以 撬 动 3.2 万 亿 到 5.4 万 亿 美 元 的 经 济 价 值 ; 根 据 美 国 参 议 院 商 务 科 学 与 运 输 委 员 会 发 布 的 报 告, 全 美 数 据 中 介 市 场 2012 年 的 总 规 模 已 达 1500 亿 美 元, 相 当 于 当 年 美 国 情 报 总 预 算 的 两 倍 可 见, 数 据 资 源 日 益 成 为 人 类 社 会 的 生 产 要 素 和 战 略 资 产, 而 数 据 的 开 放 和 流 通 是 其 价 值 体 现 的 前 提 和 基 础 以 数 据 开 放 为 切 入 点, 也 是 符 合 大 数 据 发 展 的 客 观 规 律 大 数 据 的 应 用, 主 要 的 瓶 颈 分 别 是 技 术 数 据 和 人 才, 技 术 的 研 发 和 人 才 的 培 养 在 很 大 程 度 上 取 决 于 企 业 界 学 术 界 和 教 育 界 的 共 同 努 力, 需 要 时 间 较 长 而 且, 对 技 术 的 需 求 是 来 自 于 数 据 的 驱 动, 如 果 在 数 据 规 模 和 多 样 性 没 有 达 到 一 定 的 程 度 之 前 就 急 于 对 技 术 进 行 大 量 投 入, 是 一 种 本 末 倒 置 的 行 为 相 反, 数 据 获 取 的 成 本 则 可 以 通 过 政 府 的 推 动 而 得 以 降 低, 并 在 短 期 内 起 到 立 竿 见 影 的 社 会 示 范 效 应 因 此, 着 眼 于 大 数 据 发 展 的 客 观 规 律, 应 该 首 先 从 数 据 开 放 做 起 比 如, 以 地 理 信 息 为 例, 目 前 在 中 国, 地 理 信 息 数 据 的 可 获 取 性 准 确 性 和 全 面 性 仍 然 制 约 着 中 国 地 理 信 息 产 业 的 发 展 能 够 提 供 商 业 价 值 较 高 的 街 道 及 以 下 层 次 ( 如 街 道 邮 编 区 域 居 委 会 乃 至 小 区 ) 边 界 的 地 图 供 应 商 极 为 稀 少, 与 之 相 配 套 的 数 据, 如 人 口 收 入 消 费 住 房 房 价 和 商 业 楼 盘 的 租 金,

98 也 不 易 获 取 通 过 全 社 会 数 据 的 开 放 和 流 通, 以 及 在 采 集 方 面 的 创 新, 可 以 有 效 改 善 这 种 现 状 综 上 所 述, 数 据 的 开 放 共 享 和 流 通 是 大 数 据 产 业 链 后 续 环 节 的 基 础 所 在, 应 该 着 力 加 以 推 动 政 府 数 据 开 放 的 意 义 在 全 社 会 的 范 围 内, 由 于 担 负 经 济 发 展 社 会 管 理 和 公 共 服 务 职 能, 政 府 以 及 相 关 机 构 所 拥 有 最 高 价 值 的 数 据, 比 如 统 计 税 收 治 安 土 地 就 业 环 境 交 通 等 各 类 数 据, 无 不 隐 含 着 人 类 社 会 和 自 然 环 境 的 最 真 实 和 最 及 时 的 信 息 可 见, 从 政 府 数 据 的 开 放 和 共 享 入 手, 能 够 释 放 出 巨 大 的 经 济 和 社 会 价 值 此 外, 大 数 据 最 终 的 价 值 体 现 在 各 个 行 业 领 域 内 的 应 用, 单 靠 企 业 界 和 学 术 界 难 免 会 局 限 于 特 定 行 业, 无 法 体 现 出 大 数 据 跨 领 域 的 真 正 特 色 因 此, 由 政 府 牵 头 建 立 数 据 开 放 共 享 的 典 范, 将 对 大 数 据 产 业 链 的 发 展 大 有 裨 益 目 前, 由 于 庞 大 的 国 土 人 口 和 经 济 规 模, 我 国 已 成 为 仅 次 于 美 国 的 数 据 大 国 预 计 到 2020 年, 我 国 的 数 据 量 将 突 破 8.5ZB, 占 全 球 数 据 总 量 的 21% 其 中, 据 麦 肯 锡 分 析, 我 国 三 分 之 一 的 数 据 属 于 政 府 及 提 供 公 共 服 务 的 机 构 与 企 业 比 如, 智 慧 城 市 建 设 大 约 一 个 季 度 就 能 产 生 200PB 数 据, 其 他 农 业 气 象 环 境 工 业 制 造 和 人 口 流 动 等 数 据 也 规 模 庞 大 除 了 规 模 庞 大 之 外, 政 府 所 拥 有 的 数 据 价 值 极 高, 这 是 由 政 府 的 社 会 管 理 职 能 所 决 定 的, 其 中 比 如 统 计 税 收

99 预 算 土 地 就 业 空 气 质 量 治 安 公 共 设 施 交 通 等 类 数 据 都 含 有 极 高 的 应 用 价 值 因 此, 从 宏 观 层 面 看, 由 政 府 带 动 的 数 据 开 放 和 流 通, 对 经 济 发 展 产 业 升 级 社 会 管 理 和 科 技 创 新 等 方 面 都 具 有 极 其 重 要 的 意 义 ( 一 ) 提 升 社 会 管 理 水 平 政 府 掌 握 有 事 关 社 会 经 济 环 境 和 民 生 等 方 面 的 各 类 宏 观 数 据, 有 巨 大 的 信 息 共 享 与 数 据 分 析 的 需 求 通 过 政 府 数 据 的 开 放, 促 进 政 府 各 部 门 之 间 的 信 息 交 流, 已 成 为 政 府 决 策 科 学 化 的 基 本 保 障 同 时, 以 适 当 的 方 式 实 现 政 府 数 据 向 全 社 会 的 开 放, 可 以 充 分 调 动 各 方 力 量, 探 索 在 卫 生 医 疗 交 通 文 化 教 育 环 境 和 资 源 保 护 等 方 面 的 发 展 机 遇, 形 成 提 升 政 府 决 策 和 公 共 服 务 水 平 的 巨 大 动 力 ( 二 ) 推 动 产 业 升 级 和 创 新 作 为 2015 年 中 央 政 府 工 作 报 告 中 拉 动 经 济 发 展 的 两 架 马 车, 创 业 创 新 和 公 共 产 品 及 服 务 都 能 在 很 大 程 度 上 受 益 于 全 社 会 的 数 据 开 放 首 先, 数 据 已 逐 渐 成 为 企 业 的 生 产 要 素 和 战 略 资 产, 其 价 值 的 挖 掘 是 企 业 发 展 的 基 础 所 在 通 过 数 据 的 开 放 共 享, 引 入 新 的 数 据 和 分 析 思 路, 可 以 为 教 育 医 疗 零 售 业 物 流 业 制 造 业 及 互 联 网 等 行 业 创 造 巨 大 的 发 展 空 间, 其 中 典 型 的 代 表 就 是 由 金 融 信 息 地 理 信 息 和 气 象 信 息 的 开 放 共 享 所 催 生 的 各 类 新 兴 服 务 业 态, 比 如 2006 年 中 国 人 民 银 行 上 海 总 部 实 施 信 息 公 开 之 后, 催 生 了 大 批 金 融 信 息 咨 询 服 务 公 司 在 当 前 我 国 经 济 转 型 升 级 的 大 背 景 下, 这 一 点 具 有 特 殊 的 时 代 意 义

100 其 次, 数 据 的 开 放 和 流 通 将 推 动 产 业 的 创 新 在 信 息 时 代, 数 据 正 日 益 成 为 科 研 和 生 产 活 动 中 不 可 或 缺 的 要 素, 但 是 创 新 和 创 业 活 动 面 临 着 数 据 获 取 成 本 较 高 的 问 题, 尤 其 对 于 中 小 企 业 来 说 更 是 如 此 通 过 数 据 开 放 共 享, 可 以 让 技 术 企 业 和 科 研 单 位 专 注 于 技 术 的 开 发 和 业 务 的 发 展, 全 力 探 索 新 的 应 用 领 域 和 产 业 机 会 ( 三 ) 推 动 科 技 创 新 数 据 是 科 研 成 果 最 直 接 的 体 现 但 是 长 期 以 来 由 于 条 块 分 割, 未 能 得 到 充 分 的 挖 掘 利 用, 导 致 我 国 科 研 活 动 与 市 场 实 际 需 求 严 重 脱 钩 通 过 科 研 数 据 的 开 放 共 享, 可 以 形 成 科 研 活 动 和 实 际 应 用 之 间 的 良 性 互 动, 为 科 技 成 果 的 转 化 提 供 新 的 通 路 同 时, 通 过 各 高 校 和 科 研 机 构 之 间 的 数 据 共 享, 可 以 促 成 最 新 科 技 成 果 的 交 流, 推 动 相 同 领 域 内 各 科 研 主 体 的 协 同 合 作, 提 升 交 叉 学 科 的 研 究 水 平 ( 四 ) 促 进 环 境 监 督 和 保 护 近 年 来, 大 气 污 染, 固 体 垃 圾 排 放 和 水 污 染 已 经 对 社 会 可 持 续 发 展 的 一 大 阻 力, 成 为 影 响 我 国 居 民 健 康 和 环 境 安 全 的 重 要 因 素 基 于 收 集 到 的 大 量 环 境 质 量 相 关 数 据, 通 过 开 放 共 享, 打 破 政 府 内 部 的 条 块 分 割, 引 导 和 鼓 励 全 社 会 积 极 参 与 到 对 环 境 的 监 控 和 保 护 中, 可 以 有 效 提 升 环 境 保 护 工 作 的 广 度 和 深 度 综 上 所 述, 数 据 的 开 放 和 流 通 已 成 为 全 球 的 潮 流 和 趋 势, 由 政 府 为 主 导 的 数 据 开 放 是 目 前 世 界 各 国 的 普 遍 经 验 在 以 大 数 据 和 云 计 算 为 标 志 的 新 一 次 IT 浪 潮 兴 起 的 同 时, 大 力 推 进 数 据 开 放 平 台 的 建 设

101 将 在 产 业 升 级 经 济 发 展 民 生 建 设 和 公 共 服 务 等 方 面 对 我 国 社 会 的 协 调 可 持 续 发 展 起 到 巨 大 的 推 动 作 用, 创 造 可 观 的 社 会 效 益 和 经 济 效 益 注 重 应 用 和 模 式 的 创 新 在 应 用 环 节 的 推 动 上, 政 府 的 推 动 不 仅 能 够 促 进 大 数 据 产 业 链 的 发 展 和 完 善, 更 能 够 在 事 关 国 计 民 生 的 诸 多 领 域, 尤 其 是 在 基 础 设 施 建 设 公 共 服 务 和 新 兴 行 业 方 面 发 挥 巨 大 的 作 用 在 上 述 领 域 的 应 用 探 索, 对 于 大 数 据 基 础 架 构 和 分 析 技 术 的 发 展 也 具 有 特 殊 意 义 社 会 管 理 农 业 交 通 能 源 等 领 域 所 包 含 的 数 据 规 模 庞 大, 采 集 难 度 高, 通 常 需 要 进 行 实 时 的 处 理 和 分 析, 这 些 特 性 对 于 基 础 架 构 和 分 析 环 节 都 是 极 具 现 实 意 义 的 课 题 此 外, 对 于 数 据 银 行 和 众 包 等 创 新 模 式, 也 需 要 政 府 从 全 局 角 度 进 行 规 划 设 计 和 推 动 社 会 治 理 在 经 过 了 30 多 年 的 改 革 开 放 之 后, 我 国 社 会 治 理 面 临 着 种 种 新 的 问 题 和 挑 战, 比 如 人 口 问 题 环 境 问 题 群 体 冲 突 社 会 治 安 公 共 危 机 处 理 等 为 此, 十 八 届 三 中 全 会 将 推 进 国 家 治 理 体 系 和 治 理 能 力 的 现 代 化 纳 入 到 全 面 深 化 改 革 的 总 目 标 中 国 家 治 理 体 系 和 治 理 能 力 现 代 化, 要 求 治 理 要 更 加 科 学, 因 而 必 须 准 确 掌 握 治 理 对 象 的 状 况 及 其 外 部 环 境 信 息 现 阶 段, 我 国 正 处 在

102 社 会 转 型 期, 需 要 对 包 括 人 财 物 事 等 在 内 的 庞 大 而 复 杂 的 信 息 进 行 采 集 管 理 和 分 析, 这 与 大 数 据 的 发 展 不 期 而 遇 基 于 大 数 据 技 术 对 海 量 数 据 进 行 收 集, 大 数 据 中 呈 现 的 宏 观 趋 势 将 会 越 来 越 准 确 而 清 晰, 揭 示 一 些 潜 在 的 隐 含 模 式, 例 如 经 济 形 势 风 险 异 常 区 域 整 体 灾 情 等 科 学 的 决 策 和 管 理 需 要 以 客 观 事 实 为 基 础, 即 支 撑 决 策 的 数 据 必 须 足 够 准 确 而 且, 为 了 防 止 相 关 政 策 和 措 施 的 滞 后 性, 必 须 尽 可 能 收 集 最 及 时 的 信 息 但 是, 当 前 我 国 在 诸 如 经 济 总 量 GDP 和 CPI 一 类 宏 观 指 标 的 统 计 上, 基 层 的 数 据 采 集 方 式 和 方 法 对 专 职 的 人 力 有 较 重 的 依 赖, 而 且 在 层 层 上 报 的 过 程 中 不 可 避 免 地 会 造 成 数 据 的 偏 差, 已 经 很 难 适 应 结 构 复 杂 高 速 变 化 和 高 流 动 性 的 经 济 和 社 会 体 系 此 外, 我 国 幅 员 辽 阔, 各 地 区 发 展 程 度 不 一, 信 息 化 建 设 或 交 通 落 后 地 区 难 免 在 数 据 收 集 和 上 报 过 程 中 落 后 于 先 进 地 区, 在 一 定 程 度 上 也 延 缓 了 整 体 性 决 策 的 形 成 可 见, 关 于 经 济 运 行 和 社 会 治 安 等 类 信 息 的 及 时 和 准 确 收 集 在 我 国 尤 其 具 有 急 迫 性, 这 也 正 是 大 数 据 思 维 和 方 式 在 社 会 管 理 方 面 的 典 型 应 用 场 景 以 视 频 监 控 等 方 案 和 云 计 算 实 现 数 据 采 集 和 存 储, 结 合 众 包 等 创 新 模 式, 可 以 在 传 统 的 信 息 收 集 手 段 之 外 实 现 更 具 时 效 性 覆 盖 面 更 广 更 为 底 层 的 数 据 采 样, 缩 短 数 据 汇 报 所 需 经 过 的 路 径, 从 而 大 幅 提 升 统 计 的 准 确 性, 为 政 策 制 定 的 合 理 性 和 科 学 性 奠 定 基 础 在 社 会 运 转 相 关 的 底 层 数 据 采 集 方 面, 已 有 成 功 案 例 出 现 2012 年, 苏 州 警 方 通 过 各 类 流 动 警 力 实 时 采 集 治 安 隐 患 信 息, 每 天 达 700 多 万

103 条, 所 累 积 的 海 量 数 据 为 破 案 提 供 了 极 大 便 利 高 效 的 社 会 治 理 需 要 能 够 正 确 识 别 出 企 业 组 织 和 个 人 等 社 会 治 理 工 作 的 基 本 要 素, 并 对 这 些 要 素 的 社 会 活 动 和 时 空 环 境 进 行 分 析 首 先, 基 于 现 有 的 国 家 基 础 人 口 库 和 法 人 库, 结 合 诸 如 互 联 网 企 业 等 数 据 源, 实 现 网 络 身 份 与 现 实 世 界 的 映 射 ; 通 过 电 信 运 营 商 和 视 频 监 控 等 数 据, 通 过 大 数 据 技 术 进 行 清 洗 和 挖 掘, 可 以 更 为 准 确 地 掌 握 治 理 要 素 的 活 动 轨 迹 ; 通 过 网 购 数 据 和 银 行 交 易 数 据, 可 以 更 加 准 确 的 把 握 企 业 组 织 和 个 人 的 社 会 和 经 济 活 动 情 况 基 于 上 述 手 段, 能 够 加 强 对 社 会 风 险 的 控 制, 提 高 政 府 的 预 警 能 力 以 及 对 社 情 民 意 和 紧 急 事 件 的 响 应 能 力, 有 助 于 进 一 步 加 强 和 完 善 社 会 公 共 安 全 体 系 和 社 会 应 急 管 理 体 制 以 社 会 治 理 为 典 型 探 索 大 数 据 在 政 府 领 域 的 应 用, 更 重 要 的 意 义 在 于 普 及 数 据 治 国 科 学 管 理 的 意 识, 为 政 务 领 域 各 方 面 的 高 效 和 精 细 化 管 理 奠 定 基 础, 提 升 政 府 运 作 效 率 和 决 策 的 科 学 性, 最 终 构 筑 国 家 整 体 实 力 方 面 的 竞 争 优 势 综 上 所 述, 在 当 前 的 时 代 背 景 下, 政 府 应 积 极 引 入 大 数 据 理 念 和 技 术 手 段, 推 进 全 社 会 基 础 信 息 的 采 集 和 管 理 工 作, 并 鼓 励 高 校 科 研 机 构 和 相 关 行 业 的 力 量 参 与 到 政 府 和 公 共 服 务 事 业 单 位 的 数 据 价 值 深 度 挖 掘 中, 不 断 提 升 我 国 社 会 治 理 体 系 和 治 理 能 力 的 现 代 化 水 平, 为 构 建 和 谐 社 会 促 进 社 会 发 展 创 造 既 有 秩 序 又 有 活 力 的 基 础 运 行 条 件 和 社 会 环 境

104 智 能 交 通 / 物 流 交 通 和 物 流 行 业 的 存 在 和 发 展 是 人 口 迁 移 和 商 品 货 物 流 通 的 基 本 条 件, 据 研 究 表 明, 交 通 运 输 与 国 家 和 地 区 的 经 济 增 长 的 相 关 系 数 在 0.9 以 上, 是 衡 量 一 个 国 家 现 代 化 程 度 和 综 合 国 力 的 重 要 标 志 之 一 我 国 幅 员 辽 阔, 人 口 众 多, 随 着 改 革 开 放 以 来 经 济 社 会 的 不 断 发 展, 交 通 运 输 和 物 流 行 业 成 长 迅 速 同 时, 交 通 和 物 流 业 的 发 展 已 成 为 经 济 结 构 调 整 的 重 要 力 量, 全 国 社 会 物 流 总 额 在 2004 年 到 2012 年 之 间 的 年 复 合 增 长 率 达 到 21.07%, 有 力 推 动 了 我 国 电 子 商 务 市 场 的 发 展 但 是, 随 着 我 国 城 镇 化 和 工 业 化 进 程 的 深 入 地 区 间 人 口 流 动 的 日 益 频 繁 机 动 车 数 量 的 激 增 和 交 通 基 础 设 施 建 设 的 快 速 发 展, 运 输 效 率 和 大 气 污 染 等 问 题 亟 需 解 决 据 统 计, 因 交 通 堵 塞 造 成 的 损 失 占 到 了 GDP 的 1.5% 至 4%, 相 应 的 燃 料 损 失 及 环 境 污 染 整 治 费 用 也 高 达 千 亿 级 别 鉴 于 这 种 情 况, 我 国 必 须 大 力 推 动 智 能 交 通 和 智 能 物 流 建 设 智 能 交 通 的 立 足 点 在 于 交 通 运 输 工 具 ( 汽 车 船 舶 和 飞 机 等 ) 与 信 息 化 的 全 面 结 合, 通 过 对 交 通 信 息 的 实 时 感 知, 及 时 发 现 拥 堵, 调 控 交 通 流 量, 预 警 安 全 隐 患, 从 而 达 成 对 交 通 系 统 的 全 方 位 立 体 式 管 控 和 优 化 智 能 物 流 涉 及 物 联 网 网 络 通 信 和 云 计 算 与 物 流 基 础 设 施 的 结 合, 通 过 对 货 物 实 时 位 置 监 控 和 信 息 分 析, 形 成 对 物 流 全 过 程 的 感 知 反 馈 和 控 制, 优 化 成 本 并 提 供 差 异 化 的 物 流 服 务 当 前, 我 国 的 智 能 交 通 和 智 能 物 流 建 设 尽 管 已 有 长 足 进 步, 但 仍 存 在 着 种 种 问 题 比 如, 对 交 通 信 息 的 感 知 和 收 集 广 度 和 深 度 不 够 ;

105 对 存 在 于 各 个 管 理 系 统 中 的 海 量 的 数 据 无 法 共 享 运 用 ; 对 交 通 态 势 缺 乏 预 测 能 力, 未 能 充 分 满 足 公 众 的 交 通 信 息 服 务 需 求 ; 各 类 交 通 和 物 流 数 据 的 潜 在 价 值 未 能 得 到 有 效 分 析 和 挖 掘 通 过 引 入 大 数 据 理 念 和 技 术, 有 针 对 性 地 改 善 或 解 决 上 述 问 题, 是 智 能 交 通 和 智 能 物 流 发 展 的 必 由 之 路 智 能 电 网 随 着 我 国 经 济 进 入 新 常 态, 国 家 经 济 政 策 调 控 逐 渐 偏 向 于 结 构 优 化 增 长 质 量 节 能 降 耗 环 境 保 护 和 民 生 改 善 等, 电 力 需 求 出 现 趋 势 性 拐 点, 进 入 了 低 速 ( 相 对 于 GDP 增 速 ) 增 长 的 常 态 而 且, 随 着 第 三 产 业 用 电 比 重 的 日 益 提 升, 以 及 第 二 产 业 逐 渐 向 中 西 部 转 移 的 趋 势, 我 国 整 体 的 用 电 结 构 也 发 生 了 巨 大 变 化 尤 其 是 大 量 随 城 市 兴 起 的 工 业 园 区 及 相 关 数 据 中 心 的 建 设, 使 得 我 国 电 力 需 求 重 点 在 地 理 分 布 上 逐 渐 扩 散 趋 向 均 匀 化 与 上 述 背 景 相 对 应 的 是, 我 国 总 装 机 容 量 已 超 过 美 国 跃 居 世 界 第 一, 但 是 至 少 30% 的 装 机 发 电 能 力 处 于 闲 置 状 态, 而 长 距 离 输 变 电 过 程 中 造 成 的 能 耗 损 失 依 然 无 法 避 免 鉴 于 上 述 情 况, 电 网 结 构 需 要 从 以 少 量 集 中 的 大 主 力 电 源 为 主 进 行 远 距 离 大 容 量 输 送 电 的 方 式, 转 变 为 以 大 量 分 散 的 小 型 发 电 系 统 为 主 就 近 生 产 和 消 化 的 模 式, 即 向 着 分 布 式 能 源 体 系 的 方 向 转 变 这 种 转 变 将 推 动 电 网 设 备 和 用 电 设 备 的 小 型 化 和 智 能 化, 即 向 着 智 能 电 网 的 方 向 发 展 智 能 电 网 的 建 设 是 大 势 所 趋, 据 统 计,2013 年 全 球 与 智 能 电 网 配 套 使 用 的 智 能 电 表 安 装 数 量 已 超 过 7.6 亿 只, 到 2020

106 年 智 能 电 网 预 计 将 覆 盖 全 世 界 80% 的 人 口 智 能 电 网 导 致 的 一 个 必 然 结 果 是 电 网 运 行 控 制 信 息 的 爆 发 式 增 长, 由 此 催 生 的 对 海 量 数 据 采 集 管 理 和 分 析 的 需 求 使 得 大 数 据 在 智 能 电 网 建 设 和 运 营 过 程 中 的 应 用 成 为 必 然 因 此, 必 须 充 分 认 识 到 大 数 据 在 整 个 智 能 电 网 发 展 过 程 中 的 的 基 础 性 作 用, 顺 应 我 国 在 新 发 展 阶 段 电 力 供 需 的 变 化 趋 势, 大 力 推 动 大 数 据 技 术 在 智 能 电 网 规 划 设 计 建 设 运 行 和 维 护 等 各 个 环 节 的 应 用 智 慧 医 疗 医 疗 体 制 的 改 革 是 我 国 社 会 和 经 济 改 革 探 索 的 重 中 之 重 随 着 人 们 生 活 水 平 的 不 断 提 高 及 人 口 老 龄 化 加 速 到 来, 我 国 的 医 疗 服 务 需 求 正 在 稳 步 增 加, 我 国 2014 年 的 健 康 医 疗 支 出 占 总 支 出 23%, 预 计 到 2020 年, 健 康 医 疗 支 出 占 总 支 出 上 升 到 32% 在 医 疗 服 务 产 业 快 速 发 展 的 同 时, 我 国 医 疗 服 务 体 系 仍 然 存 在 诸 多 严 重 的 问 题, 包 括 医 疗 资 源 在 城 乡 之 间 和 地 区 之 间 配 置 失 衡 总 体 医 疗 卫 生 成 本 过 高 等 从 上 世 纪 80 年 代 到 2005 年 的 25 年 间, 我 国 卫 生 总 费 用 增 长 了 52 倍, 其 中 居 民 个 人 支 付 费 用 增 长 了 133 倍, 两 项 指 标 都 远 远 超 过 了 经 济 总 量 的 增 速 为 了 解 决 上 述 医 疗 问 题, 一 个 根 本 的 思 路 就 是 实 现 患 者 与 医 务 人 员 医 疗 机 构 医 疗 设 备 之 间 的 互 动, 构 建 医 疗 健 康 行 业 的 智 能 化 管 控 和 决 策 体 系, 实 现 资 源 的 合 理 配 置 和 动 态 平 衡, 解 决 或 减 少 由 于 医 疗 资 源 缺 乏 所 导 致 的 看 病 难 医 患 关 系 紧 张 事 故 频 发 等 现 象, 从 而

107 全 面 提 升 国 民 医 疗 服 务 质 量 从 医 疗 资 源 和 服 务 接 口 均 衡 配 置 的 角 度 出 发, 必 然 会 导 致 医 疗 相 关 信 息 在 整 个 体 系 不 同 系 统 中 的 流 动, 涉 及 一 系 列 的 数 据 采 集 转 化 标 准 化 和 整 合 工 作 下 列 领 域 是 智 能 医 疗 体 系 建 设 的 重 点, 也 是 大 数 据 发 挥 巨 大 作 用 的 场 景 : 移 动 和 远 程 医 疗 系 统 的 建 设 通 过 各 类 移 动 应 用, 使 医 护 人 员 能 够 在 远 程 进 行 诊 断 并 提 供 治 疗 方 案 根 据 IDC 统 计, 截 至 2013 年 9 月 全 国 范 围 内 17.5% 的 三 级 医 院 已 经 使 用 了 移 动 医 疗 系 统, 包 括 移 动 查 房 移 动 输 液 移 动 诊 断 患 者 统 计 用 药 统 计 和 移 动 挂 号 等 移 动 和 远 程 医 疗 模 式 的 核 心 在 于 采 集 患 者 体 征 数 据 和 治 疗 信 息, 并 基 于 此 开 展 健 康 咨 询 类 的 服 务 区 域 卫 生 信 息 化 建 设 区 域 卫 生 信 息 化 建 设 最 基 本 的 需 求 是 让 医 生 信 息 和 患 者 健 康 档 案 能 够 在 不 同 医 疗 机 构 之 间 实 现 共 享, 涉 及 医 生 和 患 者 信 息 的 标 准 化 工 作 专 业 科 室 的 信 息 化 建 设 专 业 科 室 的 信 息 化 建 设 需 要 将 某 些 以 往 难 以 数 字 化 的 特 有 疾 病 信 息 记 录 下 来, 并 实 现 数 据 的 转 化 和 高 效 存 储, 为 后 期 的 抽 取 统 计 和 挖 掘 提 供 便 利 数 据 中 心 的 建 设 随 着 医 疗 信 息 化 进 程 的 深 入, 有 大 量 来 自 多 个 源 头 的 数 据 需 要 实 现 统 一 的 存 储 和 管 理, 尤 其 是 新 增 临 床 和 管 理 类 数 据 此 外, 引 入 基 因 序 列 分 析 等 大 数 据 技 术 能 够 加 速 新 药 的 研 发 速 度,

108 以 及 更 有 针 对 性 的 进 行 临 床 开 发, 降 低 研 发 中 的 风 险 这 对 于 我 国 已 进 入 糖 尿 病 癌 症 和 心 脑 血 管 疾 病 高 发 期 的 现 状 具 有 特 殊 的 现 实 意 义 而 且, 由 于 人 口 众 多 基 因 组 数 据 资 源 丰 富, 使 得 我 国 在 相 关 领 域 的 研 究 上 具 有 独 特 的 优 势 互 联 网 金 融 当 前, 我 国 正 处 于 加 快 转 变 经 济 发 展 方 式 的 关 键 时 期, 深 化 金 融 体 制 改 革, 完 善 金 融 监 管, 推 进 金 融 创 新, 维 护 金 融 稳 定, 成 为 中 国 经 济 发 展 的 整 体 需 要 但 是, 我 国 传 统 金 融 行 业 在 一 定 程 度 上 普 遍 存 在 着 机 制 僵 化 的 问 题, 现 有 的 金 融 服 务 无 法 满 足 大 量 中 小 微 企 业 以 及 个 人 客 户 的 基 本 和 差 异 化 金 融 服 务 需 求 自 2007 年 以 来, 我 国 互 联 网 产 业 迅 猛 发 展, 逐 渐 渗 透 到 社 会 运 转 的 各 个 领 域 其 中, 涉 及 到 广 义 金 融 的 互 联 网 应 用, 被 统 称 互 联 网 金 融, 包 括 但 不 限 于 为 第 三 方 支 付 在 线 理 财 产 品 信 用 评 价 审 核 金 融 中 介 金 融 电 子 商 务 等 由 于 增 量 市 场 空 间 巨 大, 加 之 传 统 金 融 机 构 在 服 务 质 量 和 服 务 受 众 群 方 面 的 局 限, 我 国 互 联 网 金 融 市 场 的 发 展 速 度 和 规 模 远 远 领 先 于 发 达 国 家 和 地 区 比 如, 仅 就 支 付 一 项 来 说, 2013 年 有 亿 笔 业 务 通 过 互 联 网 完 成, 金 额 总 计 达 到 9.22 万 亿 元 针 对 我 国 金 融 市 场 存 在 的 问 题, 我 国 互 联 网 金 融 的 发 展 具 有 非 常 现 实 的 意 义 : 以 P2P 网 贷 为 代 表 的 互 联 网 金 融 模 式 有 助 于 发 展 普 惠 金 融, 能 够

109 在 一 定 程 度 上 填 补 传 统 金 融 覆 盖 面 的 空 白, 与 传 统 金 融 形 成 相 互 促 进 良 性 竞 争 和 共 同 发 展 的 局 面 ; 有 利 于 发 挥 民 间 资 本 作 用, 为 数 额 庞 大 的 民 间 资 本 提 供 高 效 合 理 的 投 资 方 式 和 渠 道, 有 力 促 进 实 体 经 济 的 发 展 ; 满 足 电 子 商 务 相 关 的 创 业 融 资 周 转 融 资 需 求 和 客 户 消 费 融 资 需 求, 扩 大 社 会 消 费 ; 提 供 有 别 于 传 统 银 行 和 证 券 市 场 的 新 融 资 渠 道, 有 助 于 降 低 成 本, 提 升 资 金 配 置 效 率 和 金 融 服 务 质 量 ; 改 善 传 统 金 融 的 信 息 不 对 称 问 题, 提 升 风 险 控 制 能 力, 推 出 个 性 化 金 融 产 品, 满 足 客 户 的 多 样 化 需 求 从 制 度 创 新 和 机 制 探 索 角 度 出 发, 互 联 网 金 融 有 助 于 支 持 市 场 自 律 组 织 履 行 职 能, 完 善 资 本 市 场 诚 信 监 管 制 度, 强 化 守 信 激 励 失 信 惩 戒 等 机 制 尽 管 发 展 迅 速, 在 技 术 创 新 上, 国 内 互 联 网 金 融 行 业 仍 有 较 大 的 提 升 空 间 当 前, 相 关 企 业 过 于 偏 重 网 上 数 据 的 收 集, 模 型 开 发 成 果 较 单 薄, 在 以 技 术 为 基 础 的 应 用 创 新 不 够 互 联 网 金 融 的 市 场 定 位 主 要 在 小 微 层 面, 具 有 海 量 交 易 笔 数, 小 微 单 笔 金 额 的 特 征, 需 要 整 合 海 量 的 企 业 商 户 及 个 人 的 消 费 交 往 贸 易 税 务 等 信 息, 洞 察 资 本 供 需 两 端, 评 估 客 户 的 资 信 状 况 鉴 于 我 国 互 联 网 金 融 的 广 阔 前 景 和 巨 大 影 响 力, 有 必 要 积 极 促 进 大 数 据 理 念 和 技 术 的 应 用, 推 动 相 关 企 业 积 极 融 合 金 融 数 据 社 交 数 据 电 子 商 务 交 易 记 录 和 各 类

110 线 下 数 据, 基 于 大 数 据 分 析 技 术, 深 刻 了 解 企 业 组 织 或 个 人 之 间 的 关 联 信 息, 准 确 掌 握 财 产 经 营 消 费 习 惯 和 商 业 道 德 等 各 个 方 面 的 情 况, 消 除 对 客 户 信 息 的 垄 断, 为 中 小 型 企 业 指 明 筹 资 方 向, 同 时 为 社 会 提 供 低 成 本 高 回 报 的 投 资 渠 道 智 慧 农 业 农 业 是 我 国 国 民 经 济 的 基 础, 也 是 经 济 发 展 社 会 安 定 国 家 安 全 的 基 础, 对 于 实 现 我 国 经 济 社 会 长 期 稳 定 发 展 有 重 大 战 略 意 义 当 前, 我 国 农 业 取 得 了 举 世 瞩 目 的 成 就, 粮 食 产 量 连 续 11 年 增 长, 农 民 收 入 也 实 现 连 续 11 年 增 长 但 是, 在 农 业 领 域, 我 国 面 临 的 形 势 不 容 乐 观 在 生 产 环 境 上, 我 国 农 业 发 展 面 临 着 土 壤 水 资 源 气 候 等 诸 多 严 重 问 题 : 我 国 人 均 耕 地 面 积 不 到 世 界 平 均 水 平 的 一 半,2030 年 作 为 我 国 重 点 粮 食 调 出 区 域 的 东 北 地 区 将 接 近 农 业 需 水 极 限, 极 端 气 候 发 生 频 率 由 上 世 纪 50 年 代 的 不 足 20 次 发 展 到 2010 年 的 100 多 次 由 经 济 起 飞 拉 动 的 市 场 需 求 无 法 自 给, 粮 食 安 全 问 题 日 益 严 重,2010 年 起 我 国 成 为 粮 食 的 净 进 口 国, 粮 棉 油 糖 肉 奶 六 大 农 产 品 无 法 完 全 自 给 且 进 口 量 呈 增 长 态 势 食 品 安 全 形 势 严 峻, 近 年 来 镉 大 米 瘦 肉 精 奶 粉 等 食 品 安 全 事 件 频 发, 根 据 有 关 部 门 统 计, 每 年 我 国 消 费 者 因 食 物 残 留 农 药 和 化 学 添 加 剂 中 毒 的 人 数 超 过 10 万 人 针 对 我 国 农 业 发 展 所 面 临 的 种 种 问 题, 中 央 政 治 局 在 分 析 研 究 2015 年 经 济 工 作 的 会 议 中 指 出, 要 加 快 转 变 农 业 发 展 方 式, 从 主 要

111 追 求 产 量 增 长 和 拼 资 源 拼 消 耗 的 粗 放 经 营, 向 数 量 质 量 效 益 并 重 注 重 提 高 竞 争 力 注 重 可 持 续 的 集 约 发 展 转 变 在 这 个 大 的 指 导 思 想 下,2015 年 一 号 文 件 将 农 业 信 息 化 作 为 农 业 现 代 化 的 突 破 口, 而 大 数 据 物 联 网 和 云 计 算 等 技 术 则 是 实 现 农 业 信 息 化 的 基 础 所 在 大 数 据 对 于 我 国 农 业 发 展 的 推 动 作 用 主 要 表 现 在 以 下 方 面 : 1. 基 于 大 数 据 技 术 对 整 个 农 业 产 业 链 进 行 全 面 实 时 的 监 控, 结 合 诸 如 天 气 报 告 土 壤 条 件 地 图 水 资 源 市 场 动 态 等 数 据, 可 以 形 成 对 农 业 整 体 情 况 的 准 确 把 握 和 有 效 的 规 划 2. 对 农 业 生 产 过 程 进 行 监 控 和 预 测, 可 以 提 高 运 营 管 理 和 生 产 效 率, 有 助 于 农 业 生 产 的 精 准 化 标 准 化 和 规 模 化 3. 通 过 大 数 据 采 集 和 分 析 流 通 环 节 的 库 存 价 格 和 物 流 数 据, 引 入 农 产 品 期 货 交 易 信 息, 可 以 及 时 掌 握 真 实 库 存, 预 测 市 场 波 动, 主 动 调 控 生 产 过 程 和 生 产 布 局 4. 通 过 传 感 器 条 形 码 和 RFID 等 采 集 和 识 别 手 段, 运 用 大 数 据 和 云 计 算 技 术 建 立 农 产 品 信 息 管 理 平 台, 构 建 覆 盖 产 地 品 种 土 壤 水 质 病 虫 害 农 药 化 肥 储 藏 加 工 运 输 销 售 等 环 节 的 农 产 品 安 全 追 溯 体 系 可 见, 采 用 大 数 据 研 究 手 段, 在 搜 集 存 储 气 象 水 利 农 资 农 业 科 研 成 果 动 物 和 植 物 生 产 发 展 情 况 农 业 机 械 病 虫 害 防 治 农 产 品 加 工 等 诸 多 环 节 大 数 据 的 基 础 上, 通 过 专 业 化 处 理, 对 海 量 数 据 进 行 快 速 分 析 挖 掘, 能 够 为 政 府 企 业 和 农 户 的 决 策 提 供 支 持, 对

112 保 障 我 国 农 业 安 全 提 升 农 业 生 产 水 平 促 进 农 产 品 市 场 健 康 发 展 等 具 有 重 大 意 义 人 工 智 能 技 术 商 业 化 大 数 据 需 要 对 多 源 海 量 数 据 进 行 自 顶 向 下 的 挖 掘 和 关 联, 其 中 相 当 部 分 的 研 究 领 域 与 人 工 智 能 技 术 相 关 严 格 的 人 工 智 能 概 念 起 源 于 用 计 算 机 来 解 释 人 类 思 考 过 程 的 想 法, 在 上 世 纪 50 到 70 年 代 间, 西 方 发 达 国 家 政 府 和 企 业 界 投 入 了 大 量 的 资 金 来 资 助 人 工 智 能 领 域 的 研 究 尽 管 如 此, 直 至 上 世 纪 末 期, 人 工 智 能 领 域 仍 偏 重 于 学 术 研 究 的 性 质, 在 实 用 方 面 取 得 的 进 步 相 对 有 限 随 着 互 联 网 的 兴 起, 机 器 与 人 之 间 的 连 接 和 互 动 日 益 紧 密, 各 类 产 品 和 服 务 需 要 更 为 清 晰 地 理 解 人 的 意 图, 并 且 更 好 的 满 足 用 户 需 求, 使 得 人 工 智 能 获 得 了 广 阔 的 实 践 土 壤 和 应 用 空 间 其 中, 作 为 人 类 信 息 表 达 最 主 要 的 三 种 方 式, 通 过 计 算 机 来 模 拟 人 类 大 脑 对 文 本 音 频 和 图 像 的 分 析 和 识 别, 是 人 工 智 能 研 究 的 热 点 所 在, 也 成 为 大 数 据 发 展 的 基 础 性 支 撑 技 术 之 一 基 于 语 音 图 像 和 文 字 的 识 别 是 大 数 据 领 域 的 基 本 研 究 内 容 和 各 类 成 功 应 用 的 基 础, 具 有 巨 大 的 产 业 前 景, 据 预 测, 未 来 五 年, 基 于 语 音 和 图 像 的 搜 索 将 达 到 全 球 搜 索 份 额 的 50% 以 上 人 工 智 能 技 术 的 快 速 发 展, 将 极 大 推 动 社 会 管 理 智 能 交 通 智 慧 医 疗 的 发 展, 而 上 述 领 域 也 正 是 我 国 大 数 据 应 用 的 重 点 所 在 传 统 上, 对 文 本 音 频 和 图 像 的 分 析 都 需 要 研 究 人 员 在 具 备 一 定

113 专 业 知 识 的 前 提 下, 耗 费 大 量 时 间 对 各 种 规 则 进 行 手 动 编 程 而 随 着 数 据 量 的 增 长, 人 工 智 能 领 域 的 研 究 思 路 发 生 了 巨 大 的 转 变, 深 度 学 习 等 新 方 法 可 以 让 计 算 机 对 海 量 样 本 数 据 进 行 自 动 的 学 习 和 建 模 Google 研 究 部 主 任 Peter Norvig 对 此 的 描 述 是 : All models are wrong,and increasingly you can succeed without them 比 如, Google 用 1000 台 电 脑 组 成 的 神 经 网 络, 花 费 了 三 天 时 间 来 分 析 约 一 千 万 张 静 态 图 片, 最 终 能 够 自 动 识 别 人 脸 身 体 和 猫 计 算 准 确 性 和 效 率 的 大 幅 提 升, 使 得 人 工 智 能 技 术 的 大 规 模 应 用 成 为 可 能 图. 大 数 据 时 代 的 人 工 智 能 研 究 人 工 智 能 技 术 的 发 展 具 有 高 度 的 本 土 化 色 彩, 而 且 图 像 语 音 文 本 数 据 的 处 理 和 分 析 严 重 依 赖 于 训 练 数 据 的 规 模 和 质 量, 导 致 我 国 在 人 工 智 能 商 业 化 方 面 具 有 天 然 的 优 势 传 统 的 人 工 智 能 技 术 研 究 偏 重 于 模 型 方 面, 而 随 着 互 联 网 和 移 动 互 联 网 的 发 展, 产 生 了 海 量 的 图 像 语 音 和 文 本 数 据, 为 相 关 学 术 研 究 和 技 术 发 展 带 来 了 新 的 思 路

114 基 于 海 量 的 训 练 数 据, 配 合 以 日 益 提 升 的 计 算 能 力 和 大 数 据 处 理 技 术, 能 够 在 可 接 受 的 时 间 内 让 计 算 机 自 动 实 现 对 模 型 的 识 别, 不 仅 提 升 了 分 析 的 准 确 性, 而 且 大 大 加 速 了 技 术 研 究 和 发 展 的 进 程 在 这 种 以 数 据 驱 动 的 发 展 模 式 下, 加 之 我 国 庞 大 的 人 口 基 础 和 网 民 数 量 所 导 致 的 数 据 规 模, 为 相 关 领 域 的 研 究 和 发 展 提 供 了 坚 实 的 基 础, 同 时 构 成 了 人 工 智 能 技 术 商 业 化 的 广 阔 空 间 ( 一 ) 语 音 识 别 语 音 识 别 的 基 本 原 理 是 以 人 类 语 音 为 研 究 对 象, 通 过 信 号 处 理 和 模 式 识 别 让 机 器 自 动 识 别 和 理 解 人 类 语 言 语 音 识 别 涉 及 声 学 语 音 学 语 言 学 信 息 理 论 模 式 识 别 理 论 以 及 神 经 生 物 学 等 学 科, 正 逐 步 成 为 计 算 机 信 息 处 理 技 术 中 的 关 键 技 术 从 近 年 互 联 网 和 移 动 互 联 网 的 发 展 趋 势 看, 服 务 接 口 的 便 利 性 成 为 企 业 获 得 竞 争 优 势 的 根 本 所 在, 极 高 的 沟 通 效 率 使 基 于 语 音 技 术 的 互 动 方 式 必 将 成 为 未 来 人 机 对 话 的 主 要 模 式 同 时, 通 过 在 海 量 音 频 数 据 中 捕 捉 和 提 取 客 户 的 意 向 和 情 绪, 还 能 够 实 现 业 务 流 程 座 席 绩 效 和 客 户 体 验 等 的 优 化 语 音 技 术 在 智 能 设 备 车 联 网 在 线 教 育 电 信 零 售 医 疗 公 共 事 业 运 输 / 物 流 旅 游 传 媒 能 源 等 多 个 行 业 具 有 广 阔 前 景, 根 据 Research and Markets 公 司 的 预 测, 全 球 语 音 分 析 市 场 预 计 将 从 2014 年 的 4.56 亿 美 元 增 长 至 2019 年 的 13.3 亿 美 元, 年 均 复 合 增 长 率 高 达 23.9% 我 国 互 联 网 和 移 动 互 联 网 的 迅 速 发 展 为 语 音 技 术 提 供 了 广 阔 的 应 用 空 间, 而 诸 如 科 大 讯 飞 云 知 声 等 国 内 厂 商 在 语 音 解 决 方 案 上 的 基

115 本 成 熟, 也 使 得 语 音 技 术 在 各 个 领 域 的 应 用 呈 爆 发 态 势 据 2014 中 国 智 能 语 音 产 业 发 展 白 皮 书 显 示, 随 着 在 移 动 互 联 网 呼 叫 中 心 智 能 家 居 车 联 网 和 教 育 等 领 域 的 应 用 逐 步 深 入, 我 国 智 能 语 音 产 业 保 持 了 持 续 快 速 的 增 长, 在 未 来 将 进 一 步 带 动 工 业 家 电 通 信 医 疗 家 庭 服 务 消 费 电 子 产 品 等 众 多 领 域 的 发 展 除 了 市 场 规 模 庞 大 以 外, 我 国 语 音 还 有 着 独 特 的 市 场 需 求 首 先, 与 英 语 等 语 言 相 比, 中 文 语 序 表 灵 活 省 略 现 象 严 重, 在 断 句 词 性 判 定 语 序 规 整 和 词 汇 组 合 等 方 面 需 要 进 行 专 门 的 研 究 ; 其 次, 我 国 是 个 多 民 族 国 家, 幅 员 辽 阔, 各 民 族 语 言 和 各 地 方 言 的 差 异 给 语 音 服 务 市 场 带 来 了 多 样 化 的 需 求 独 特 的 技 术 挑 战 与 细 分 的 市 场 需 求 为 我 国 语 音 服 务 产 业 提 供 了 宝 贵 的 市 场 空 间 和 发 展 机 遇 ( 二 ) 图 像 / 视 频 理 解 在 日 常 生 活 中, 人 们 感 知 的 外 界 信 息 有 80% 以 上 来 自 视 觉 系 统 随 着 社 会 信 息 化 程 度 的 提 高, 对 图 像 信 息 的 自 动 化 分 析 理 解 的 需 求 也 变 得 越 来 越 迫 切 作 为 人 工 智 能 研 究 领 域 的 一 个 重 要 分 支, 图 像 识 别 技 术 的 目 的 在 于 用 计 算 机 实 现 对 图 像 信 息 或 图 像 模 式 的 处 理 和 分 析, 进 而 描 述 识 别 和 解 释 其 中 的 物 体 对 象 或 行 为 互 联 网 和 移 动 互 联 网 的 发 展 产 生 了 海 量 的 图 像 信 息 据 2014 年 的 统 计,Instagram 每 天 上 传 的 图 片 量 为 6000 万 张,Whatsapp 每 天 的 图 片 发 送 量 为 5 亿 张, 国 内 的 微 信 微 博 和 淘 宝 等 电 子 商 务 平 台 也 拥 有 了 庞 大 的 图 像 数 据 资 源 数 据 资 源 的 丰 富 引 发 了 图 像 识 别 技 术 的 巨 大 进 步, 国 内 外 互 联 网 巨 头 如 Google 和 百 度 等 都 在 这 方 面 取 得 长 足

116 进 步 在 应 用 环 节, 图 像 识 别 技 术 开 始 在 互 联 网 等 领 域 得 到 大 规 模 的 应 用, 并 逐 渐 渗 透 到 其 他 行 业, 成 为 一 个 基 础 性 的 支 撑 服 务 图 像 识 别 技 术 在 社 会 治 安 智 能 交 通 金 融 工 业 食 品 检 测 等 诸 多 领 域 具 有 广 泛 的 应 用 前 景 目 前, 已 有 的 主 要 应 用 场 景 有 : 图 像 搜 索 图 像 搜 索 未 来 将 成 为 互 联 网 和 移 动 互 联 网 的 主 要 入 口 之 一 通 过 将 图 像 与 其 关 联 信 息 的 实 时 动 态 整 合, 能 够 实 现 极 高 的 商 业 价 值 比 如 对 个 人 名 片 杂 志 封 面 电 影 海 报 商 品 实 物 店 铺 标 志 衣 物 饰 品 的 识 别, 能 够 实 时 与 评 论 文 章 门 店 地 址 厂 家 信 息 营 销 活 动 等 关 联 起 来 据 百 度 统 计, 目 前 图 像 搜 索 应 用 中 最 为 旺 盛 的 是 生 活 类 搜 索 服 务, 在 整 个 图 像 搜 索 中 占 比 达 35.5% 身 份 识 别 高 效 可 靠 的 身 份 认 证 技 术 在 社 会 安 全 中 起 着 至 关 重 要 的 作 用 近 年 来, 以 图 像 识 别 为 核 心 的 生 物 特 征 认 证 技 术 逐 渐 被 应 用 于 监 控 摄 像 刑 侦 识 别 和 金 融 支 付 等 领 域, 包 括 对 指 纹 虹 膜 人 脸 掌 纹 手 形 和 耳 形 等 人 体 生 理 物 理 特 征 的 识 别 比 较 典 型 的 应 用 如 阿 里 旗 下 的 蚂 蚁 金 服 和 腾 讯 的 微 众 银 行 都 基 于 人 脸 识 别 技 术 进 行 用 户 的 智 能 交 通 智 能 交 通 系 统 需 要 捕 获 周 边 环 境 和 交 通 工 具 状 态 的 图 像, 并 进 行 实 时 的 处 理 和 识 别 比 如 车 辆 牌 照 自 动 识 别 系 统, 需 要 实 时 自 动 地 对 含 有 车 牌 的 图 像 进 行 分 析 处 理, 从 而 确 定 牌 照 在 图 像 中 的 位 置, 并 进 一 步 提 取 和 识 别 出 文 本 字 符 而 对 于 无 人 驾 驶 汽 车 来 说, 需 要 实 时 感 知 并 识 别 出 车 辆 周 围 环 境, 并 结 合 道

117 路 位 置 和 障 碍 物 信 息 来 控 制 车 辆 的 转 向 和 速 度 工 业 应 用 在 工 业 生 产 领 域, 图 像 识 别 技 术 已 成 为 自 动 化 生 产 控 制 系 统 的 核 心 技 术 之 一, 被 广 泛 应 用 于 质 量 检 测 与 评 估 快 速 测 量 自 动 分 拣 以 及 智 能 工 业 机 器 人 的 视 觉 定 位 与 环 境 感 知 等 方 面, 极 大 提 升 了 电 子 汽 车 纺 织 印 刷 以 及 制 造 加 工 等 行 业 的 生 产 效 率 医 疗 健 康 医 疗 健 康 行 业 拥 有 大 量 反 映 病 患 身 体 内 部 解 剖 学 或 生 理 功 能 信 息 的 图 像 数 据, 医 疗 图 像 具 有 规 模 庞 大 分 辨 率 高 和 图 像 特 征 表 达 复 杂 等 特 点, 使 得 图 像 识 别 技 术 在 医 疗 领 域 具 有 极 大 的 实 用 价 值, 可 应 用 于 医 疗 诊 断 组 织 容 积 定 量 分 析 病 变 组 织 定 位 解 剖 结 构 学 习 治 疗 规 划 功 能 成 像 数 据 局 部 体 效 应 校 正 和 术 后 监 测 等 各 个 环 节 ( 三 ) 文 本 分 析 文 本 挖 掘 是 指 对 无 结 构 的 原 始 文 本 进 行 科 学 抽 象 和 模 型 构 建, 转 化 为 结 构 化 的 计 算 机 可 以 识 别 处 理 的 信 息, 进 而 使 计 算 机 能 够 基 于 已 有 模 型 识 别 文 本, 并 对 散 布 在 文 本 中 知 识 进 行 提 取 和 组 织 例 如, 由 LexisNexis 公 司 开 发 的 HPCC 系 统, 通 过 整 合 来 自 不 同 系 统 的 数 据, 抽 取 人 名 地 名 公 司 名 以 及 其 他 重 要 信 息 ; 安 全 公 司 OpenDNS 公 司, 基 于 自 然 语 言 处 理 理 论 (Natural Language Processing), 提 前 识 别 出 刻 意 模 仿 著 名 站 点 名 称 的 恶 意 钓 鱼 网 站 由 于 互 联 网 的 迅 速 发 展, 以 社 交 媒 体 为 代 表 的 非 结 构 化 文 本 信 息 呈 爆 炸 式 增 长 态 势, 推 动 了 文 本 分 析 领 域 的 快 速 发 展 当 前, 文 本 数

118 据 主 要 包 括 博 客 微 博 微 信 设 备 日 志 与 客 服 对 话 记 录 等, 基 本 都 以 人 类 语 言 的 形 式 呈 现, 使 得 文 本 分 析 的 核 心 逐 渐 转 向 人 工 智 能 研 究 中 的 自 然 语 言 理 解 领 域, 包 含 词 法 分 析 依 存 分 析 句 法 分 析 和 机 器 翻 译 等 以 自 然 语 言 处 理 为 核 心 的 文 本 分 析 技 术, 属 于 大 数 据 分 析 中 最 为 基 础 的 部 分 自 然 语 言 处 理 是 研 究 人 与 计 算 机 交 互 的 语 言 问 题 的 一 门 学 科, 是 语 言 信 息 处 理 的 一 个 分 支, 也 是 是 人 工 智 能 领 域 的 核 心 课 题 之 一 由 于 文 本 分 析 的 应 用 支 撑 面 极 为 广 泛, 在 此 只 描 述 几 类 最 具 代 表 性 的 应 用 场 景 : 互 联 网 服 务 诸 如 百 度 淘 宝 等 大 型 互 联 网 平 台 的 信 息 搜 索 系 统, 能 够 直 接 回 答 用 户 提 问 的 知 识 引 擎, 各 类 基 于 机 器 翻 译 技 术 开 发 的 在 线 词 典 等 此 外, 在 刨 除 音 频 特 征 之 后, 语 音 识 别 及 其 应 用 服 务 也 是 以 自 然 语 言 处 理 为 基 础 企 业 营 销 对 用 户 的 社 交 媒 体 内 容 进 行 分 析 掌 握 用 户 的 性 格 年 龄 阶 段 星 座 性 别 偏 好 等 在 对 用 户 全 面 刻 画 的 基 础 上, 向 用 户 推 送 相 应 的 折 扣 优 惠 和 最 新 产 品 信 息 金 融 业 务 金 融 信 息 中 的 的 绝 大 部 分 数 据 均 是 以 文 本 形 式 存 在, 如 交 易 信 息 金 融 论 坛 研 究 报 告 财 经 新 闻 和 社 交 媒 体 等, 通 过 文 本 分 析 可 以 用 于 市 场 洞 察 信 用 评 估 和 风 险 管 理 等 方 面 比 如 前 文 案 例 所 述, 有 公 司 基 于 社 交 媒 体 预 测 市 场 走 势, 进 而 对 股 票 操 作 进 行 指 导 社 情 民 意 当 前, 网 络 论 坛 和 社 交 媒 体 中 存 在 大 量 以 非 结 构 化 数

119 据 形 式 出 现 的 舆 情 信 息, 其 中 蕴 含 真 实 而 广 泛 的 对 某 种 社 会 现 象 或 社 会 问 题 的 看 法, 分 析 提 供 了 方 法 和 技 术 支 持, 通 过 分 析 可 以 及 时 掌 握 民 众 所 关 心 的 热 点 难 点 和 舆 情 动 态, 为 合 理 决 策 和 突 发 事 件 预 防 提 供 重 要 依 据 医 疗 医 疗 档 案 是 病 患 在 医 疗 机 构 就 诊 过 程 中 产 生 的 完 整 详 细 的 临 床 信 息 资 源 医 疗 档 案 中 包 含 大 量 的 非 结 构 化 文 本 信 息, 例 如 以 自 然 语 言 记 录 的 临 床 表 现 等 医 疗 记 录, 运 用 相 应 的 文 本 分 析 技 术, 可 以 有 效 提 升 医 疗 服 务 的 质 量 与 语 音 识 别 类 似, 我 国 语 言 类 型 多 样, 包 含 汉 语 和 各 类 少 数 民 族 语 言, 拥 有 足 够 细 分 的 子 领 域 和 应 用 场 景, 为 国 内 厂 商 提 供 了 巨 大 的 发 展 机 遇 数 据 银 行 针 对 我 国 信 息 化 建 设 和 大 数 据 发 展 较 先 进 国 家 和 地 区 仍 相 对 落 后 的 现 状, 有 必 要 从 全 局 推 动 数 据 银 行 一 类 实 现 全 社 会 数 据 资 源 供 需 的 产 业 形 态 的 发 展 首 先, 我 国 大 多 数 政 府 数 据 和 企 业 数 据 仍 然 处 在 沉 睡 状 态 对 数 据 外 部 性 认 知 不 足, 大 部 分 数 据 拥 有 者 无 法 意 识 到 自 身 数 据 的 资 产 属 性, 缺 乏 足 够 的 动 力 将 自 己 的 数 据 公 开 由 于 缺 乏 足 够 的 利 益 驱 动, 企 业 对 数 据 资 源 的 垄 断 意 识 仍 较 强 烈, 尤 其 是 一 些 大 型 企 业 往 往 不 愿 意 把 自 己 的 数 据 资 源 向 自 己 业 务 圈 外 的 市 场 提 供

120 其 次, 即 便 有 主 观 意 愿 通 过 交 易 来 实 现 数 据 增 值 和 业 务 成 长, 企 业 仍 面 临 着 成 本 消 耗 过 高 的 问 题 对 于 数 据 拥 有 者, 必 须 经 历 陡 峭 的 学 习 曲 线 去 探 知 自 身 数 据 在 其 他 领 域 的 应 用 价 值, 而 数 据 需 求 方 在 寻 找 所 需 数 据 时 可 能 会 耗 费 大 量 时 间 和 人 力 成 本 最 后, 由 于 对 数 据 利 用 认 知 的 不 足 以 及 技 术 手 段 上 的 局 限, 我 国 在 数 据 采 集 和 处 理 方 面 仍 相 对 落 后, 各 类 数 据 源 在 质 量 和 准 确 性 方 面 缺 乏 一 致 的 标 准 低 质 量 混 乱 的 数 据 会 导 致 错 误 的 分 析 结 果, 进 而 对 用 户 的 决 策 造 成 负 面 影 响 因 此, 必 须 要 有 对 数 据 质 量 进 行 规 整 的 产 业 环 节, 将 数 据 资 源 转 换 成 易 于 为 市 场 所 理 解 和 使 用 的 形 态, 提 升 数 据 资 源 商 品 化 标 准 化 和 资 产 化 的 水 平, 从 而 盘 活 数 据 资 产, 带 动 资 源 的 优 化 配 置, 有 效 推 动 大 数 据 产 业 以 及 其 他 行 业 的 发 展 可 见, 积 极 发 展 数 据 银 行 一 类 的 产 业 形 态, 能 够 深 化 全 社 会 对 于 数 据 外 部 价 值 的 认 识, 通 过 汇 集 各 类 数 据 供 需 方 并 提 供 必 要 的 数 据 商 品 加 工 手 段, 降 低 实 现 和 利 用 数 据 价 值 的 成 本, 打 造 我 国 大 数 据 产 业 快 速 成 长 所 需 的 开 放 透 明 资 源 高 度 聚 集 的 市 场 环 境 众 包 模 式 数 据 的 准 确 性 实 时 性 和 覆 盖 面 等 质 量 指 标 是 关 乎 大 数 据 产 业 发 展 的 关 键 所 在, 针 对 我 国 数 据 采 集 基 础 较 弱 的 情 况, 众 包 模 式 在 某 些 领 域 具 有 巨 大 的 应 用 价 值 随 着 我 国 城 市 化 进 程 的 发 展, 城 市 资 源 和 环 境 的 限 制 日 益 明 显, 交 通 方 面 的 挑 战 尤 为 严 峻, 对 于 数 据 的 准 确 和 及 时 程 度 有 较 高 的 要 求

121 当 前, 我 国 在 这 方 面 的 数 据 采 集 大 多 通 过 雷 达 摄 像 头 传 感 器 和 实 地 观 测 等 方 式, 耗 时 耗 力 且 难 于 维 护 在 环 保 领 域, 环 境 监 测 数 据 是 预 测 预 报 环 境 质 量 状 况 的 重 要 基 础, 关 系 到 能 否 对 环 境 质 量 生 态 环 境 现 状 及 变 化 趋 势 进 行 实 时 准 确 的 监 测 目 前, 由 于 过 分 依 赖 环 境 监 测 仪 器 测 试 手 段 和 数 据 传 输 方 式 不 够 完 善 等 问 题, 使 得 监 测 得 到 的 数 据 过 于 稀 疏 数 据 量 过 小 且 实 时 性 不 够 通 过 众 包 模 式, 比 如 基 于 民 众 随 身 的 移 动 设 备 来 进 行 采 集 交 通 或 城 市 环 境 数 据, 能 够 有 效 提 升 所 需 数 据 的 真 实 性 密 度 和 实 时 程 度 正 如 前 文 中 所 述, 当 前 国 外 已 有 通 过 民 众 的 智 能 手 机 来 实 时 采 集 公 交 信 息 的 案 例, 而 2013 年 全 球 电 信 日 也 将 基 于 运 营 商 数 据 来 改 善 交 通 状 况 作 为 主 题 之 一 在 自 然 环 境 监 测 和 灾 害 预 警 方 面, 由 于 我 国 自 然 环 境 日 益 恶 化 地 质 灾 害 频 发, 众 包 模 式 也 具 有 极 大 的 应 用 价 值 根 据 研 究 显 示, 地 震 发 生 时 如 果 能 提 前 10 秒 预 警, 生 存 率 可 以 增 加 12%, 提 前 30 秒, 生 存 率 能 增 加 到 40% 而 日 益 普 及 的 智 能 设 备 为 环 境 和 灾 害 信 息 的 采 集 和 分 发 提 供 了 高 效 通 道, 能 够 大 幅 提 升 信 息 采 集 的 覆 盖 面 和 预 警 的 实 时 性 这 方 面 的 研 究 和 探 索 已 有 先 例 美 国 地 质 勘 探 局 和 航 天 局 尝 试 利 用 众 包 GPS 及 其 他 数 据, 监 测 地 震 发 生 时 的 地 面 移 动 情 况 并 快 速 预 警 在 环 境 监 测 领 域,WeatherSignal 应 用 基 于 用 户 手 机 中 内 置 的 气 压 计 湿 度 计 温 度 计 和 照 度 计 等 传 感 器, 实 时 采 集 天 气 数 据 我 国 具 有 基 于 众 包 模 式 开 展 数 据 采 集 的 天 然 优 势 我 国 拥 有 庞 大 的 互 联 网 和 移 动 互 联 网 用 户 群 体, 据 统 计, 截 止 到 2014 年 12 月, 我

122 国 网 民 规 模 达 6.49 亿, 手 机 上 网 用 户 5.57 亿, 微 信 用 户 3.5 亿 智 能 连 接 设 备 近 8 亿, 构 成 了 巨 大 的 信 息 采 集 和 发 布 网 络, 几 乎 覆 盖 全 部 国 土 空 间, 可 以 更 加 实 时 和 广 泛 地 汇 集 各 类 自 然 和 社 会 信 息 基 于 这 种 得 天 独 厚 的 大 规 模 感 知 系 统, 可 以 全 方 位 监 测 人 口 移 动 经 济 运 转 交 通 运 输 和 自 然 环 境 等 各 个 方 面 的 实 时 状 况 目 前, 众 包 数 据 采 集 在 我 国 已 有 成 功 实 践 比 如, 数 据 堂 通 过 数 十 万 众 客 采 集 语 音 和 图 像 数 据, 为 我 国 在 语 音 识 别 和 人 脸 识 别 等 领 域 的 发 展 提 供 了 坚 实 的 基 础 而 百 度 腾 讯 等 地 图 服 务 的 上 游 数 据 供 应 商 也 逐 渐 通 过 众 包 模 式 采 集 传 统 方 法 难 以 应 对 的 各 种 数 据, 比 如 海 量 街 景 图 片 综 上 所 述, 应 该 大 力 提 倡 和 推 动 众 包 模 式 在 数 据 采 集 环 节 的 运 用, 这 不 仅 是 实 现 我 国 大 数 据 产 业 快 速 发 展 的 有 效 途 径, 更 是 提 升 政 府 和 企 业 决 策 科 学 性 降 低 灾 害 损 失 确 保 社 会 可 持 续 发 展 的 有 力 手 段 除 了 采 集 之 外, 在 数 据 分 析 和 价 值 挖 掘 环 节, 众 包 模 式 同 样 能 够 发 挥 巨 大 作 用 针 对 我 国 数 据 利 用 极 不 充 分 的 现 状, 充 分 调 动 高 校 科 研 机 构 和 企 业 研 发 力 量, 进 行 技 术 和 应 用 的 探 索, 能 够 大 力 推 动 我 国 大 数 据 产 业 以 及 相 关 行 业 的 发 展 4.5 海 淀 区 大 数 据 产 业 发 展 策 略 根 据 各 地 实 际 情 况 的 不 同, 对 于 大 数 据 发 展 的 策 略 也 应 该 因 地 制 宜 有 所 侧 重 以 海 淀 区 为 例, 作 为 我 国 科 技 领 域 和 IT 产 业 的 高 地, 在 大 数 据 产 业 发 展 现 状 上 体 现 出 了 鲜 明 的 特 色 相 应 地, 也 应 有 针 对

123 性 地 制 定 大 数 据 长 远 发 展 的 规 划 海 淀 区 大 数 据 产 业 现 状 分 析 应 用 商 业 智 能 金 融 / 保 险 医 疗 健 康 图 像 分 析 语 音 服 务 地 理 信 息 服 务 空 间 分 析 语 音 识 别 广 告 营 销 交 通 / 物 流 车 联 网 旅 游 用 户 分 析 可 视 化 日 志 分 析 教 育 / 人 力 企 业 媒 体 / 应 用 娱 乐 基 础 架 构 行 业 平 台 物 联 网 医 疗 健 康 算 法 监 控 云 存 储 分 布 式 基 础 平 台 数 据 源 地 理 数 据 银 行 开 放 平 台 气 象 旅 游 众 包 采 集 能 源 车 联 网 建 筑 / 房 产 金 融 教 育 / 知 识 生 活 图. 海 淀 区 大 数 据 产 业 分 布 海 淀 区 是 我 国 IT 产 业 的 主 要 发 源 地, 在 大 数 据 产 业 发 展 上 也 在 全 国 处 于 绝 对 的 领 先 地 位 已 统 计 的 大 数 据 企 业 中, 北 京 上 海 广 东 ( 主 要 是 深 圳 ) 和 浙 江 ( 主 要 是 杭 州 ) 的 占 比 达 92%, 其 中 北 京 处 于 遥 遥 领 先 的 地 位, 全 国 占 比 接 近 60%

124 图. 大 数 据 企 业 地 区 分 布 在 北 京 的 大 数 据 企 业 或 产 品 中, 海 淀 区 又 占 有 绝 对 的 优 势 地 位, 占 北 京 大 数 据 企 业 的 63%, 在 全 国 来 看 占 比 接 近 三 分 之 一 图. 北 京 大 数 据 企 业 按 区 分 布 如 果 细 化 到 产 业 链 的 各 个 环 节, 可 以 看 出 海 淀 区 大 数 据 产 业 分 布 的 特 点 所 在 : 图. 海 淀 区 大 数 据 企 业 全 国 分 类 占 比 如 上 图 所 示, 在 基 础 架 构 和 分 析 类 海 淀 区 企 业 的 占 比 明 显 高 出 数 据 源 和 应 用 类 而 且, 在 基 础 架 构 和 分 析 这 两 大 区 块 中, 海 淀 区 大 数