PowerPoint Presentation

Transcription

1 大 数 据 技 术 与 应 用 Emerging Technologies 1 zheng.w.wang@oracle.com

2 2

3 34 届 美 洲 杯 冠 军 团 队 背 后 的 Oracle 技 术 从 1:8 到 9:8 的 逆 转 背 后 决 定 性 因 素 数 据 决 定 船 体 优 化 单 个 船 体 安 置 400 个 传 感 器 随 时 对 3000 个 参 数 做 实 时 分 析 每 秒 个 数 据 点 每 天 200G 数 据 (4G 2007) 专 业 预 测 应 用 程 序 移 动 装 置 做 实 时 行 动 调 整 支 持 移 动 的 Java 应 用 架 构 云 计 算 的 处 理 模 式 Exadata 支 持 查 询 和 预 测 大 数 据 及 BI 实 时 分 析 3

4 Agenda Oracle 大 数 据 解 决 方 案 概 览 面 向 政 府 行 业 的 典 型 应 用 场 景 政 府 行 政 监 管 大 数 据 政 府 设 备 监 管 大 数 据 (GPS/ 北 斗 / 城 市 交 通 ) 政 府 科 研 大 数 据 ( 地 震 / 气 象 / 水 利 / 海 洋 ) 公 安 大 数 据 智 慧 城 市 / 城 市 大 数 据 运 营 中 心 烟 草 大 数 据 4

5 当 前 大 数 据 使 用 场 景 示 例 汽 车 报 告 位 置 和 问 题 的 汽 车 传 感 器 高 科 技 / 工 业 制 造 制 造 质 量 保 修 分 析 石 油 与 天 然 气 钻 探 传 感 器 分 析 通 信 这 种 数 据 的 零 售 主 / 快 要 速 消 不 费 品 同 之 处 是 金 融 什 服 务 么? 基 于 位 置 的 广 告 舆 情 分 析 热 卖 产 品 风 险 和 投 资 组 合 分 析 优 化 的 营 销 新 产 品 数 据 量 高 速 度 多 样 性 生 命 科 学 临 床 试 验 基 因 组 媒 体 / 娱 乐 观 众 / 广 告 效 果 交 叉 销 售 游 戏 旅 游 与 运 输 公 用 事 业 这 些 特 点 适 应 玩 家 行 为 用 给 于 实 您 最 现 佳 有 架 构 带 分 来 析 网 挑 络 战 游 戏 植 入 广 告 交 通 流 量 的 容 量 的 智 能 传 感 器 分 析 量 表 客 户 意 见 联 机 服 务 / 社 交 媒 体 人 职 匹 配 Web 站 点 优 化 教 育 与 科 研 实 验 传 感 器 分 析 医 疗 卫 生 患 者 传 感 器 监 视 EHR 医 护 质 量 执 法 和 国 防 威 胁 分 析 社 交 媒 体 监 视 照 片 分 析 5

6 打 造 您 的 大 数 据 架 构 逐 步 扩 展 现 有 架 构, 满 足 大 数 据 要 求 : 第 1 步 : 更 深 入 地 分 析 当 前 数 据 第 2 步 : 针 对 数 据 多 样 性 和 数 据 量 进 行 设 计 第 3 步 : 针 对 高 数 据 速 度 设 计 第 4 步 : 发 现 新 模 式 提 高 业 务 价 值 6

7 第 0 步 : 数 据 仓 库 基 础 高 密 度 数 据 Oracle 数 据 库 Oracle BI 企 业 版 信 息 板 即 席 查 询 获 取 组 织 分 析 决 策 7

8 第 1 步 : 深 入 分 析 当 前 数 据 高 密 度 数 据 Oracle 数 据 库 Oracle BI 企 业 版 信 息 板 即 席 查 询 Spatial and Graph 流 失 定 位 高 级 分 析 获 取 组 织 分 析 决 策 8

9 第 2 步 : 针 对 数 据 多 样 性 和 数 据 量 进 行 设 计 低 密 度 批 量 数 据 高 密 度 数 据 Hadoop Oracle 数 据 库 Spatial and Graph Oracle BI 企 业 版 信 息 板 即 席 查 询 流 失 定 位 聚 合 预 分 析 高 级 分 析 关 系 评 论 获 取 组 织 分 析 决 策 9

10 第 3 步 : 针 对 高 数 据 速 度 设 计 低 密 度 批 量 数 据 高 密 度 数 据 Hadoop Oracle 数 据 库 Spatial and Graph Oracle BI 企 业 版 信 息 板 即 席 查 询 流 失 定 位 流 数 据 聚 合 预 分 析 事 件 处 理 高 级 分 析 操 作 建 模 实 时 决 策 关 系 评 论 推 荐 操 作 获 取 组 织 分 析 决 策 10

11 第 4 步 : 发 现 新 信 息 Endeca Information Discovery 低 密 度 批 量 数 据 高 密 度 数 据 Hadoop Oracle 数 据 库 Spatial and Graph Oracle BI 企 业 版 信 息 板 即 席 查 询 流 失 定 位 流 数 据 聚 合 预 分 析 事 件 处 理 高 级 分 析 操 作 建 模 实 时 决 策 关 系 评 论 推 荐 操 作 获 取 组 织 分 析 决 策 发 现 11

12 Oracle 的 大 数 据 解 决 方 案 Oracle Business Analytics Foundation Oracle Exalytics Oracle Advanced Analytics Cloudera Hadoop SQL Oracle No SQL Database Oracle Big Data Connectors Oracle Big Data Appliance Oracle Exadata 12

13 Oracle Big Data Appliance 高 性 价 比 的 高 性 能 Hadoop 一 体 机 最 高 性 能 的 预 优 化 Hadoop 一 体 机 同 类 产 品 中 最 佳 的 优 化 软 件 集 成 到 Exadata 的 超 快 连 接 能 力 : 15TB/Hour 分 区 与 非 分 区 ; 在 线 与 离 线 数 据 装 载 预 先 集 成 优 化 的 软 件 系 统 Linux, Java VM, Cloudera Distribution of Hadoop Oracle R Distribution & NoSQL Database 从 小 配 置 起 步 逐 步 扩 展, 处 理 能 力 与 存 储 同 步 提 升 13

14 Big Data Appliance X4-2 硬 件 部 分 18 台 数 据 服 务 器 每 台 2 CPUs * 8 核 每 台 64 GB 内 存 ( 可 扩 展 至 512GB) 每 台 12 块 4TB SAS 盘 网 络 部 分 40Gb InfiniBand 10Gb 以 太 网 Raw Storage: 864T Core Count: 288 核 Mem Count: 1152G ( 可 扩 展 至 9612) 33 % More storage 软 件 部 分 Oracle Linux / Oracle JDK Cloudera Hadoop Distribution Cloudera Manager Cloudera Impala, Search, Navigator, HBase & BDR Oracle NoSQL Community Edition Open-source R distribution Oracle Big Data Connector ODI Adapter for Hadoop Oracle Loader for Hadoop Oracle Direct Connector for HDFS Oracle R Conenctor for Hadoop 14

15 Big Data Appliance 产 品 家 族 Starter Rack 作 为 起 始 的 大 数 据 机 版 本 包 含 6 个 节 点 的 配 置 In-Rack Expansion 在 本 机 加 以 扩 展, 增 多 6 个 节 点 Full Rack 提 供 了 更 多 的 能 力 及 扩 展 的 选 项 15

16 时 间 ( 小 时 ) 时 间 ( 小 时 ) 大 数 据 机 性 能 比 较 处 理 大 批 量 转 换 作 业 的 速 度 比 定 制 的 20 节 点 Hadoop 集 群 快 6 倍 标 记 和 解 析 文 本 文 档 的 速 度 比 30 节 点 Hadoop 集 群 快 2.5 倍 大 数 据 机 自 制 Hadoop 集 群 0 大 数 据 机 基 于 云 的 Hadoop 16

17 Oracle 大 数 据 机 优 势 最 优 性 能 在 硬 件 能 力, 端 到 端 技 术 堆 栈 的 整 体 优 化, 使 应 用 效 率 最 高, 计 算 存 储 分 布 更 均 匀 出 厂 化 的 最 优 参 数 配 置, 避 免 系 统 集 成 测 试 中 大 量 冗 余 工 作 最 稳 定 平 台 全 面 整 合 测 试 的 集 成 化 发 行 版 本, 保 证 长 期 稳 定 运 行 集 成 最 新 的 CDH 开 发 的 补 丁, 并 和 ORACLE 整 体 技 术 堆 栈 结 合 保 证 各 个 软 件 组 件 的 一 致 性, 使 应 用 顺 滑 运 行 最 易 管 理 提 供 业 界 领 先 的 集 成 化 管 理 工 具, 避 免 开 源 版 本 管 理 困 难 的 问 题 提 供 各 种 方 式 的 系 统 异 常 报 警 功 能 最 强 功 能 提 供 了 大 数 据 到 传 统 平 台 的 无 缝 迁 移 工 具 提 供 了 业 界 领 先 的 NOSQL 解 决 方 案 提 供 了 业 界 领 先 的 高 级 分 析 功 能 17

18 NoSQL 与 关 系 型 数 据 库 18

19 NoSQL DB 商 业 价 值 行 业 案 例 商 业 价 值 银 行 / 金 融 贷 款 保 险 发 卡 在 线 交 易 的 实 时 分 析 新 产 品 风 险 评 估 股 票 等 投 资 组 合 趋 势 分 析 医 疗 共 享 电 子 病 历 及 医 疗 记 录, 帮 助 快 速 诊 断 制 造 / 高 科 技 产 品 故 障 失 效 综 合 分 析 专 利 记 录 检 索 智 能 设 备 全 球 定 位, 位 置 服 务 能 源 勘 探 钻 井 等 传 感 器 阵 列 数 据 集 中 分 析 互 联 网 / Web2.0 政 府 / 公 用 事 业 媒 体 / 娱 乐 在 线 广 告 投 放 商 品 评 分 排 名 社 交 网 络 自 动 匹 配 搜 索 结 果 优 化 智 能 城 市 信 息 网 络 集 成 天 气 地 理 水 电 煤 等 公 共 数 据 收 集 研 究 公 共 安 全 信 息 集 中 处 理 智 能 分 析 收 视 率 统 计 热 点 信 息 统 计 分 析 增 加 市 场 份 额 提 升 客 户 忠 诚 度 提 高 整 体 收 入 降 低 金 融 风 险 改 善 诊 疗 质 量 加 快 诊 疗 速 度 优 化 产 品 设 计 制 造 降 低 保 修 成 本 加 快 问 题 解 决 降 低 工 程 事 故 风 险 优 化 勘 探 过 程 提 升 网 络 用 户 忠 诚 度 改 善 社 交 网 络 体 验 向 目 标 用 户 提 供 有 针 对 性 的 商 品 与 服 务 更 好 地 对 外 提 供 公 共 服 务 舆 情 分 析 准 确 预 判 安 全 威 胁 创 造 更 多 联 合 交 叉 销 售 商 机 准 确 评 估 广 告 效 用 19 零 售 基 于 用 户 位 置 信 息 的 精 确 促 销 社 交 网 络 购 买 行 为 分 析 促 进 客 户 购 买 热 情 顺 应 客 户 购 买 行 为 习 惯

20 常 见 NoSQL 比 较 CouchDB MongoDB Redis HBase Cassandra Oracle NoSQL 是 否 开 源 开 源 开 源 开 源 开 源 开 源 社 区 / 商 业 类 型 文 档 型 文 档 型 键 值 对 列 式 键 值 对 键 值 对 编 写 语 言 Erlang C++ C/C++ Java Java Java 结 构 P2P 主 / 辅 主 / 辅 主 / 辅 P2P 主 / 辅 一 致 性 不 保 证 不 保 证 不 保 证 不 保 证 不 保 证 特 点 读 比 写 快 磁 盘 空 间 占 用 大 内 存 占 用 太 高 读 写 均 衡 写 比 读 快 适 用 场 景 主 要 适 用 于 积 累 性 的 并 且 较 少 改 变 数 据 的 应 用 适 用 于 动 态 查 询 主 要 适 用 数 据 集 数 据 时 常 变 化 的 应 用 适 用 于 对 读 写 性 能 要 求 不 是 太 高 的 场 合 适 用 于 写 入 多 于 查 询 的 场 合 可 配 置 的 事 务 一 致 性 高 速 读 写, 高 事 务 要 求 企 业 级 商 用 NoSQL CAP AP CP CP CP AP CP 和 AP 20

21 Oracle Exalytics 揭 开 神 秘 面 纱 流 获 取 组 织 分 析 决 策 适 用 于 Exalytics 的 TimesTen Essbase 1 TB RAM 40 个 处 理 内 核 高 速 联 网 Oracle BI Foundation Suite 自 适 应 内 存 工 具 内 存 中 分 析 软 件 内 存 中 分 析 硬 件 21 该 内 容 仅 供 参 考, 不 构 成 对 任 何 特 性 或 功 能 的 开 发 发 布 和 时 间 安 排 的 承 诺

22 Oracle Advanced Analytics Oracle Data Mining 12 套 算 法 极 致 性 能 专 为 数 据 科 学 家 设 计 的 GUI 使 用 情 况 数 据 构 建 部 署 评 分 客 户 A: 0.49 客 户 B: 0.25 获 取 组 织 分 析 决 策 22

23 使 用 R 引 擎 进 行 大 数 据 分 析 Oracle Enterprise R 原 生 R MapReduce 原 生 R HDFS 访 问 无 需 R 用 户 学 习 其 他 API 或 语 言 无 需 管 理 员 学 习 R 即 可 在 生 产 环 境 中 调 度 R Map Reduce 模 型 客 户 端 主 机 R 引 擎 ORCH HDFS 分 布 式 文 件 系 统 Oracle 大 数 据 机 R 引 擎 ORCH MapReduce 节 点 Oracle Exadata R 引 擎 更 高 的 效 率 更 快 的 速 度 可 扩 展 23

24 Hadoop 与 Oracle 数 据 库 相 集 成 Oracle 大 数 据 连 接 器 Oracle Loader for Hadoop Oracle SQL Connector for Hadoop Distributed File System (HDFS) Oracle Data Integrator Application Adapter for Hadoop Oracle R Connector for Hadoop 24

25 将 数 据 加 载 至 Oracle 数 据 库 Oracle Loader for Hadoop 预 处 理 和 加 载 MAP MAP MAP SHUFFLE /SORT REDUCE REDUCE 快 速 高 效 在 线 和 离 线 模 式 MAP MAP MAP SHUFFLE /SORT REDUCE REDUCE REDUCE 25

26 从 Oracle 数 据 库 直 接 访 问 Oracle SQLConnector for HDFS 对 HDFS 的 SQL 访 问 HDFS Oracle 数 据 库 SQL 查 询 外 部 表 视 图 数 据 查 询 或 导 入 外 部 表 Native Oracle Loader Interface 并 行 并 自 动 的 负 载 平 衡 Infini Band DCH DCH DCH HDFS 客 户 端 26

27 Historical depth: shallow 快 数 据 实 时 在 线 分 析 Historical depth: deep Fast Data 毫 秒 Big Data 分 钟 例 如 : 分 析 交 通 模 式 和 城 市 规 划 的 拥 堵 时 间 例 如 : 交 通 摄 像 头 监 测, 以 确 保 给 定 的 车 牌 没 有 被 使 用 在 多 个 车 辆 上 合 并 快 速 的 数 据 流 计 算 与 MapReduce 的 输 出 加 深 分 析 结 果 27

28 Oracle 事 件 驱 动 架 构 (EDA) 解 决 方 案 轻 量 级, 低 延 时, 高 并 发 吞 吐, 基 于 Java 技 术 的 开 发 部 署 平 台 Oracle 复 杂 事 件 处 理 高 性 能 & 高 可 扩 展 性 丰 富 的 数 据 流 From any source: data streams, web services, Java, Database 适 配 器 Translate external events/data into java objects for processing 输 入 数 据 流 1,000,000+ 消 息 / 秒 Data/Msg. Feeds EDA Java Application Container Data Feed Adapters Process Events (CEP) 数 据 聚 合, 关 联, 过 滤 不 间 断 的 查 询 处 理 延 迟 毫 秒 级 (Avg.) Listener/SINK: User Code (Plain Java) 逻 辑 处 理 器 Set of queries applied to the streams 侦 听 器 Handle triggers raised by the processors 事 件 Implemented as JavaBean or Map 采 用 JAVA 描 述 的 业 务 结 果 对 象 28

29 In-Memory, Continuous Queries (CQL) Extensible and Configurable Event Processors 事 件 处 理 输 出 过 滤 符 合 特 定 的 条 件 新 的 流 过 滤, 例 如 股 票 价 格 > $22 关 联 和 聚 集 滚 动 的, 基 于 时 间 窗 口 的 指 标, 例 如 在 最 后 一 小 时 的 股 票 交 易 平 均 笔 数 模 式 匹 配 通 知 检 测 到 的 事 件 模 式, 如 价 格 变 化,A B 和 C 在 15 分 钟 的 窗 口 发 生 CAT BA CATERPILLAR BOEING D :03:03:46 10:03:02: DO DUPONT :03:04:12 DO DUPONT D :03:04:12 AA ALCOA INC D :03:01:55 AXP AMER EXPRESS CO :03:02:10 CAT CATERPILLAR D :03:03:46 COMPLEX QUERIES BA BOEING :03:02:78 DO DUPONT D :03:04:12 CAT CATERPILLAR D :03:03:46 AA ALCOA INC D :03:01:55 DO DUPONT D :03:04:12 AXP AMER EXPRESS CO D :03:02:10 AA ALCOA INC D :03:01:55 BA BOEING D :03:02:78 AXP AMER EXPRESS CO D :03:02:10 BA BOEING D :03:02:78 在 内 存 ( 非 数 据 库 ) 中 运 行 的 连 续 数 据 查 询 强 大 和 潜 在 无 限 的 可 扩 展 性 数 据 容 器 29

30 实 时 地 理 数 据 流 分 析 空 间 地 理 分 析 : 打 造 强 大 的 物 联 网 地 理 分 析 Oracle Spatial Geographical Bus Stop Alerts Oracle SOA 套 件 集 成 Oracle 数 据 库 的 空 间 分 析 和 Oracle 事 件 处 理 技 术 Oracle Spatial 基 于 位 置 的 业 务 应 用 管 理 所 有 的 地 理 空 间 数 据, 包 括 矢 量 和 栅 格 数 据, 拓 扑 和 网 络 模 型 Oracle Event Processing 处 理 实 时 地 理 数 据 流 (GPS) 提 供 指 定 地 理 资 产 的 地 理 栅 格 分 析 关 闭, 进 入 和 退 出 的 关 系 透 明 地 集 成 与 SOA 套 件 技 术 来 启 动 基 于 地 理 栅 格 触 发 器 的 业 务 流 程 或 企 业 服 务 Spatial Data Cartridge 30

31 为 什 么 选 择 Oracle 大 数 据 体 系? 全 面 的 大 数 据 解 决 方 案 + 众 多 的 客 户 实 践 BDA + Exadata + Exalytics+ 云 应 用 软 硬 一 体 预 集 成 软 硬 一 体, 工 程 化 调 优 全 集 成 系 统, 完 整 机 柜, 插 电 即 用 Infiniband 全 套 商 业 支 持 开 源 软 件 商 业 支 持 Hadoop 操 作 系 统 商 业 支 持 Linux 硬 件 商 业 支 持 Sun x86 品 牌 优 势 Oracle + Cloudera 31

32 大 数 据 通 用 方 向 Hadoop / MapReduce / In Memory 海 量 大 数 据 计 算 公 安 犯 罪 嫌 疑 人 碰 撞 同 行 车 同 行 人 数 据 仓 库 预 处 理 数 据 统 计 和 报 表 等 Distributed File System / NoSQL / RDBMS 大 数 据 存 储 交 通 视 频 存 储 卫 星 图 像 气 象 数 据 等 Data Mining Data Discovery Hadoop Model 交 易 大 数 据 订 单 物 流 金 融 业 务 等 推 荐 系 统 大 数 据 业 务 大 数 据 共 享 大 数 据 挖 掘 大 数 据 分 析 大 数 据 模 型 大 数 据 打 通 大 数 据 开 发 非 结 构 化 数 据 处 理 RDBMS / Sharding Hadoop / NoSQL / RDBMS / Sharding Data Visualization NoSQL ETL RDBMS 行 为 / 交 互 大 数 据 用 户 浏 览 记 录 用 户 日 志 电 话 记 录 GPS 轨 迹 电 表 计 费 传 感 器 数 据 等 NoSQL / RDBMS / Sharding 高 并 发 明 细 实 时 查 询 用 户 详 单 账 户 明 细 用 户 收 藏 车 牌 查 询 LBS 位 置 查 询 等 Text / NLP / Search Engine 32 电 子 病 历 微 博 社 交 舆 情 分 析 搜 索 引 擎 等

33 Big Data 技 术 解 决 方 案 概 览 大 数 据 场 景 满 足 的 业 务 需 求 常 见 技 术 新 的 技 术 客 户 用 例 非 结 构 化 大 文 件 存 储 非 结 构 化 数 据 存 储 和 分 析 巨 量 明 细 数 据 存 储 和 查 询 分 布 式 数 据 计 算 引 擎 海 量 大 文 件 的 廉 价 高 效 组 织 和 存 储 网 页 微 博 文 本 图 片 话 单 地 图 瓦 片 等 低 价 值 密 度 数 据 的 存 储 和 索 引 廉 价 并 高 效 的 巨 量 低 价 值 明 细 存 储 和 查 询 解 决 方 案 支 持 巨 量 数 据 的 廉 价 高 效 的 计 算 引 擎 传 统 NAS 或 者 存 储 技 术 数 据 库 技 术 (Varchar / Lob) 数 据 库 技 术 数 据 库 / MPP 分 布 式 文 件 系 统 HDFS 分 布 式 NoSQL 数 据 库 分 布 式 NoSQL 数 据 库 Hadoop / MapReduce 交 通 管 理 视 频 智 慧 城 市 视 频 国 土 遥 感 数 据 网 站 日 志 公 安 数 据 气 象 卫 星 数 据 文 件 舆 情 监 控 网 警 监 控 公 安 案 件 系 统 情 报 系 统 业 务 系 统 的 文 字 描 述 城 市 行 车 记 录 交 通 营 运 车 辆 GPS 轨 迹 全 国 交 通 乘 客 数 据 住 建 部 造 价 大 数 据 公 安 综 合 资 源 查 询 交 通 GPS 轨 迹 计 算 住 建 部 造 价 大 数 据 计 算 全 结 构 化 数 据 平 台 大 数 据 分 析 预 测 挖 掘 技 术 海 量 高 并 发 用 户 交 易 33 支 持 全 结 构 大 数 据 存 储 查 询 处 理 和 分 析 新 一 代 数 据 平 台 支 持 全 结 构 的 综 合 数 据 分 析 预 测 挖 掘 平 台 满 足 海 量 用 户 高 实 时 的 事 务 性 交 易 数 据 库 Exadata + Hadoop + NoSQL 数 据 库 / MPP Exadata + OAA + Hadoop + R+NoSQL 数 据 库 技 术 Exadata / DB Sharding 智 慧 城 市 城 市 数 据 运 营 平 台 区 域 医 疗 卫 生 数 据 中 心 公 安 犯 罪 预 警 住 建 部 造 价 预 测 医 疗 卫 生 预 测 金 税 系 统 金 关 系 统 等 日 常 业 务 系 统

34 大 数 据 时 代 的 痛 点 新 技 术 已 有 的 应 用 系 统 如 何 利 用 新 的 分 布 式 计 算 技 术 新 数 据 以 前 没 有 管 理 和 处 理 的 数 据 如 何 使 用 和 创 造 价 值 行 为 数 据 / 社 交 数 据 / 传 感 器 数 据 等 新 的 数 据 应 用 如 何 在 传 统 数 据 / 新 数 据 / 外 部 数 据 / 互 联 网 数 据 的 大 数 据 浪 潮 中 发 现 数 据 的 价 值, 创 新 性 数 据 应 用, 推 动 业 务 发 展 新 的 数 据 平 台 采 用 新 的 技 术, 为 新 的 数 据 应 用 提 供 新 的 数 据 平 台 支 撑 34

35 Agenda Oracle 大 数 据 解 决 方 案 概 览 面 向 政 府 行 业 的 典 型 应 用 场 景 政 府 行 政 监 管 大 数 据 政 府 设 备 监 管 大 数 据 (GPS/ 北 斗 / 城 市 交 通 ) 政 府 科 研 大 数 据 ( 地 震 / 气 象 / 水 利 / 海 洋 ) 公 安 大 数 据 智 慧 城 市 / 城 市 大 数 据 运 营 中 心 烟 草 大 数 据 35

36 大 数 据 行 业 应 用 值 得 关 注 行 业 用 户 应 有 特 点 与 大 数 据 的 契 合 度 及 应 用 可 能 性 综 合 较 高 适 当 关 注 行 业 用 户 两 个 维 度 暂 时 都 不 具 备 优 势, 可 适 当 给 予 关 注 契 合 度 High Mid Low 交 通 政 府 ( 公 共 事 业 ) 教 育 医 疗 能 源 ( 电 力 / 石 油 ) 零 售 制 造 金 融 Low Mid High 互 联 网 ( 电 子 商 务 ) 电 信 流 通 优 先 关 注 行 业 用 户 应 用 特 点 与 大 数 据 技 术 有 较 高 的 契 合 度, 在 主 客 观 条 件 上 也 有 较 高 的 应 用 可 能 性 纵 轴 契 合 度 : 表 示 该 用 户 的 IT 应 用 特 点 与 大 数 据 特 性 的 契 合 程 度 ; 横 轴 应 用 可 能 性 : 表 示 该 用 户 出 于 主 客 观 因 素 在 短 期 内 投 资 大 数 据 的 可 能 性 ; 注 : 该 位 置 为 分 析 师 访 谈 的 综 合 印 象, 为 定 性 分 析, 图 中 位 置 不 代 表 具 体 数 值 应 用 可 能 性 36 36

37 中 国 政 府 对 大 数 据 的 重 视 政 府 和 科 研 机 构 高 度 关 注 大 数 据 各 地 政 府 正 在 探 索 大 数 据 与 政 府 管 理 和 发 展 之 间 的 关 系 2012 年 12 月, 国 家 发 改 委 数 据 分 析 软 件 开 发 和 服 务 列 入 专 项 指 南 ;2013 年 科 技 部 将 大 数 据 列 入 973 基 础 研 究 计 划 ;2013 年 度 国 家 自 然 基 金 指 南 中, 管 理 学 部 信 息 学 部 和 数 理 学 部 将 大 数 据 列 入 其 中 北 京 成 立 中 关 村 大 数 据 产 业 联 盟 2012 年 12 月, 广 东 省 启 动 了 广 东 省 实 施 大 数 据 战 略 工 作 方 案 2013 年 上 海 市 科 委 发 布 了 推 进 大 数 据 研 究 与 发 展 的 三 年 行 动 计 划 ;2013 年 7 月, 重 庆 市 人 民 政 府 发 布 关 于 印 发 重 庆 市 大 数 据 行 动 计 划 的 通 知 浙 江 省 交 通 运 输 厅 宣 布, 将 大 数 据 引 入 交 通 管 理, 助 力 道 路 治 堵 ; 2012 年 10 月, 北 京 市 各 政 务 部 门 共 同 参 与 推 出 了 北 京 政 务 数 据 资 源 网 上 海 智 慧 岛 数 据 产 业 园 秦 皇 岛 各 地 政 府 大 数 据 项 目 推 开 发 区 数 据 产 业 基 地 中 国 国 际 电 子 商 务 中 心 重 庆 数 据 产 业 园 等 一 批 数 据 产 业 园 区, 出 和 产 业 园 开 始 建 立 2012 年 12 月, 陕 西 启 动 建 设 中 国 首 个 专 业 大 数 据 产 业 园 区 沣 西 新 城 大 数 据 产 业 园 国 家 部 委 大 数 据 项 目 启 动 政 府 权 威 媒 体 聚 焦 大 数 据, 大 数 据 走 入 寻 常 百 姓 生 活 国 家 旅 游 局 大 数 据 平 台, 交 通 部 全 国 营 运 车 辆 联 网 联 控 系 统, 交 通 部 全 国 道 路 运 政 管 理 信 息 系 统 都 已 经 在 进 行 2013 年 11 月 19 日, 国 家 统 计 局 与 阿 里 百 度 等 11 家 企 业 签 署 了 大 数 据 战 略 合 作 框 架 协 议, 共 同 在 分 享 开 发 利 用 大 数 据 方 面 进 行 合 作, 以 推 动 大 数 据 在 政 府 统 计 中 的 应 用, 促 进 大 数 据 实 现 大 价 值, 使 之 更 好 地 服 务 于 社 会 2014 年 春 节 期 间, 中 央 电 视 台 新 闻 频 道 推 出 数 据 说 春 节 栏 目, 结 合 春 运 年 货 年 夜 饭 等 话 题, 通 过 网 络 运 营 商 的 大 数 据 支 持, 将 大 数 据 以 老 百 姓 能 看 懂 的 方 式, 展 现 在 千 家 万 户 的 电 视 屏 幕 上, 可 以 说 是 大 数 据 技 术 在 公 共 领 域 应 用 的 一 次 有 益 尝 试 37

38 我 国 政 府 大 数 据 的 背 景 和 关 注 点 政 府 信 息 融 合 公 开 是 目 前 大 数 据 环 境 下 的 一 种 趋 势 自 2002 年 国 家 信 息 化 领 导 小 组 关 于 我 国 电 子 政 务 建 设 指 导 意 见 发 布 以 来, 许 多 政 府 部 门 开 展 大 规 模 的 电 子 政 务 建 设 目 前, 绝 大 多 数 中 央 部 委 和 省 级 政 府 部 门 的 核 心 业 务 都 有 数 据 库 支 撑, 核 心 业 务 数 据 库 覆 盖 率 超 过 80% 公 安 部 建 成 了 覆 盖 13 亿 人 口 的 国 家 人 口 数 据 库 国 家 工 商 总 局 建 成 了 企 业 法 人 数 据 库, 民 政 部 和 中 央 编 制 办 公 室 初 步 建 成 了 社 会 团 体 和 事 业 单 位 信 息 库, 全 国 四 级 国 土 资 源 主 管 部 门 积 累 了 近 6000 TB 的 数 据, 国 家 统 计 局 建 成 了 统 计 信 息 库 此 外, 金 融 税 务 质 检 社 保 教 育 等 领 域 也 都 建 成 了 一 批 信 息 库 但 是 在 各 级 层 面 上, 统 计 局 档 案 局 财 政 厅 税 务 局 审 计 署 公 安 局 海 关 电 力 公 司 等 政 府 部 门 数 据 处 于 分 割 状 态, 形 成 了 一 个 个 信 息 孤 岛 中 国 政 府 在 2007 年 制 定 了 政 府 信 息 公 开 条 例 但 是 最 近 中 国 互 联 网 信 息 中 心 发 布 的 报 告 显 示, 各 级 政 府 门 户 网 站 提 供 的 信 息 类 别 趋 同,80% 以 上 提 供 的 是 部 门 介 绍 政 策 文 件 法 律 法 规 政 府 职 能 业 务 介 绍 5 类 信 息 新 闻 消 息 类 信 息 的 每 日 更 新 率 是 36%, 其 他 信 息 的 每 日 更 新 率 不 足 30%, 有 超 过 40% 的 政 府 网 站 每 半 年 才 更 新 一 次 真 正 有 价 值 的 企 业 运 行 税 收 财 政 收 支 海 关 报 关 等 数 据, 都 是 长 时 间 不 更 新, 恰 恰 是 这 些 数 据 才 能 发 掘 出 价 值, 进 行 经 济 运 行 分 析 国 务 院 发 展 研 究 中 心 技 术 经 济 部 研 究 员 李 广 乾 2013 年, 上 海 市 科 委 发 布 的 上 海 推 进 大 数 据 研 究 与 发 展 三 年 行 动 计 划 ( 年 ), 其 重 点 任 务 包 括 技 术 攻 关 和 产 品 研 制, 以 及 应 用 推 进 和 模 式 创 新 : 1 公 共 平 台 建 设 : 重 点 选 取 医 疗 卫 生 食 品 安 全 终 身 教 育 智 慧 交 通 公 共 安 全 科 技 服 务 等 具 有 大 数 据 基 础 的 领 域, 探 索 交 互 共 享 一 体 化 的 服 务 模 式, 建 设 大 数 据 公 共 服 务 平 台, 促 进 大 数 据 技 术 成 果 惠 及 民 众 2 行 业 应 用 推 进 : 重 点 选 取 金 融 证 券 互 联 网 数 字 生 活 公 共 设 施 制 造 和 电 力 等 具 有 迫 切 需 求 的 行 业, 开 展 大 数 据 行 业 应 用 研 发, 探 索 数 据 平 台 应 用 终 端 四 位 一 体 的 新 型 商 业 模 式, 促 进 产 业 发 展 2013 年 重 庆 市 政 府 正 式 印 发 重 庆 市 大 数 据 行 动 计 划 : 重 庆 将 打 造 2 至 3 个 大 数 据 产 业 示 范 园 区, 培 育 10 家 核 心 龙 头 企 业 500 家 大 数 据 应 用 和 服 务 企 业, 引 进 和 培 养 1000 名 大 数 据 产 业 高 端 人 才, 形 成 500 亿 元 大 数 据 产 业 规 模, 建 成 国 内 重 要 的 大 数 据 产 业 基 地 同 时, 通 过 引 进 行 业 领 先 企 业 与 培 育 本 地 企 业 相 结 合 的 模 式, 完 善 大 数 据 生 态 产 业 链, 推 进 大 数 据 技 术 在 电 子 商 务 工 业 制 造 交 通 物 流 医 疗 卫 生 食 品 药 品 安 全 金 融 传 媒 等 行 业 的 全 面 应 用 38

39 Agenda Oracle 大 数 据 解 决 方 案 概 览 面 向 政 府 行 业 的 典 型 应 用 场 景 政 府 行 政 监 管 大 数 据 政 府 设 备 监 管 大 数 据 (GPS/ 北 斗 / 城 市 交 通 ) 政 府 科 研 大 数 据 ( 地 震 / 气 象 / 水 利 / 海 洋 ) 公 安 大 数 据 智 慧 城 市 / 城 市 大 数 据 运 营 中 心 39

40 住 建 部 大 数 据 40

41 住 建 部 标 定 司 造 价 大 数 据 招 标 乱 象 有 标 准 无 参 照 高 价 中 标 低 标 设 计 政 府 失 明 无 法 掌 握 全 国 建 筑 实 际 造 价 情 况 强 制 标 准 无 法 推 广 标 准 太 僵 化, 无 法 因 地 制 宜 造 价 机 构 标 准 掌 握 不 全 面 缺 少 可 参 考 的 造 价 依 据 公 众 服 务 获 取 国 家 建 设 造 价 信 息 公 众 知 情 权 政 府 服 务 制 定 造 价 指 标 / 指 数 / 相 关 性 分 析 树 立 一 个 合 理 造 价 参 考 系 指 导 和 引 导 社 会 造 价 趋 于 合 理 发 现 市 场 异 常 造 价, 有 效 监 管 机 构 服 务 合 理 造 价, 更 好 掌 握 造 价 标 准 41

42 住 建 部 造 价 大 数 据 工 程 造 价 成 果 文 件 按 最 多 每 年 收 集 30 多 万 个 项 目 每 个 项 目 2~3 个 单 项 工 程 每 个 单 项 工 程 5 套 造 价 数 据 每 个 单 项 工 程 按 10 个 单 位 工 程 每 个 单 位 工 程 2500 条 数 据 每 年 数 据 库 增 加 约 一 千 亿 条 数 据 每 条 数 据 1KB, 交 换 文 件 2MB 工 程 造 价 计 价 依 据 及 资 讯 信 息 文 字 数 据 图 片 数 据 每 年 增 加 约 100TB 数 据 每 年 最 多 增 加 约 100TB 数 据 42

43 43

44 业 务 架 构 及 Oracle 解 决 方 案 造 价 成 果 文 件 存 储 BDA / 造 价 明 细 Hadoop 数 据 整 理 / NoSQL 造 价 指 标 预 计 算 造 价 数 据 报 表 查 询 Exadata / 造 Oracle 价 数 DB 据 / 分 析 挖 掘 DW / OLAP 造 价 数 据 模 型 造 Exalytics 价 数 据 可 视 / 化 BI / Essbase 造 价 / 数 据 实 TimesTen 时 分 析 造 价 数 据 服 务 共 享 44

45 该 解 决 方 案 同 样 适 用 于 其 他 政 府 机 构 住 房 城 乡 建 设 部 工 业 和 信 息 化 部 国 土 资 源 部 新 闻 出 版 广 电 总 局 海 关 总 署 安 全 监 管 总 局 食 品 药 品 监 管 总 局 质 检 总 局 税 务 总 局 发 改 委 行 政 上 承 担 行 业 监 管 责 任 技 术 上 拥 有 大 量 上 报 数 据 数 据 价 值 未 得 到 很 好 利 用 结 构 化 数 据 为 主 45

46 Agenda Oracle 大 数 据 解 决 方 案 概 览 Oracle 大 数 据 产 品 战 略 通 用 大 数 据 方 向 BD or DB? 面 向 政 府 行 业 的 典 型 销 售 场 景 政 府 行 政 监 管 大 数 据 政 府 设 备 监 管 大 数 据 (GPS/ 北 斗 / 城 市 交 通 ) 政 府 科 研 大 数 据 ( 地 震 / 气 象 / 水 利 / 海 洋 ) 公 安 大 数 据 智 慧 城 市 / 城 市 大 数 据 运 营 中 心 46

47 交 通 部 全 国 重 点 营 运 车 辆 联 网 联 控 虽 然 交 通 事 故 呈 下 降 的 趋 势, 道 路 运 输 安 全 形 势 依 然 严 峻 两 客 一 危 重 点 营 运 车 辆 监 控 ( 危 险 品 运 输 旅 游 包 车 和 长 途 客 车 ) 各 地 车 辆 动 态 监 控 系 统 相 对 独 立, 缺 少 统 一 标 准, 无 法 实 现 跨 区 管 理 和 数 据 共 享 交 通 运 输 部 道 路 运 输 司 - 全 面 实 施 驾 驶 员 素 质 教 育 工 程 ; - 强 化 运 输 企 业 安 全 生 产 责 任 主 体 ; - 严 把 运 输 车 辆 技 术 关 ; - 加 强 对 客 运 站 的 安 全 源 头 管 理 ; - 加 强 重 点 时 段 和 重 点 地 区 的 安 全 监 管 ; - 加 强 重 点 营 运 车 辆 动 态 监 管, 实 现 联 网 联 控 47

48 交 通 部 全 国 重 点 营 运 车 辆 联 网 联 控 全 国 2 千 万 + 营 运 车 辆, 入 网 仅 300 万 + 每 隔 15 秒 采 集 一 次 GPS 数 据 每 天 8 亿 条 数 据 每 月 3T 数 据 量 48

49 49 功 能 层 应 用 服 务 层 数 据 服 务 层 车 辆 信 息 管 理 空 间 数 据 驾 驶 员 信 息 管 理 GIS 应 用 组 件 其 他 组 件 属 性 数 据 Oracle10g 数 据 库 危 险 品 信 息 管 理 静 态 信 息 数 据 库 车 辆 监 控 预 警 ARCSDE 引 擎 Oracle10g 引 擎 决 策 支 持 模 块 动 态 信 息 数 据 库 车 载 监 控 预 警 技 术 通 信 模 块 信 息 发 布 模 块 RFID 技 术 重 点 营 运 车 辆 联 网 联 控 系 统 架 构

50 交 通 部 全 国 重 点 营 运 车 辆 联 网 联 控 二 期 50

51 交 通 部 全 国 重 点 营 运 车 辆 联 网 联 控 Oracle 解 决 方 案 Oracle Big Data Appliance (MR/R) Oracle Service Bus Oracle Event Process Oracle Data Integrator Oracle GoldenGate Oracle Exadata (OAA) Oracle Exadata Oracle Spatial 51

52 该 解 决 方 案 同 样 适 用 于 其 他 政 府 机 构 交 通 部 ( 陆 路 / 水 运 / 海 运 ) 铁 路 局 公 安 交 管 局 ( 城 市 交 通 ) 北 斗 卫 星 教 育 部 ( 校 车 ) 水 利 水 文 监 测 行 政 上 承 担 行 业 监 管 责 任 拥 有 巨 量 的 设 备 设 施 产 生 巨 量 的 机 器 数 据 实 时 性 要 求 比 较 高 52

53 Agenda Oracle 大 数 据 解 决 方 案 概 览 面 向 政 府 行 业 的 典 型 应 用 场 景 政 府 行 政 监 管 大 数 据 政 府 设 备 监 管 大 数 据 (GPS/ 北 斗 / 城 市 交 通 ) 政 府 科 研 大 数 据 ( 地 震 / 气 象 / 水 利 / 海 洋 ) 公 安 大 数 据 智 慧 城 市 / 城 市 大 数 据 运 营 中 心 53

54 地 震 行 业 大 数 据 背 景 地 震 行 业 在 信 息 化 方 面 一 直 走 在 前 列, 建 立 了 在 世 界 上 先 进 的 以 信 息 技 术 为 基 础 的 数 字 地 震 观 测 网 络 防 震 减 灾 信 息 化 实 践, 已 经 使 我 们 意 识 到 和 感 觉 到 大 数 据 时 代 来 临 我 国 防 震 减 灾 信 息 化 规 划, 明 确 提 出 地 震 数 据 的 战 略 地 位, 海 量 数 据 的 冲 击, 建 设 地 震 数 据 体 系, 数 据 的 永 久 保 存 利 用 挖 掘 国 家 地 震 局 的 主 要 职 能 ( 部 分 ) ( 二 ) 组 织 编 制 国 家 防 震 减 灾 规 划 ; 拟 定 国 家 破 坏 性 地 震 应 急 预 案 ; 建 立 破 坏 性 地 震 应 急 预 案 备 案 制 度 ; 指 导 全 国 地 震 灾 害 预 测 和 预 防 ; 研 究 提 出 地 震 灾 区 重 建 防 震 规 划 的 意 见 ( 三 ) 制 定 全 国 地 震 烈 度 区 划 图 或 地 震 动 参 数 区 划 图 ; 管 理 重 大 建 设 工 程 和 可 能 发 生 严 重 次 生 灾 害 的 建 设 工 程 的 地 震 安 全 性 评 价 工 作, 审 定 地 震 安 全 性 评 价 结 果, 确 定 抗 震 设 防 要 求 ( 六 ) 管 理 全 国 地 震 监 测 预 报 工 作 ; 制 定 全 国 地 震 监 测 预 报 方 案 并 组 织 实 施 ; 提 出 全 国 地 震 趋 势 预 报 意 见, 确 定 地 震 重 点 监 视 防 御 区, 报 国 务 院 批 准 后 组 织 实 施 ( 七 ) 承 担 国 务 院 抗 震 救 灾 指 挥 机 构 的 办 事 机 构 职 责 ; 对 地 震 震 情 和 灾 情 进 行 速 报 ; 组 织 地 震 灾 害 调 查 与 损 失 评 估 ; 向 国 务 院 提 出 对 国 内 外 发 生 破 坏 性 地 震 作 出 快 速 反 应 的 措 施 建 议 ( 十 ) 管 理 监 督 地 震 事 业 费 基 本 建 设 经 费 和 专 项 资 金 的 使 用 根 据 大 数 据 的 特 点 和 地 震 学 的 进 展, 已 经 有 人 提 出 了 地 震 学 由 定 量 地 震 学 或 数 字 地 震 学 向 应 急 地 震 学 发 展 ( 倪 四 道 ) 还 有 人 提 出 实 时 地 震 学 信 息 地 震 学 等 等 54

55 大 数 据 时 代 的 地 震 观 测 系 统 向 传 感 器 网 络 或 称 为 地 震 物 联 网 方 向 发 展 目 前 地 震 观 测 网 络 树 状 网 ( 三 级 架 构 ) 大 数 据 地 震 数 据 资 源 中 心 云 存 贮 云 计 算 传 感 器 网 络 智 能 网 状 网 数 据 挖 掘 产 品 与 服 务 自 组 织 智 能 网 产 生 大 数 据 和 自 组 织 智 能 网 相 结 合 新 型 地 震 观 测 网 络 地 震 信 息 基 础 设 施 的 架 构 必 将 变 革 ; 数 十 万 上 百 万 的 节 点 和 传 感 器 必 将 是 地 震 信 息 基 础 设 施 向 网 状 网, 智 能 网, 传 感 器 网 物 联 网 方 向 发 展 ; 地 震 的 观 测 应 急 预 防 生 产 工 作 数 据 体 系 和 地 震 数 据 资 源 保 存 共 享 体 系 将 是 大 数 据 时 代 地 震 数 据 体 系 的 两 大 支 柱 55

56 大 数 据 时 代 的 地 震 数 据 中 心 合 理 预 测, 及 时 响 应, 数 据 共 享 适 应 大 数 据 时 代 的 地 震 数 据 资 源 中 心 和 基 础 设 施 新 一 代 数 据 库 或 数 据 资 源 中 心 通 过 它 能 构 建 百 台 级 别 的 分 布 式 集 群 来 管 理 PB 级 别 的 海 量 数 据 它 能 极 快 地 导 入 海 量 的 数 据, 并 极 快 地 进 行 相 关 的 查 询, 它 是 一 个 软 件 和 硬 件 的 集 成 体 系, 提 供 云 存 储 和 云 计 算, 保 证 数 据 高 速 实 时 处 理 和 挖 掘, 促 进 科 学 的 新 发 现 支 持 海 量 查 询, 保 证 数 据 共 享 大 数 据 的 查 询 特 点 : 查 询 涉 及 的 数 据 量 大 查 询 请 求 多, 特 别 类 似 电 子 商 务 的 亚 马 逊 淘 宝, 和 传 统 的 地 震 数 据 共 享 模 式 完 全 不 一 样 必 须 有 专 用 和 通 用 的 工 具 例 如 :Hadoop ( 包 括 hive pig 等 工 具 ) 等 及 类 似 中 科 院 专 为 科 学 数 据 的 查 询 开 发 的 平 台 Voovle 大 数 据 挖 掘 和 服 务 数 据 挖 掘, 来 满 足 地 震 高 级 别 的 数 据 分 析 需 求, 例 如 地 震 应 急 地 下 结 构 动 态 分 析 处 理 大 数 据 服 务 : 地 震 科 学 研 究 地 震 处 数 据 信 息 处 理 应 用 ( 公 众 政 府 企 业 ) 不 仅 针 对 公 众 还 有 个 性 化 - 目 的 是 从 发 现 大 数 据 关 联 探 寻 新 的 发 现 56

57 大 数 据 时 代 的 地 震 数 据 中 心 观 测 网 点 观 测 网 点 观 测 网 点 观 测 网 点 预 测, 调 查, 评 估 和 监 督 地 震 观 测 数 据 大 数 据 平 台 工 程 收 集 数 据 公 共 服 务 决 策 支 持 Oracle 数 据 Exadata 分 析 和 挖 (DW) 掘 + BDA 数 (Mahout+HBase) 据 查 询 和 共 享 数 据 存 Oracle 储 和 预 BDA 处 理 (HDFS+MapReduce) 科 学 计 算 费 用 使 用 数 据 政 府 其 他 系 统 政 府 其 他 系 统 政 府 其 他 系 统 查 询 涉 及 的 数 据 量 大, 查 询 请 求 多, 支 持 并 发 和 及 时 响 应, 同 时 需 要 提 供 个 性 化 的 服 务 来 满 足 地 震 高 级 别 的 数 据 分 析 需 求, 例 如 地 震 应 急 地 下 结 构 动 态 分 析 处 理 分 布 式 集 群 来 管 理 PB 级 别 的 海 量 数 据 它 能 极 快 地 导 入 海 量 的 数 据, 并 极 快 地 进 行 相 关 的 查 询, 它 是 一 个 软 件 和 硬 件 的 集 成 体 系, 提 供 云 存 储 和 云 计 算, 保 证 数 据 高 速 实 时 处 理 和 挖 掘, 促 进 科 学 的 新 发 现 57

58 该 解 决 方 案 同 样 适 用 于 其 他 政 府 机 构 国 家 地 震 局 国 家 气 象 局 国 家 水 利 局 超 算 中 心 农 业 监 测 国 土 监 测 拥 有 几 十 年 巨 大 的 专 业 数 据 数 据 永 不 过 期, 永 久 有 效 存 储 压 力 大, 计 算 压 力 大 使 用 用 户 群 体 有 限 58

59 Agenda Oracle 大 数 据 解 决 方 案 概 览 Oracle 大 数 据 产 品 战 略 通 用 大 数 据 方 向 BD or DB? 面 向 政 府 行 业 的 典 型 应 用 场 景 政 府 行 政 监 管 大 数 据 政 府 设 备 监 管 大 数 据 (GPS/ 北 斗 / 城 市 交 通 ) 政 府 科 研 大 数 据 ( 地 震 / 气 象 / 水 利 / 海 洋 ) 公 安 大 数 据 智 慧 城 市 / 城 市 大 数 据 运 营 中 心 59

60 大 数 据 在 公 安 的 应 用 场 景 大 数 据 场 景 满 足 的 业 务 需 求 解 决 方 案 用 户 场 景 交 管 局 车 辆 车 牌 数 据 存 储 和 组 织, 交 管 局 车 牌 数 据 实 时 查 询, 交 管 局 车 辆 数 据 分 析 所 有 摄 像 头 每 天 拍 摄 的 车 牌 数 据 巨 大, 非 常 琐 碎, 单 个 价 值 密 度 非 常 低, 实 时 查 询 某 个 特 定 车 牌 的 相 关 活 动, 分 析 具 备 某 类 特 定 活 动 行 为 的 车 辆 数 据 分 析, 城 市 交 通 状 况, 路 网 优 化 等 Oracle NoSQL DB / Hadoop MR / Hadoop Mahout 每 天 快 速 存 下 城 市 几 万 个 摄 像 头 拍 摄 下 来 的 几 十 亿 个 车 牌 数 据, 卡 口 犯 罪 车 辆 识 别, 套 牌 车 识 别 等, 电 子 围 栏 超 速 分 析 疲 劳 驾 驶 犯 罪 嫌 疑 车 辆 跟 踪, 城 市 交 通 状 况, 路 网 优 化 等 公 安 网 络 监 管 系 统 一 个 中 等 城 市 每 天 网 络 监 管 数 据 量 在 10T 以 上, 同 时 需 要 对 这 些 各 种 各 样 的 数 据 进 行 复 杂 的 计 算 关 联 和 分 析 Oracle DB / HDFS / HBase / Hadoop MR 分 析 几 亿 网 民 中 可 能 嫌 疑 的 犯 罪 行 为, 在 各 种 账 号 中 间 发 现 犯 罪 分 子 的 蛛 丝 马 迹 等 等 公 安 技 侦 系 统 公 安 技 侦 有 大 量 的 非 结 构 化 数 据 继 续 进 行 高 效 高 性 能 的 分 析 和 处 理 HDFS / Hadoop MR 分 析 话 单 记 录 获 得 犯 罪 分 子 的 活 动 圈, 犯 罪 分 子 指 纹 或 者 面 部 识 别 等 公 安 综 合 资 源 查 询 公 安 各 大 警 种 巨 量 数 据 之 间 的 高 效 快 速 廉 价 的 交 叉 查 询 和 关 联 查 询 Oracle DB / Hadoop / MapReduce 某 库 几 十 亿 条 数 据 与 另 外 某 库 几 十 亿 条 数 据 进 行 关 联 查 询 公 安 刑 事 专 案 系 统 分 析 案 件 和 犯 罪 嫌 疑 人 的 特 点 并 作 出 犯 罪 预 测, 合 理 安 排 警 力, 提 前 阻 止 犯 罪 Oracle DB + OAA + Hadoop + R 公 安 犯 罪 预 警 平 安 城 市 / 智 慧 城 市 支 持 全 结 构 大 数 据 存 储 查 询 处 理 和 分 析 新 一 代 数 据 平 台 Oracle DB + Hadoop + NoSQL 智 慧 城 市 公 安 大 情 报 系 统 60

61 Oracle 建 议 : 一 个 更 加 完 整 的 平 台 以 满 足 公 安 大 数 据 处 理 需 要 实 时 流 Streaming 式 计 算 的 兴 起 多 数 据 源 巨 量 数 据 模 式 灵 活 数 据 稀 疏 数 据 探 索 固 定 模 式 数 据 关 联 高 密 度 多 维 分 析 操 作 型 应 用 File Systems Transaction (Key-Value) Stores DBMS (OLTP) 分 布 式 数 据 平 台 的 补 充 传 统 数 据 ETL 库 的 架 构 升 级 Hadoop Solution Stack Integration DBMS (DW) In-DB Advanced Analytics 数 据 科 学 的 广 泛 应 用 BI& Visualization Tools BI& Visualization Tools 分 析 探 索 型 应 用 数 据 生 成 / 采 集 数 据 组 织 / 存 储 数 据 分 析 可 视 化 应 用 61

62 Agenda Oracle 大 数 据 解 决 方 案 概 览 面 向 政 府 行 业 的 典 型 销 售 场 景 政 府 行 政 监 管 大 数 据 政 府 设 备 监 管 大 数 据 (GPS/ 北 斗 / 城 市 交 通 ) 政 府 科 研 大 数 据 ( 地 震 / 气 象 / 水 利 / 海 洋 ) 公 安 大 数 据 智 慧 城 市 / 城 市 大 数 据 运 营 中 心 62

63 智 慧 城 市 目 前 国 际 上 数 字 地 球 智 慧 地 球 物 联 网 快 速 发 展, 竞 争 非 常 激 烈, 要 加 快 科 技 攻 关 攻 坚 步 伐, 打 造 数 字 中 国 智 慧 中 国 李 克 强 视 察 中 国 测 绘 创 新 基 地 讲 话 2014 年 完 成 的 任 务 推 动 建 立 统 一 的 信 用 信 息 平 台, 逐 步 纳 入 金 融 工 商 登 记 税 收 缴 纳 社 保 缴 费 交 通 违 章 等 信 用 信 息 2017 年 完 成 的 任 务 基 本 建 成 集 合 金 融 工 商 登 记 税 收 缴 纳 社 保 缴 费 交 通 违 章 等 信 用 信 息 的 统 一 平 台, 实 现 资 源 共 享 摘 自 国 务 院 机 构 改 革 和 职 能 转 变 方 案 任 务 分 工 通 知 智 慧 城 市 的 建 设 包 括 对 城 市 公 共 信 息 平 台 的 建 设, 指 建 设 能 对 城 市 的 各 类 公 共 信 息 进 行 统 一 管 理 交 换 的 信 息 平 台, 满 足 城 市 各 类 业 务 和 行 业 发 展 对 公 共 信 息 交 换 和 服 务 的 需 求 来 自 国 家 智 慧 城 市 ( 区 镇 ) 试 点 指 标 体 系 63

64 智 慧 城 市 的 灵 魂 大 数 据 政 府 服 务 智 能 交 通 能 源 水 与 公 共 设 施 卫 生 保 健 公 共 安 全 教 育 大 数 据 融 合 视 频 数 据 日 志 数 据 通 信 数 据 仪 器 仪 表 人 口 信 息 社 交 媒 体 地 理 信 息 医 疗 数 据 64

65 智 慧 城 市 --- 一 平 台 二 中 心 三 体 系 城 市 规 划 & 发 展 政 府 集 约 & 服 务 产 业 创 新 & 发 展 民 生 创 新 & 体 验 多 渠 道 互 动 用 户 体 验 管 理 移 动 终 端 接 入 城 市 数 据 运 营 中 心 公 共 城 市 服 务 平 台 城 市 云 计 算 中 心 三 体 系 公 共 配 套 支 撑 体 系 IT 运 营 支 撑 体 系 信 息 服 务 产 业 体 系 城 市 物 理 基 础 设 施 65

66 城 市 大 数 据 运 营 云 中 心 一 平 台 公 共 城 市 服 务 平 台 政 府 服 务 创 新 和 供 需 对 接, 提 升 政 府 管 理 服 务 水 平 产 业 服 务 创 新 和 供 需 对 接, 助 推 产 业 转 型 和 升 级 民 生 服 务 创 新 和 供 需 对 接, 提 升 民 众 体 验 和 幸 福 感 二 中 心 城 市 大 数 据 运 营 中 心 城 市 云 计 算 中 心 集 中 城 市 公 共 数 据, 服 务 于 大 都 市 圈 管 理 和 优 化 共 享 城 市 运 营 数 据, 服 务 于 跨 域 联 动 和 城 乡 一 体 化 挖 掘 城 市 价 值 信 息, 服 务 于 政 府 服 务 和 创 新 转 型 对 接 产 业 供 需 信 息, 服 务 于 产 业 链 效 能 和 规 模 提 升 政 府 IT 集 约 化, 提 效 节 能 降 成 本 中 小 企 业 IT 云 化, 归 核 均 势 提 效 降 成 本 公 共 配 套 支 撑 体 系 三 体 系 IT 运 营 支 撑 体 系 信 息 服 务 产 业 体 系 配 套 公 共 的 政 策 产 业 标 准 和 园 区, 驱 动 发 展 IT 规 范 + 持 续 IT 运 营 服 务 及 优 化, 推 动 可 持 续 性 带 动 云 计 算 软 件 服 务 外 包 培 训 等 产 业 66

67 技 术 架 构 和 Oracle 解 决 方 案 政 府 类 数 据 消 费 者 企 业 类 数 据 消 费 者 市 民 类 数 据 消 费 者 多 样 化 渠 道 交 付 和 开 放 式 服 务 访 问 框 架 政 府 数 据 服 务 企 业 数 据 服 务 市 民 数 据 服 务 数 据 建 模, 处 理 Oracle 和 分 析 Exadata ( 民 生 +, DB 产 Options 业, 政 府 各 类 维 度 ) 城 市 数 据 总 线 和 开 放 式 数 据 访 问 框 架 城 市 主 题 数 据 库 ( 人 口 Oracle, 法 人 Big,GIS, Data Appliance 宏 观 经 济 ) 城 市 大 数 据 城 市 云 计 算 中 心 67

68 该 解 决 方 案 同 样 适 用 于 其 他 政 府 机 构 智 慧 城 市 城 市 大 数 据 运 营 中 心 区 域 医 疗 平 台 全 国 人 口 信 息 平 台 大 部 制 下 的 数 据 整 合 大 数 据 平 台 化 数 据 以 城 市 / 区 域 / 大 部 组 织 数 据 横 向 跨 部 门 打 通 数 据 纵 向 上 下 游 打 通 数 据 架 构 组 织 和 模 型 复 杂 68

69 全 结 构 多 层 次 多 功 能 聚 焦 数 据 价 值 的 大 数 据 平 台 大 道 至 简 --- 软 硬 一 体 优 化 集 成 的 Oracle 大 数 据 平 台 加 快 端 到 端 的 解 决 方 案 上 市 时 间 和 降 低 风 险, 简 化 IT, 聚 焦 业 务 In-Database Analytics 流 获 取 组 织 分 析 决 策 Hadoop Open Source R Oracle NoSQL Database InfiniBand Oracle Advanced Analytics Data Warehouse Oracle Database InfiniBand BIEE+ ESSBase TimesTen Applications Event Processing Coherence Real Time Decisions 69

70 70