Ver 1.0 版 本 目 录 第 一 章 当 大 数 据 遇 上 SSD 01 第 二 章 广 东 移 动 运 用 Hadoop 创 新 应 用 04 第 三 章 第 四 章 第 五 章 第 六 章 第 七 章 第 八 章 第 九 章 第 十 章 如 何 利 用 大 数 据 分 析 提 升 垃 圾 短 信 过 滤 效 果 广 东 电 信 用 大 数 据 重 构 室 内 网 优 大 数 据 提 升 互 联 网 金 融 风 险 管 控 能 力 的 应 用 实 践 江 苏 银 行 大 数 据 技 术 平 台 选 型 分 析 大 数 据 技 术 在 江 苏 邮 储 银 行 的 创 新 应 用 大 数 据 助 力 平 安 银 行 数 据 仓 库 全 面 升 级 恒 丰 银 行 打 造 基 于 hadoop 大 数 据 的 数 据 仓 库 平 台 中 泰 证 券 的 大 数 据 创 新 应 用 08 10 13 18 22 25 28 30 第 十 一 章 大 数 据 挖 掘 技 术 实 现 电 力 配 网 故 障 自 动 化 和 智 能 化 第 十 二 章 大 数 据 助 力 佛 山 电 力 需 求 侧 管 理 第 十 三 章 大 数 据 技 术 助 力 中 国 石 化 智 能 工 厂 第 十 四 章 华 数 传 媒 实 现 Hadoop 广 电 应 用 第 十 五 章 EMS 用 大 数 据 迎 战 双 十 一 32 34 37 39 41
160 140 120 100 80 60 40 20 133 127 138 121 141 131 61 58 DC S3500 RAM 0 7.56 7.3
9000 8000 计 算 时 间 ( 秒 ) 7000 6000 5000 4000 3000 2000 1000 0
市 场 占 有 率 30.00% 25.00% 20.00% 15.00% 10.00% 5.00% 0.00% 60.00% 55.00% 40.00% 30.00% 20.00% 10.00% 0.00%
指 标 趋 势 分 析 客 户 画 像 关 联 分 析 深 度 学 习 等 KPI 指 标 数 据 自 助 报 表 分 析 固 话 报 表 分 析 应 用 新 老 数 据 合 并 ( 分 布 式 事 务 支 持 MERGE) 主 题 业 务 逻 辑 处 理 数 据 质 量 管 理 与 校 验 处 理 规 整 数 据 数 据 开 放 提 取 提 供 历 史 明 细 查 询 汇 集 各 类 数 据, 集 中 统 一 存 储 ĊĊ
现 有 关 系 数 据 库 网 银 日 志 系 统 日 志 账 单 文 件 Oracle MySQL DB2 准 实 时 采 集 <5 分 钟 深 度 挖 掘 Flume SAS 数 据 实 验 室 内 存 /SSD 缓 存 FTP RStudio 数 Holodesk Oozie 据 汇 总 前 Azkaban DB2 / 粗 深 度 汇 总 台 展 加 定 期 ELT 现 工 PL/SQL 每 天 / 每 小 时 / 每 10 分 钟 PL/SQL 库 Oracle Sqoop 定 制 程 序 Pentaho Transwarp Data Hub Tableau Cognos OBIEE
Hyperbase Rabbit-mq 星 环 科 技
Transwarp Manager Inceptor Discover Hyperbase Stream PL/SQL 批 处 理 交 互 式 引 擎 数 据 挖 掘 机 器 学 习 NoSQL 数 据 库 搜 索 图 计 算 流 处 理 引 擎 框 架 资 源 管 理 YARN ( 内 置 Transwarp Extension) 批 处 理 Pig 0.13 机 器 学 习 Mahout 0.9 工 作 流 数 据 集 成 Oozie 4.0.1 Sqoop 1.99.4 日 志 采 集 Flume 1.4 全 文 搜 索 Elastic Search 1.3.1 优 化 存 储 HDFS 2 ( 内 置 Transwarp Erasure Code) 批 处 理 框 架 Map/Reduce 2 协 作 服 务 Zookeeper 3.4.5 交 互 工 具 HUE 3.8.1 星 环 专 有 Apache 项 目
ESB 总 线 TCP HTTP 网 络 文 件 Transwarp Stream 集 群 ApI 查 询 J2EE 应 用 Hyperbase 集 群 Inceptor Server 集 群 J2EE 应 用 JDBC