幻灯片 1

中 国 移 劢 大 云 大 产 品 及 应 用 BDTC2014 徐 萌 中 国 移 劢 苏 州 研 发 中 心

2 移 动 运 营 商 的 大 有 什 么? 超 过 7.3 亿 用 户 超 过 100 万 基 站 经 分 系 统 规 模 接 近 10PB 移 劢 互 联 网 专 业 SNS 消 息 博 客 服 务 商 电 商 视 频 优 惠 券 图 片 新 闻 点 评 音 乐 微 博 地 图 问 答 SNS 签 到 论 坛 电 信 运 营 商 2G 3G 4G WIFI 每 分 钟 超 过 800 万 通 话 每 秒 上 网 流 量 超 过 40GB 每 天 信 令 超 过 1PB 大 成 为 网 络 业 务 创 新 精 准 营 销 和 决 策 支 持 等 工 作 的 基 础

电 信 运 营 商 发 挥 管 道 优 势, 深 入 挖 掘 大 的 价 值 借 助 云 计 算 技 术 和 运 营 商 优 势, 将 大 信 息 转 化 为 商 业 价 值, 促 进 业 务 创 新 1. 网 络 质 量 : 利 用 信 令 支 撑 终 端 网 络 业 务 平 台 关 联 分 析, 网 络, 实 现 网 络 价 值 最 大 化 2. 助 力 市 场 决 策 : 充 分 挖 掘 用 户 的 移 动 互 联 网 行 为 特 征, 提 升 对 用 户 消 费 偏 好 的 精 准 把 握, 帮 助 市 场 营 销 等 决 策, 实 现 精 准 营 销 3. 改 善 用 户 体 验 : 智 能 语 音 门 户 通 过 知 识 库 和 语 义 搜 索 技 术 实 现 业 务 知 识 的 机 器 智 能 回 答 改 善 用 户 体 验 QOE 客 户 感 知 层 KQI 业 务 质 量 层 KPI 网 络 性 能 层 网 络 质 量 和 效 率 分 析 网 络 价 值 分 析 客 户 感 知 及 行 为 分 析 流 量 分 析 流 量 的 构 成 和 大 趋 势 分 析 等 用 户 分 析 用 户 兴 趣 偏 好 近 期 关 注 活 动 范 围 等 分 析 需 求 流 量 清 单 查 询 为 用 户 提 供 流 量 的 去 向 查 询 等 PI 网 元 能 力 层 业 务 端 到 端 分 析 上 网 日 志 内 容 用 字 户 段 帐 号 协 议 类 型 业 务 类 型 访 问 URL 终 端 信 息 上 行 流 量 下 行 流 量 网 络 质 量 劣 力 市 场 决 策 3

中 国 移 动 大 云 大 产 品 整 体 规 划 大 云 大 产 品 线 为 中 国 移 劢 大 应 用 提 供 三 大 领 域 的 基 础 能 力 : 采 集 和 处 理 挖 掘 及 可 视 化 运 营 管 理 三 大 领 域 经 营 分 析 性 能 分 析 流 量 经 营 在 线 服 务 变 现 应 用 层 运 营 管 理 系 统 和 运 营 管 理 挖 掘 及 可 视 化 深 度 学 习 平 台 搜 索 引 擎 BC-SE 报 表 可 视 化 服 务 自 然 语 言 处 理 机 器 翻 译 服 务 挖 掘 BC-PDM 平 台 层 安 全 管 理 元 管 理 分 布 式 库 BC-RDB 内 存 库 采 集 存 储 和 处 理 大 仓 库 BC-HT 流 计 算 BC- Streaming 大 平 台 BC-Hadoop 图 计 算 图 库 任 务 调 度 资 源 层 智 能 采 集 系 统 成 熟 产 品 新 增 产 品 4

5 BC-Hadoop: 大 云 大 平 台 各 种 不 同 版 本 的 Hadoop 软 件 目 前 已 经 在 各 个 省 公 司 广 泛 应 用, 但 是 由 于 产 品 化 程 度 低, 存 在 商 业 版 本 不 开 源 开 源 版 本 不 统 一 运 维 管 理 功 能 弱 多 应 用 混 合 部 署 能 力 不 足 等 问 题 BC-Hadoop 2.0 主 要 特 性 1. 开 源 开 放 : 核 心 系 统 是 CDH5 改 进 版 本, 代 码 开 放,Patch 反 馈 社 区 2. 管 理 增 强 : 集 成 Ambari 管 理 系 统, 支 持 BOMC 4A 规 范 ( 在 研 ), 支 持 puppet 自 动 部 署 系 统 3. 资 源 共 享 : 利 用 YARN 提 供 资 源 分 配 和 调 度 方 案 4. 多 租 户 : 支 持 基 于 用 户 队 列 的 Hadoop 多 租 户 方 案 5. 可 靠 性 : 所 有 Hadoop 组 件 没 有 单 点 问 题 6. 服 务 化 : 提 供 基 于 BC-EC 弹 性 部 署 方 案, 支 持 弹 性 MapReduce 计 算 BC-Hadoop 应 用, 如 Hive BC-HugeTable BC- PDM BC-SE 等 查 询 分 析 挖 掘 系 统 HBase 分 布 式 NoSQL 库 MapReduce/Spark 并 行 计 算 框 架 HDFS 分 布 式 文 件 系 统 监 控 和 管 理 工 具 Zookeeper Amabri

BC- HugeTable: 大 云 大 仓 库 系 统 各 省 帐 详 单 云 主 要 采 用 开 源 HBase 软 件 ; 云 ETL 主 要 采 用 开 源 Hive 软 件 难 以 解 决 对 帐 详 单 做 分 析, 对 ETL 做 查 询 的 要 求 一 般 需 要 建 设 两 套 系 统, 保 存 两 份 BC-HugeTable 针 对 同 一 份 提 供 查 询 和 分 析 功 能 具 有 独 特 优 势 BC-HugeTable 5.1 主 要 特 性 HugeTable 商 用 MPP 方 案 1. 交 易 和 分 析 一 体 化 : 通 过 集 成 Hive 实 现 分 析 查 询, 集 成 Impala 支 持 即 席 查 询, 研 发 OLTP 引 擎 支 持 快 速 交 互 查 询, 实 现 智 能 路 由 2. 高 可 用 : 支 持 BC-Hadoop 提 供 的 高 可 用 能 力 ; 提 高 HTLoader 的 可 用 性 3. 高 性 能 : 针 对 复 杂 索 引 查 询 在 秒 级 别 返 回 结 果 ; 复 杂 分 析 在 分 钟 内 完 成 4. 管 理 增 强 : 支 持 资 源 池 运 营 管 理 平 台 集 成 ; 支 持 监 控 告 警 计 量 统 计 接 口 ; 支 持 SNMP OMI 协 议 5. 兼 容 性 : 支 持 原 生 MapReduce 和 NoSQL 接 口 ; 支 持 多 数 SQL92 查 询 ; 兼 容 Hive Impala HBase 操 作 API 单 集 群 规 模 SQL 兼 容 性 复 用 Hadoop 能 力, 支 持 5000 节 点 规 模 支 持 主 要 SQL 响 应 时 间 部 分 SQL 比 MPP 慢, 部 分 相 当 <300 节 点 完 全 支 持 较 短 能 力 需 要 改 进 较 好 开 放 性 Hadoop 支 持 软 件 举 例 开 源 技 术, 社 区 非 常 活 跃 紧 密 集 成 Impala Presto Drill/mDrill Shark SparkSQL 等 私 有 方 案 将 Hadoop 作 为 外 部 源 GreenPlum Redshift Asterdata Vertica 等 适 用 场 景 大 在 线 分 析 中 小 型 集 市 分 析 6

7 BC-RDB: 大 云 分 布 式 关 系 库 传 统 OLTP 库 应 用 系 统 主 要 问 题 是 采 购 和 建 设 成 本 高 超 许 可 使 用,BC- RDB 是 基 于 X86 服 务 器 的 通 过 集 群 技 术 提 供 高 可 靠 高 可 用 和 高 性 能 的 分 布 式 库 系 统, 成 为 一 种 去 IOE 技 术 方 案 BC-RDB 2.2 主 要 特 性 应 用 层 模 块 导 入 导 出, 备 份 恢 复 等 工 具 自 动 测 试 工 具 SQL Console Web SQL SQL 查 询 分 析 器 1. 高 可 靠 : 在 多 个 服 务 器 上 形 成 多 副 本, 同 步 写 完 多 个 副 本 才 成 功 在 存 储 引 擎 层 保 证 一 致 性 2. 高 可 用 : 集 群 节 点 互 为 备 份, 主 备 节 点 热 备 切 换 3. 高 性 能 : 在 负 载 均 衡 环 境, 提 供 读 写 分 离 服 务 ; 可 以 采 用 高 性 能 硬 件 4. 兼 容 性 : 完 善 SQL92 兼 容 开 发, 仅 子 查 询 不 支 持,Join 未 经 提 供 Oracle 数 据 导 入 导 出 支 持 5. 管 理 增 强 : 提 供 完 善 的 统 一 监 控 部 署 Portal; 提 供 故 障 告 警 和 一 致 性 分 析 脚 本 资 源 管 理 配 置 文 件 管 理 一 致 性 机 制 管 理 状 态 监 控, 启 动, 停 止 部 署, 升 级 管 理 集 群 管 理 和 图 形 化 工 具 分 布 式 执 行 计 划 产 生 器 存 储 SQL 解 析 分 布 式 调 度 器 分 布 式 执 行 器 分 布 式 事 务 2PC 管 理 层 索 引 存 储 分 布 式 关 系 功 能 模 块 元 数 据 管 理 器 元 数 据 存 储 提 供 管 理 接 口 复 制 执 行 模 块 网 络 传 输 模 块 日 志 读 取 模 块 日 志 存 储 高 可 用 模 块 任 务 监 控 任 务 查 询 热 点 监 测 负 载 监 控 Web 检 测 失 败 检 测 集 群 自 动 监 控 模 块

BC-PDM: 大 云 挖 掘 和 ETL 工 具 相 比 开 源 挖 掘 软 件,BC-PDM 具 有 功 能 强 大 简 单 易 用 多 应 用 支 持, 服 务 完 善 等 优 势 ; 相 比 传 统 挖 掘 工 具,BC-PDM 处 理 能 力 强 性 能 优 秀 可 以 完 成 全 量 挖 掘 定 制 化 程 度 高, 具 有 明 显 优 势 大 云 BC-PDM 传 统 挖 掘 产 品 开 源 软 件 (Mahout 等 ) 处 理 规 模 1000TB 以 上 级 别, 各 种 应 用 的 全 量 挖 掘, 集 群 算 法 支 持 预 处 理 支 持 来 源 使 用 方 法 和 定 制 开 发 能 力 用 户 群 21 种 挖 掘 算 法, 非 结 构 化 算 法 SNA 10TB 级 别, 各 种 应 用 的 抽 样 挖 掘, 单 机 算 法 种 类 同 左, 有 更 多 细 分 算 法 45 种 ETL 操 作 支 持 不 支 持 各 种 格 式 文 件 库 友 好, 界 面 拖 拉 拽 SQL 定 制 化 算 法 插 件 分 析 工 程 师 第 三 方 工 具 开 发 者 产 品 服 务 培 训 现 场 远 程 升 级 定 制 化 开 发 各 种 格 式 文 件 数 据 库 友 好, 界 面 拖 拉 拽 分 析 工 程 师 培 训 现 场 远 程 升 级 1000TB 以 上 规 模, 部 分 应 用 的 全 量 挖 掘, 集 群 算 法 种 类 较 少, 集 中 在 推 荐 算 法 各 种 文 件 不 友 好, 命 令 行 程 序 程 序 员 无 服 务 交 换 block1 block2 M PC 节 点 PC 节 点 PC 节 点 客 户 评 价 : 大 云 BC-PDM 领 先 业 界 同 类 产 品 一 年 1 并 行 ETL HDFS 元 服 务 器 block1 block3 各 种 海 量 处 理 挖 掘 应 用 并 行 探 索 M block2 2 任 务 分 割 任 务 分 解 PC 节 点 block1 R j 应 用 并 行 挖 掘 HugeTa ble 任 务 分 发 服 务 器 block2 block3 PC 节 点 PC 节 点 R 1 社 交 网 络 分 析 子 任 务 R M M 1 M 2 R i R 1 R 2 j PC 节 点 2 Web GUI/ 工 作 流 引 擎 SQL 脚 本 CLI 命 令 行 MapRe duce 分 布 式 集 群 管 理 服 务 器 block3 M i 广 域 网 用 户 权 限 管 理 PC 节 点 PC 节 点 8

大 云 大 应 用 实 践 对 内 支 撑 精 细 化 运 营 : 支 撑 客 户 体 验 提 升 精 细 营 销 产 品 创 新 网 络 企 业 管 理 水 平 提 升 对 外 寻 求 新 业 务 增 长 点 : 支 撑 行 业 大 解 决 方 案 变 现 及 社 会 化 洞 察 等 对 外 服 务 模 式 大 对 外 服 务 行 业 大 解 决 方 案 变 现 社 会 化 洞 察 市 场 营 销 客 户 体 验 基 于 位 置 的 实 时 推 荐 实 时 互 动 个 性 化 推 荐 基 于 设 备 的 实 时 个 性 化 推 荐 垃 圾 短 信 拦 截 搜 索 业 务 客 户 离 网 风 险 预 测 竞 品 分 析 产 品 引 入 分 析 产 品 个 性 化 的 实 时 交 互 人 工 服 务 实 时 的 客 户 接 触 关 怀 客 户 离 网 原 因 预 测 产 品 设 计 和 开 发 客 户 对 产 品 的 购 买 概 率 分 析 沉 默 用 户 ( 服 务 ) 主 动 关 怀 客 户 体 验 差 的 时 候 主 动 关 怀 个 性 化 的 挽 留 营 销 活 动 网 络 用 户 投 诉 故 障 定 位 客 户 掉 话 率 分 析 实 时 WIFI 转 移 ( 四 网 协 同 ) 基 于 价 值 的 网 络 规 划 网 络 故 障 检 测 和 恢 复 基 于 价 值 的 实 时 网 络 拥 塞 管 理 IT 系 统 ETL 云 化 帐 详 单 查 询 终 端 进 销 存 系 统 上 网 行 为 分 析 运 营 管 理 分 析 指 标 库 查 询 9

云 ETL IT 系 统 网 络 市 场 营 销 用 户 体 验 变 现 现 状 : 以 仓 库 的 E-L-T 模 式 为 主, 海 量 原 始 直 接 入 库, 对 仓 库 产 生 极 大 压 力, 数 据 仓 库 扩 容 压 力 大, 影 响 其 他 分 析 业 务 正 常 运 行 解 决 方 案 : 以 BC-Hadoop BC-HugeTable 为 基 础, 基 于 BC-PDM 工 具 针 对 结 构 化 非 结 构 化 实 现 ETL 操 作, 包 括 从 各 种 源 获 取, 并 进 行 清 洗 转 换 去 重 缺 值 补 充 等 操 作, 进 而 实 现 上 报 一 经 各 类 分 析 及 汇 总 效 果 : 省 公 司 : 完 成 一 经 wap 日 志 30 天 存 储 分 析 汇 总, 减 少 原 有 库 25% 的 长 时 间 负 载 占 用, 性 能 提 高 3-5 倍 省 公 司 : 存 储 60 天,6PC 受 业 务 复 杂 度 影 响, 性 能 提 升 比 例 不 同, 但 绝 对 时 间 上 提 升 明 显 ; 例 图 : 分 时 段 汇 总 的 业 务 场 景 对 于 而 且 对 于 量 大 逻 辑 相 对 简 单 的 业 务 提 升 比 例 更 高, 日 调 度 提 升 平 均 3 倍 以 上, 月 调 度 提 升 部 分 可 达 5 倍 以 上 10

详 单 类 查 询 分 析 IT 系 统 网 络 市 场 营 销 用 户 体 验 变 现 现 状 : 库 承 载 详 单 类 型 的 查 询 及 分 析 操 作, 随 着 用 户 及 4G 业 务 增 多, 库 压 力 大 响 应 延 迟 增 加 解 决 方 案 : 以 BC-Hadoop BC-HugeTable 为 基 础, 仅 保 存 一 份, 以 标 准 SQL 支 持 对 详 单 类 的 查 询 与 分 析 统 计, 包 括 支 持 客 服 的 详 单 查 询 上 网 日 志 查 询 网 络 查 询 及 分 析 等 原 始 消 息 采 集 预 处 理 计 算 1 计 算 2 融 合 处 理 大 库 大 库 营 业 厅 系 统 营 业 厅 1 营 业 厅 2 营 业 厅 3 营 业 厅 4 效 果 : 省 级 帐 详 单 查 询 系 统 :30 个 节 点 满 足 6 个 月 供 150 多 T 存 储, 秒 级 支 持 客 服 及 用 户 的 详 单 查 询 省 级 运 营 管 理 大 平 台 :12 节 点 存 储 7 天 详 绅 日 志 1 年 汇 总, 支 持 管 信 客 户 感 知 丏 题 及 CRM 防 绕 行 审 计, 基 于 大 云 实 现 大 平 台 自 劢 安 装 部 署 监 控 及 管 理, 同 时 支 持 ooize pig 等 组 件 例 图 : 帐 详 单 查 询 系 统 11

交 易 库 应 用 ( 去 IOE) IT 系 统 网 络 市 场 营 销 用 户 体 验 变 现 现 状 : 对 于 海 量 的 事 务 处 理 需 求, 现 网 小 型 机 系 统 在 扩 展 性 方 面 遇 到 瓶 颈, 开 源 单 机 数 据 库 性 能 支 持 不 够, 只 能 采 用 分 库 的 方 案, 而 在 跨 库 查 询 时 给 应 用 改 造 带 来 一 定 复 杂 度 解 决 方 案 : 基 于 分 布 式 库 BC-RDB 系 统 实 现 分 布 式 事 务 和 统 计 分 析 功 能, 支 持 标 准 SQL 接 口, 提 供 高 并 发 和 高 可 靠 性 的 库 系 统, 传 统 库 可 平 滑 迁 移 应 用 服 务 器 效 果 : 负 载 均 衡 管 理 终 端 省 级 终 端 进 销 存 系 统 :6 节 点 支 持 3000 人 幵 发 服 务 于 各 终 端 网 点 经 销 商 各 级 公 司 以 及 供 应 商 的 销 售 支 撑 业 务 管 理 平 台 节 点 1 节 点 N ZK1 ZK M DBXA 监 控 系 统 集 群 可 以 部 署 于 自 带 硬 盘 的 x86 服 务 器, 不 需 要 小 型 机 和 磁 盘 阵 列 省 级 BC-RDB 一 体 机 测 试 : 完 成 4 节 点 集 成 测 试, 实 现 库 基 准 功 能, 验 证 了 BC-RDB 在 多 种 平 台 的 可 集 成 性 12

用 户 投 诉 故 障 定 位 IT 系 统 网 络 市 场 营 销 用 户 体 验 变 现 现 状 : 传 统 网 络 保 存 周 期 短,4G 业 务 增 多, 网 络 巨 大 日 增 数 十 TB( 省 ), 无 法 应 对 网 络 需 求 解 决 方 案 : 以 BC-Hadoop BC-HugeTable 为 基 础, 支 持 各 种 网 络 存 储, 包 括 traffic/gn/gb/wlan 等, 支 持 网 络 投 诉 的 迅 速 定 位 掉 话 率 分 析 等 等 Traffic DNS GN 口 其 他 接 口 86GB / 天 1TB/ 天 1TB/ 天 HugeTa ble 基 于 Web 的 查 询 Portal SQL 分 析 效 果 : 省 公 司 LTE 与 2G/3G 信 号 共 存 干 扰 现 象 是 影 响 无 线 通 信 网 络 质 量 的 关 键 因 素 之 一, 当 接 到 用 户 投 诉 时, 采 用 传 统 方 案, 平 均 需 要 5-7 个 工 作 日 完 成 故 障 定 位, 现 在 故 障 定 位 时 间 缩 短 到 分 钟 级 别 网 络 接 口 数 据 实 时 入 库 例 图 : 分 时 段 汇 总 的 业 务 场 景 存 储 展 现 / 获 取 省 公 司 感 知 掉 话 率 是 传 统 话 统 掉 话 率 4 倍, 感 知 掉 话 率 与 用 户 实 际 投 诉 匹 配 度 更 高 13

基 于 流 计 算 的 位 置 精 准 营 销 及 实 时 PKI IT 系 统 网 络 市 场 营 销 用 户 体 验 变 现 现 状 : 面 向 实 时 类 市 场 营 销 需 求 以 及 实 时 信 息 决 策 需 求, 目 前 对 于 实 时 的 快 速 响 应 和 处 理, 目 前 现 网 系 统 还 难 以 支 持 解 决 方 案 : 基 于 开 源 流 计 算 系 统 支 持 实 时 处 理 及 响 应, 提 供 实 时 缓 存 分 析 事 件 累 积 及 触 发 等 能 力 效 果 : 可 支 持 的 应 用 包 括 : 实 时 营 销 类 : 基 于 位 置 的 营 销 实 时 体 验 类 : 套 餐 余 量 提 醒 实 时 KPI 监 控 : 用 户 数 通 话 成 功 率 短 信 数 等 指 标 监 控 例 图 : 客 户 分 类 识 别 应 用 14

挖 掘 和 专 题 分 析 IT 系 统 网 络 市 场 营 销 用 户 体 验 变 现 现 状 : 对 于 海 量 的 挖 掘 与 分 析, 由 于 传 统 挖 掘 工 具 系 统 性 能 有 限, 通 常 采 用 抽 样 手 段 来 完 成, 不 能 对 全 网 分 析, 尤 其 针 对 社 交 网 类 型 应 用, 抽 样 不 能 解 决 根 本 问 题 解 决 方 案 : 基 于 BC-PDM 实 现 挖 掘 丏 题, 提 供 面 向 结 构 化 非 结 构 化 分 析 挖 掘, 支 持 分 类 聚 类 关 联 规 则 社 交 网 分 析 等 近 20 种 算 法, 实 现 了 探 索 流 程 可 视 化 结 果 展 示 及 流 程 调 度 等 功 能 效 果 : 挖 掘 试 点 : 分 别 在 福 建 泉 州 河 南 商 丘 上 海 公 司 实 现 了 BC- PDM 试 点, 可 以 对 全 网 进 行 分 析, 效 果 良 好 人 群 1 省 挖 掘 丏 题 : 实 现 了 无 锡 融 合 套 餐 用 户 流 量 适 配 模 型 家 庭 宽 带 丏 题 等 挖 掘 流 程, 正 在 验 证 环 节 其 它 人 群 电 信 交 网 圈 应 用 : 客 户 影 响 力 分 析 客 户 重 入 网 分 析 家 庭 客 户 识 别 集 团 客 户 行 为 趋 势 分 析 例 图 : 客 户 分 类 识 别 应 用 15

POI 搜 索 系 统 IT 系 统 网 络 市 场 营 销 用 户 体 验 变 现 现 状 : 位 置 基 地 选 择 商 用 POI 搜 索 系 统, 难 以 支 持 移 劢 业 务 的 定 制 化 需 求, 例 如 基 于 运 营 数 据 的 系 统,POI 扩 充 及 检 索 排 序 需 求 等 解 决 方 案 : 以 BC-SE 为 基 础, 实 现 对 POI 母 库 及 关 键 词 库 的 多 重 索 引 机 制, 提 供 灵 活 的 与 公 交 查 询 系 统 集 成 接 口, 提 供 类 别 排 序 定 制 化 需 求 效 果 : 支 持 运 营 ( 点 击 率 ) 对 搜 索 结 果 的 优 化 支 持 按 类 别 进 行 POI 搜 索 及 排 序 提 供 系 统 的 可 运 营 可 管 理 能 力 支 持 定 期 手 劢 和 自 劢 更 新 POI 信 息 库 16

垃 圾 短 信 拦 截 IT 系 统 网 络 市 场 营 销 用 户 体 验 变 现 现 状 : 对 于 海 量 垃 圾 短 信 彩 信 等 各 种 不 良 信 息, 传 统 基 于 规 则 的 方 式 过 滤, 过 滤 结 加 以 人 工 筛 查, 由 于 规 则 判 定 特 征, 人 工 工 作 量 巨 大, 难 以 满 足 现 网 需 求 解 决 方 案 : 基 于 BC-Hadoop 实 现 不 良 信 息 统 一 存 储, 提 供 统 一 计 算 框 架,BC-PDM 实 现 各 种 文 本 分 析 算 法, 包 括 聚 类 分 类 等, 支 持 不 良 信 息 自 劢 化 决 策 支 持 样 本 分 析 工 具 效 果 : 统 一 平 台 管 理 白 名 单 审 计 信 息 模 糊 化 分 时 段 短 信 特 征 分 析 统 一 存 储 (HDFS+Hugetable) 采 集 加 解 黑 号 码 统 计 统 一 计 算 框 架 (Mapreduce/Spark/SQL) 聚 类 分 析 规 则 的 : 对 垃 圾 短 信 行 为 模 式 的 发 现, 例 如 频 繁 发 送, 只 发 不 收 等 基 本 规 则 基 于 文 本 内 容 的 识 别 针 对 人 工 校 验 结 果 的 不 精 确 性, 采 用 聚 类 算 法 方 式, 给 出 纠 错 建 议 样 本 数 据 垃 圾 短 信 (CSV) ftp 垃 圾 短 信 收 端 / 投 诉 (CSV) ftp 垃 圾 彩 信 (ZIP) ftp 不 良 信 息 样 本 存 储 与 分 析 平 台 不 良 网 站 (ZIP) ftp 客 户 名 单 (DAT) 手 劢 利 用 人 工 校 验 结 果 作 为 训 练 集, 采 用 指 纹 算 法 等 方 式 实 现 垃 圾 短 信 识 别 有 效 减 轻 人 工 校 验 工 作 量, 经 过 测 试, 系 统 验 证 违 规 短 信 与 人 工 判 定 违 规 误 差 10% 17

行业解决方案 IT系统 优化 网络 优化 市场 营销 用户 体验 数据 变现 智慧洞察 Smart Insights 对外数据服务平台 平台依托企业数据中心强大的处理能力 与海量数据 基于完全匿名和聚合的移动数据 利用统计分析 数据挖掘等技术 向客户 提供标准化数据产品 大数据分析报告 高效Open API服务 为社会 政府 企业以及家庭 个人客户提供经过分析挖掘而形成的价值产品与服务 实现数据价值提升与共享 效果 客源分析标准产品 客源构成分 析 分析人群构成 区分出真正 游客人员 景区景点人员密度 通过 基站分析各景点实时客流 情况 便于疏导与管理 流量监控与预警 提高景 区管理职能 服务能力及 安全保障能力 数据开放API 在2014年度江苏 省智慧旅游推进会上 此项目被 江苏省旅游局评为 江苏省智慧 旅游优秀项目 18

19 中 国 移 动 大 应 用 展 望 规 划 中 国 移 劢 的 大 中 心, 提 供 获 取 存 储 处 理 等 服 务 能 力 以 及 提 供 大 数 据 应 用 创 新 平 台 管 理 平 台 运 营 管 理 服 务 管 理 用 户 管 理 资 源 管 理 计 量 计 费 系 统 管 理 管 理 元 质 量 安 全 审 计 经 营 分 析 大 数 据 应 用 托 管 服 务 产 品 优 化 离 线 处 理 云 网 络 分 析 高 效 运 营 在 线 分 析 云 智 能 客 服 统 计 分 析 机 器 学 习 挖 掘 算 法 及 模 型 统 一 存 储 统 一 采 集 清 洗 转 换 信 息 安 全 可 视 化 服 务 实 时 计 算 云 数 据 变 现 应 用 层 能 力 和 服 务 层 存 储 和 计 算 层 采 集 层 对 外 能 力 开 放 : 能 力 开 放 及 应 用 托 管 可 视 化 服 务 : 可 视 化 展 示 及 人 机 交 互 分 析 模 型 : 文 本 统 计 机 器 学 习 存 储 : 大 规 模 ( 百 PB) 热 温 数 据 冷 离 线 处 理 : 非 结 构 化 转 为 结 构 化 知 识 归 一 化 离 散 的 整 合 在 线 处 理 : 大 规 模 高 性 能 即 席 查 询 SQL 支 持 实 时 计 算 : 流 式 实 时 计 算 统 一 调 度 : 混 合 部 署 和 统 一 资 源 调 度 管 理 : 元 管 理 质 量 安 全 访 问 审 计 运 营 管 理 : 资 源 管 理 计 量 多 种 源 采 集, 内 部 外 部 采 集 效 率 : 压 缩 增 量 采 集 带 宽 建 设

谢 谢!