Microsoft PowerPoint Big data ???-???? - ??? - Copy.pptx

Transcription

1 大 数 据 的 产 生 21 世 纪 是 数 据 信 息 大 发 展 的 时 代, 移 动 互 联 社 交 网 络 电 子 商 务 等 极 大 拓 展 了 互 联 网 的 边 界 和 应 用 范 围, 各 种 数 据 正 在 迅 速 膨 胀 并 变 大 互 联 网 ( 社 交 搜 索 电 商 ) 移 动 互 联 网 ( 微 博 ) 物 联 网 ( 传 感 器, 智 慧 地 球 ) GPS 医 学 影 像 安 全 监 控 金 融 ( 银 行 股 市 保 险 ) 电 信 ( 通 话 短 信 ) 都 在 疯 狂 产 生 着 数 据 大 数 据 的 构 成 大 数 据 包 括 : 交 易 数 据 和 交 互 数 据 集 在 内 的 所 有 数 据 集 大 数 据 = 海 量 数 据 + 复 杂 类 型 的 数 据 海 量 交 易 数 据 : 企 业 内 部 的 经 营 交 易 信 息 主 要 包 括 联 机 交 易 数 据 和 联 机 分 析 数 据, 是 结 构 化 的 通 过 关 系 数 据 库 进 行 管 理 和 访 问 的 静 态 历 史 数 据 通 过 这 些 数 据, 我 们 能 了 解 过 去 发 生 了 什 么 海 量 交 互 数 据 : 源 于 各 种 网 络 和 社 交 媒 体 它 包 括 了 呼 叫 详 细 记 录 设 备 和 传 感 器 信 息 GPS 和 地 理 定 位 映 射 数 据 通 过 管 理 文 件 传 输 协 议 传 送 的 海 量 图 像 文 件 Web 文 本 和 点 击 流 数 据 评 价 数 据 科 学 信 息 电 子 邮 件 等 等 可 以 告 诉 我 们 未 来 会 发 生 什 么 1Byte( 字 节 ) = 8 bit( 位 ) 1KB= 2 10 Bytes( 一 千 字 节 ) 1MB= 2 20 Bytes( 百 万 字 节 ) 1GB=10 6 = 2 30 Bytes( 十 亿 字 节 ) 大 数 据 的 大 小 5EB(5 百 亿 亿 字 节 ) 一 个 数 :138 图 像 的 一 个 点 从 人 类 文 明 到 2003 年 里 一 共 产 生 信 息 量 1TB=10 12 =2 40 Bytes( 万 亿 字 节 ) 2GB: 2 小 时 720p 高 清 电 影 的 大 小 (20 亿 ) 500GB: 个 560 人 电 倍 脑 的 硬 盘 容 量 (5 千 亿 ) TB: 传 统 数 据 库 的 有 效 工 作 数 据 大 小 1PB=10 15 = 2 50 Bytes( 千 万 亿 字 节 ) 100TB: 大 数 据 的 门 槛 (100 万 亿 ) 10PB: 电 信 和 金 融 业 的 数 据 量 1EB=10 18 = 2 60 Bytes( 百 亿 亿 字 节 ) 2.8ZB(28 100PB: 万 Facebook Yahoo 亿 亿 字 节 ) 的 数 据 量 1EB: 谷 歌, 百 度 的 数 据 量 1ZB=10 21 = 2 70 Bytes( 十 万 亿 亿 2012 字 年 创 建 和 复 制 的 信 息 量 节 ) 互 联 网 的 一 分 钟 内 发 生 了 什 么? 全 球 互 联 网 1 分 钟 传 输 1.2 亿 亿 个 字 符 苹 果 的 应 用 1 分 钟 下 载 20 万 次 Pandora 新 增 加 6 万 多 首 歌 曲 1 分 钟 发 出 2 亿 封 邮 件 Twitter 上 载 35 万 条 新 微 博 Amazon 公 司 1 分 钟 销 售 8.3 万 美 元 TouTube 上 载 100 小 时 视 频, 发 生 130 万 次 观 看 Google 发 生 200 万 次 搜 索 查 询 Facebook 新 增 27 万 多 用 户, 发 生 600 万 次 访 问 2015 年, 你 要 用 5 年 时 间 才 能 看 完 互 联 网 上 一 秒 内 所 上 传 的 视 频 1

2 全 球 联 网 设 备 的 数 量 在 2012 年, 全 球 联 网 设 备 的 数 量 等 于 全 球 人 口 数 量 (70 亿 ) [1] 在 2015 年, 全 球 联 网 设 备 的 数 量 将 等 于 全 球 人 口 数 量 的 两 倍 (145 亿 ) 在 2017 年, 全 球 联 网 设 备 的 数 量 将 等 于 全 球 人 口 数 量 的 三 倍 (220 亿 ) 2012 年 : 2015 年 : [1] 美 国 人 口 调 查 局 的 数 据 显 示 全 球 人 口 在 2012 年 3 月 12 日 突 破 70 亿 ; [2] 而 联 合 国 人 口 基 金 会 则 显 示 全 球 人 口 在 2011 年 10 月 31 日 达 到 70 亿 预 计 2040 年 前, 世 界 人 口 将 达 到 80 亿 大 数 据 早 期 的 一 个 成 功 例 子 2009 年, 甲 型 H1N1 流 感 在 全 球 爆 发 传 播, 为 了 发 现 和 控 制 疫 情, 各 国 政 府 和 卫 生 相 关 部 门 付 出 了 巨 大 努 力, 但 得 到 的 数 据 仍 然 滞 后 一 两 周 而 Google 对 人 们 的 搜 索 的 历 史 记 录 进 行 处 理, 建 立 合 理 的 数 学 模 型 后, 得 到 的 预 测 结 果 与 官 方 的 数 据 相 关 性 高 达 97%, 能 够 立 刻 判 断 出 流 感 是 从 哪 里 传 播 出 来 的, 没 有 一 两 周 的 滞 后 Google 处 理 了 5000 万 条 历 史 记 录 4.5 亿 个 不 同 的 数 学 模 型 人 们 在 网 上 搜 索 相 关 病 症, 发 烧 头 痛, 药 品, 治 疗 查 询 的 人 群 所 在 地 区 数 量 Volume 多 样 性 Variety 大 数 据 的 4V 特 性 存 储 量 大 增 长 量 大 来 源 多 ( 搜 索 社 交 网 络 通 话 记 录 传 感 器 ) 格 式 多 ( 结 构 化 数 据 非 结 构 化 数 据 ) 大 数 据 与 传 统 数 据 的 区 别 大 数 据 和 传 统 数 据 的 主 要 区 别 在 于 结 构 化 程 度 传 统 数 据 库 保 存 的 是 结 构 化 或 者 半 结 构 化 的 数 据, 以 二 维 表 或 者 标 准 XML 文 件 的 方 式 存 储 数 据, 由 于 结 构 清 晰, 处 理 相 对 容 易 ; 大 数 据 面 向 的 是 一 切 计 算 机 可 以 存 储 的 数 据 格 式, 包 括 互 联 网 上 的 各 种 网 页 图 片 音 频 视 频, 包 括 办 公 文 档, 人 们 在 搜 索 引 擎 中 输 入 的 关 键 词 在 社 交 网 络 中 的 留 言, 显 然 不 同 的 格 式 处 理 起 来 更 加 困 难 真 实 性 Veracity 大 量 的 不 相 关 信 息 资 料 可 靠 度 低 分 析 结 果 存 在 误 差 速 度 Velocity 实 时 分 析 立 竿 见 影 而 非 事 后 见 效 结 构 化 数 据 非 结 构 化 数 据 2

3 大 数 据 技 术 要 解 决 的 问 题 大 数 据 技 术 要 解 决 的 问 题 Veracity 真 实 性 差 的 数 据 Variety 多 样 的 数 据 类 型 Value 发 现 数 据 价 值 Velocity 快 速 的 数 据 流 转 Volume 海 量 的 数 据 规 模 大 数 据 技 术 被 设 计 用 于 在 成 本 可 承 受 的 条 件 下, 通 过 非 常 快 速 (velocity) 地 采 集 发 现 和 分 析, 从 大 量 (volumes) 多 类 别 (variety) 真 实 性 差 (Veracity) 的 数 据 中 提 取 价 值 (value), 将 是 IT 领 域 新 一 代 的 技 术 与 架 构 企 业 用 以 分 析 的 数 据 越 全 面, 分 析 的 结 果 就 越 接 近 于 真 实 大 数 据 分 析 意 味 着 企 业 能 够 从 这 些 新 的 数 据 中 获 取 新 的 洞 察 力, 并 将 其 与 已 知 业 务 的 各 个 细 节 相 融 合 技 术 领 域 的 挑 战 传 统 的 数 据 库 部 署 不 能 处 理 数 TB 级 别 的 数 据, 也 不 能 很 好 的 支 持 高 级 别 的 数 据 分 析, 急 速 膨 胀 的 数 据 体 量 即 将 超 越 传 统 数 据 库 的 管 理 能 力 因 此, 需 要 构 建 全 球 级 的 分 布 式 数 据 库, 可 以 扩 展 到 数 百 万 的 机 器, 数 已 百 计 的 数 据 中 心, 上 万 亿 的 行 数 据 经 典 数 据 库 技 术 并 没 有 考 虑 数 据 的 多 类 别 (vari ety),sql 在 设 计 的 一 开 始 是 没 有 考 虑 非 结 构 化 数 据 的 一 般 而 言, 像 数 据 仓 库 BI 等, 对 处 理 时 间 的 要 求 并 不 高 因 此 这 类 应 用 如 果 运 行 1 2 天 获 得 结 果 依 然 可 行 的 但 大 数 据 应 用 要 求 实 时 处 理, 这 是 其 区 别 于 传 统 数 据 仓 库 技 术 BI 技 术 的 关 键 差 别 之 一 大 数 据 带 来 的 思 维 方 式 的 变 化 处 理 的 对 象 往 往 是 全 部 数 据, 而 不 是 部 分 数 据 的 采 样 采 样 的 不 合 理 会 导 致 预 测 结 果 的 偏 差, 在 大 数 据 时 代, 依 靠 强 大 的 数 据 处 理 能 力, 应 该 去 处 理 全 部 的 数 据 不 再 执 迷 于 精 确 性 精 确 的 规 范 化 的 可 以 被 传 统 数 据 库 处 理 的 数 据 只 占 全 部 数 据 的 5%, 必 须 接 受 不 精 确 性 才 能 处 理 另 外 95% 的 数 据 ; 错 误 的 数 据 是 客 观 存 在 的, 竭 力 避 免 它 就 失 去 了 应 有 的 客 观 性 和 公 平 性 ; 大 数 据 的 简 单 算 法 比 小 数 据 的 复 杂 算 法 更 有 效 更 加 关 注 相 关 性, 而 不 是 因 果 性 预 测 依 靠 的 是 相 关 性 ; 很 多 情 况 下 知 道 是 什 么 即 可, 不 必 知 道 为 什 么 3

4 如 何 处 理 大 数 据? 分 析 技 术 : 数 据 处 理 : 自 然 语 言 处 理 技 术 统 计 和 分 析 :A/B test; top N 排 行 榜 ; 地 域 占 比 ; 文 本 情 感 分 析 数 据 挖 掘 : 关 联 规 则 分 析 ; 分 类 ; 聚 类 模 型 预 测 : 预 测 模 型 ; 机 器 学 习 ; 建 模 仿 真 大 数 据 技 术 : 数 据 采 集 :ETL 工 具 数 据 存 取 :DFS;HDFS;NoSQL 等 基 础 架 构 支 持 : 云 存 储 ; 分 布 式 文 件 系 统 等 计 算 结 果 展 现 : 云 计 算 ; 标 签 云 ; 关 系 图 等 解 决 方 案 : Hadoop(MapReduce 技 术 ) 流 计 算 (twitter 的 storm 和 yahoo! 的 S4) 存 储 : 结 构 化 数 据 : 海 量 数 据 的 查 询 统 计 更 新 等 操 作 效 率 低 非 结 构 化 数 据 : 图 片 视 频 word pdf ppt 等 文 件 存 储, 不 利 于 检 索 查 询 和 存 储 半 结 构 化 数 据 : 转 换 为 结 构 化 存 储 按 照 非 结 构 化 存 储 大 数 据 与 云 计 算 如 果 数 据 是 财 富, 那 么 大 数 据 就 是 宝 藏, 而 云 计 算 就 是 挖 掘 和 利 用 宝 藏 的 神 器 云 计 算 和 大 数 据 是 一 个 硬 币 的 两 面 : 云 计 算 是 大 数 据 的 基 础 分 析 手 段 ; 大 数 据 是 云 计 算 的 一 个 重 磅 应 用 云 计 算 与 大 数 据 的 关 系 是 动 与 静 的 关 系 : 云 计 算 强 调 的 是 计 算, 这 是 动 的 概 念 ; 大 数 据 是 计 算 的 对 象, 这 是 静 的 概 念 没 有 云 计 算, 大 数 据 的 价 值 无 法 被 提 取 ; 没 有 大 数 据, 云 计 算 空 无 用 武 之 地 数 据 采 集 数 据 分 析 与 挖 掘 大 数 据 的 相 关 技 术 数 据 采 集 数 据 分 析 与 挖 掘 数 据 储 存 与 管 理 计 算 结 果 展 示 ETL 数 据 众 包 (CrowdSouring) 结 构 化 非 结 构 化 和 半 结 构 化 数 据 分 布 式 文 件 系 统 关 系 数 据 库 非 关 系 数 据 库 (NoSQL) 数 据 仓 库 云 计 算 和 云 存 储 实 时 流 处 理 大 数 据 的 相 关 技 术 社 会 网 络 分 析 A/BTesting 关 联 规 则 分 析 分 类 聚 类 遗 传 算 法 神 经 网 络 预 测 模 型 模 式 识 别 时 间 序 列 分 析 回 归 分 析 系 统 仿 真 机 器 学 习 优 化 空 间 分 析 自 然 语 言 分 析 MapReduce R 语 言 标 签 云 (TagCloud) 聚 类 图 (Clustergram) 空 间 信 息 流 (Spatial informationflow) 热 图 (Heatmap) ETL 数 据 众 包 (CrowdSouring) 数 据 储 存 与 管 理 Extract, Transform and Load (ETL) refers to a process in database usage and especially in data warehousing that: Extracts data from homogeneous or heterogeneous data sources. Transforms the data for storing it in proper format or structure for querying and analysis purpose. 计 算 结 果 展 示 4

5 数 据 众 包 众 包 是 一 种 分 布 式 的 问 题 解 决 和 生 产 模 式 众 包 指 的 是 一 个 公 司 或 机 构 把 过 去 由 员 工 执 行 的 工 作 任 务, 以 自 由 自 愿 的 形 式 外 包 给 非 特 定 的 ( 而 且 通 常 是 大 型 的 ) 大 众 网 络 的 做 法 数 据 众 包 是 一 种 新 的 数 据 采 集 方 式, 由 企 业 方 通 过 平 台 把 数 据 采 集 任 务 外 包 给 非 特 定 的 大 众 网 络 大 数 据 的 相 关 技 术 数 据 采 集 ETL 数 据 众 包 (CrowdSouring) 数 据 储 存 与 管 理 结 构 化 非 结 构 化 和 半 结 构 化 数 据 分 布 式 文 件 系 统 关 系 数 据 库 非 关 系 数 据 库 (NoSQL) 数 据 仓 库 云 计 算 和 云 存 储 实 时 流 处 理 数 据 分 析 与 挖 掘 计 算 结 果 展 示 分 布 式 文 件 系 统 分 布 式 文 件 系 统 ( 例 1) 分 布 式 文 件 系 统 (Distributed File System) 是 指 文 件 系 统 管 理 的 物 理 存 储 资 源 不 一 定 直 接 连 接 在 本 地 节 点 上, 而 是 通 过 计 算 机 网 络 与 节 点 相 连 Google 文 件 系 统 (Google File System,GFS) 是 一 个 可 扩 展 的 分 布 式 文 件 系 统, 用 于 大 型 的 分 布 式 的 对 大 量 数 据 进 行 访 问 的 应 用 它 运 行 于 廉 价 的 普 通 硬 件 上, 将 服 务 器 故 障 视 为 正 常 现 象, 通 过 软 件 的 方 式 自 动 容 错, 在 保 证 系 统 可 靠 性 和 可 用 性 的 同 时, 大 大 减 少 了 系 统 的 成 本 GFS 使 用 廉 价 的 商 用 机 器 构 建 分 布 式 文 件 系 统, 将 容 错 的 任 务 交 由 文 件 系 统 来 完 成, 利 用 软 件 的 方 法 解 决 系 统 可 靠 性 问 题, 这 样 可 以 使 得 存 储 的 成 本 成 倍 下 降 由 于 GFS 中 服 务 器 数 目 众 多, 在 GFS 中 服 务 器 死 机 是 经 常 发 生 的 事 情, 甚 至 都 不 应 当 将 其 视 为 异 常 现 象, 那 么 如 何 在 频 繁 的 故 障 中 确 保 数 据 存 储 的 安 全 保 证 提 供 不 间 断 的 数 据 存 储 服 务 是 GFS 最 核 心 的 问 题 GFS 的 精 彩 在 于 它 采 用 了 多 种 方 法, 从 多 个 角 度, 使 用 不 同 的 容 错 措 施 来 确 保 整 个 系 统 的 可 靠 性 5

6 GFS 将 整 个 系 统 分 为 三 类 角 色 :Client( 客 户 端 ) Master( 主 服 务 器 ) Chunk Server( 数 据 块 服 务 器 ) 客 户 端 Client 是 GFS 提 供 给 应 用 程 序 的 访 问 接 口 主 服 务 器 Master 是 GFS 的 管 理 节 点, 是 GFS 文 件 系 统 中 的 大 脑 数 据 块 服 务 器 Chunk Server 负 责 具 体 的 存 储 工 作 客 户 端 在 访 问 GFS 时, 首 先 访 问 Master 节 点, 获 取 将 要 与 之 进 行 交 互 的 Chunk Server 信 息, 然 后 直 接 访 问 这 些 Chunk Server 完 成 数 据 存 取 主 服 务 器 数 据 块 服 务 器 客 户 端 分 布 式 文 件 系 统 ( 例 2) Hadoop 是 一 个 由 Apache 基 金 会 所 开 发 的 分 布 式 系 统 基 础 架 构 用 户 可 以 在 不 了 解 分 布 式 底 层 细 节 的 情 况 下, 开 发 分 布 式 程 序 充 分 利 用 集 群 的 威 力 进 行 高 速 运 算 和 存 储 Hadoop 实 现 了 一 个 分 布 式 文 件 系 统 (Hadoop Distributed File System), 简 称 HDFS HDFS 有 高 容 错 性 的 特 点, 并 且 设 计 用 来 部 署 在 低 廉 的 (low-cost) 硬 件 上 ; 而 且 它 提 供 高 吞 吐 量 (high throughput) 来 访 问 应 用 程 序 的 数 据, 适 合 那 些 有 着 超 大 数 据 集 (large data set) 的 应 用 程 序 HDFS 放 宽 了 (relax)posix 的 要 求, 可 以 以 流 的 形 式 访 问 (streaming access) 文 件 系 统 中 的 数 据 Hadoop 的 框 架 最 核 心 的 设 计 就 是 :HDFS 和 MapReduce HDFS 为 海 量 的 数 据 提 供 了 存 储, MapReduce 为 海 量 的 数 据 提 供 了 计 算 一 个 HDFS 集 群 是 由 一 个 Namenode 和 一 定 数 目 的 Datanodes 组 成 HDFS 对 外 部 客 户 机 而 言,HDFS 就 像 一 个 传 统 的 分 级 文 件 系 统 可 以 创 建 删 除 移 动 或 重 命 名 文 件, 等 等 存 储 在 HDFS 中 的 文 件 被 分 成 块, 然 后 将 这 些 块 复 制 到 多 个 计 算 机 中 DataNode NameNode 可 以 控 制 所 有 文 件 操 作 NameNode 是 一 个 通 常 在 HDFS 实 例 中 的 单 独 机 器 上 运 行 的 软 件 它 负 责 管 理 文 件 系 统 名 称 空 间 和 控 制 外 部 客 户 机 的 访 问 NameNode 决 定 是 否 将 文 件 映 射 到 DataNode 上 的 复 制 块 上 DataNode 也 是 一 个 通 常 在 HDFS 实 例 中 的 单 独 机 器 上 运 行 的 软 件 DataNode 响 应 来 自 HDFS 客 户 机 的 读 写 请 求 它 们 还 响 应 来 自 NameNode 的 创 建 删 除 和 复 制 块 的 命 令 6

7 MapReduce 非 关 系 型 数 据 库 NoSQL MapReduce 是 一 种 编 程 模 型, 用 于 大 规 模 数 据 集 ( 大 于 1TB) 的 并 行 运 算 概 念 Map 映 射 和 Reduce 归 约, 和 它 们 的 主 要 思 想, 都 是 从 函 数 式 编 程 语 言 里 借 来 的, 还 有 从 矢 量 编 程 语 言 里 借 来 的 特 性 它 极 大 地 方 便 了 编 程 人 员 在 不 会 分 布 式 并 行 编 程 的 情 况 下, 将 自 己 的 程 序 运 行 在 分 布 式 系 统 上 当 前 的 软 件 实 现 是 指 定 一 个 Map( 映 射 ) 函 数, 用 来 把 一 组 键 值 对 映 射 成 一 组 新 的 键 值 对, 指 定 并 发 的 Reduce( 归 约 ) 函 数, 用 来 保 证 所 有 映 射 的 键 值 对 中 的 每 一 个 共 享 相 同 的 键 组 关 系 型 数 据 库 的 局 限 性 难 以 满 足 高 并 发 读 写 的 需 求 难 以 满 足 对 海 量 数 据 高 效 率 存 储 和 访 问 的 需 求 难 以 满 足 对 数 据 库 高 可 扩 展 性 和 高 可 用 性 的 需 求 非 关 系 型 数 据 库 NoSQL 非 关 系 型 数 据 库 NoSQL( 例 ) NoSQL 数 据 存 储 不 需 要 固 定 的 表 结 构, 通 常 也 不 存 在 连 接 操 作 在 大 数 据 存 取 上 具 备 关 系 型 数 据 库 无 法 比 拟 的 性 能 优 势 关 系 型 数 据 库 中 的 表 都 是 存 储 一 些 格 式 化 的 数 据 结 构, 每 个 元 组 字 段 的 组 成 都 一 样, 即 使 不 是 每 个 元 组 都 需 要 所 有 的 字 段, 但 数 据 库 会 为 每 个 元 组 分 配 所 有 的 字 段 非 关 系 型 数 据 库 以 键 值 对 存 储, 它 的 结 构 不 固 定, 每 一 个 元 组 可 以 有 不 一 样 的 字 段, 每 个 元 组 可 以 根 据 需 要 增 加 一 些 自 己 的 键 值 对, 这 样 就 不 会 局 限 于 固 定 的 结 构, 可 以 减 少 一 些 时 间 和 空 间 的 开 销 7

8 非 关 系 型 数 据 库 NoSQL( 例 1) 非 关 系 型 数 据 库 NoSQL( 例 1) Bigtable 的 设 计 目 的 是 可 靠 地 处 理 PB 级 别 的 数 据, 并 且 能 够 部 署 到 上 千 台 机 器 上 Bigtable 已 经 在 超 过 60 个 Google 的 产 品 和 项 目 上 得 到 了 应 用, 包 括 Goo gle Analytics GoogleEarth 等 Bigtable 是 一 个 键 值 (key-value) 映 射 键 有 三 维, 分 别 是 行 键 (row key) 列 键 (column key) 和 时 间 戳 (timestamp), 行 键 和 列 键 都 是 字 节 串, 时 间 戳 是 64 位 整 型 ; 而 值 是 一 个 字 节 串 可 以 用 (row:string, column:string, time:int64) strin g 来 表 示 一 条 键 值 对 记 录 非 关 系 型 数 据 库 NoSQL( 例 1) 非 关 系 型 数 据 库 NoSQL( 例 3) Bigtable 是 一 个 键 值 (key-value) 映 射 键 有 三 维, 分 别 是 行 键 (row key) 列 键 (column key) 和 时 间 戳 (timestamp), 行 键 和 列 键 都 是 字 节 串, 时 间 戳 是 64 位 整 型 ; 而 值 是 一 个 字 节 串 可 以 用 (row:string, column:string, time:int64) string 来 表 示 一 条 键 值 对 记 录 非 关 系 型 数 据 库 NoSQL( 例 4) HBase Hadoop Database, 是 一 个 分 布 式 的 面 向 列 的 开 源 数 据 库,HBase 在 Hadoop 之 上 提 供 了 类 似 于 Bigtable 的 能 力, 是 Hadoop 项 目 的 子 项 目 Cassandra 是 一 套 开 源 分 布 式 NoSQL 数 据 库 系 统 它 最 初 由 Facebook 开 发, 用 于 储 存 收 件 箱 等 简 单 格 式 数 据, 集 Google BigTable 的 数 据 模 型 与 Amazon Dyn amo 的 完 全 分 布 式 的 架 构 于 一 身 Facebook 于 2008 年 将 Cassandra 开 源, 此 后 被 Digg Twitter 等 知 名 Web 2.0 网 站 所 采 纳, 成 为 了 一 种 流 行 的 分 布 式 结 构 化 数 据 存 储 方 案 8

9 云 计 算 和 云 存 储 云 计 算 和 云 存 储 云 计 算 (cloud computing), 是 分 布 式 计 算 技 术 的 一 种, 其 最 基 本 的 概 念, 是 透 过 网 络 将 庞 大 的 计 算 处 理 程 序 自 动 分 拆 成 无 数 个 较 小 的 子 程 序, 再 交 由 多 部 服 务 器 所 组 成 的 庞 大 系 统 经 搜 寻 计 算 分 析 之 后 将 处 理 结 果 回 传 给 用 户 透 过 这 项 技 术, 网 络 服 务 提 供 者 可 以 在 数 秒 之 内, 达 成 处 理 数 以 千 万 计 甚 至 亿 计 的 信 息, 达 到 和 超 级 计 算 机 同 样 强 大 效 能 的 网 络 服 务 蓝 蓝 的 天 上 白 云 飘 云 计 算 是 一 种 资 源 交 付 和 使 用 模 式, 指 通 过 网 络 获 得 应 用 所 需 的 资 源 ( 硬 件 平 台 软 件 ) 提 供 资 源 的 网 络 被 称 为 云 白 云 下 面 数 据 跑 如 果 数 据 是 财 富, 那 么 大 数 据 就 是 宝 藏, 而 云 计 算 就 是 挖 掘 和 利 用 宝 藏 的 利 器 没 有 强 大 的 计 算 能 力, 数 据 宝 藏 终 究 是 镜 中 花 ; 没 有 大 数 据 的 积 淀, 云 计 算 也 只 能 是 杀 鸡 用 的 宰 牛 刀 云 计 算 和 云 存 储 实 时 流 处 理 云 存 储 是 在 云 计 算 (cloud computing) 概 念 上 延 伸 和 发 展 出 来 的 一 个 新 概 念, 是 指 通 过 集 群 应 用 网 格 技 术 或 分 布 式 文 件 系 统 等 功 能, 将 网 络 中 大 量 各 种 不 同 类 型 的 存 储 设 备 通 过 应 用 软 件 集 合 起 来 协 同 工 作, 共 同 对 外 提 供 数 据 存 储 和 业 务 访 问 功 能 的 一 个 系 统 传 统 的 分 布 式 计 算 往 往 是 先 积 累 大 量 的 数 据, 再 进 行 数 据 拆 分 和 聚 合 而 实 时 流 处 理 则 是 让 数 据 流 动 起 来, 数 据 从 内 存 中 流 过, 截 取 需 要 的 数 据, 进 行 实 时 分 析 计 算 当 云 计 算 系 统 运 算 和 处 理 的 核 心 是 大 量 数 据 的 存 储 和 管 理 时, 云 计 算 系 统 中 就 需 要 配 置 大 量 的 存 储 设 备, 那 么 云 计 算 系 统 就 转 变 成 为 一 个 云 存 储 系 统, 所 以 云 存 储 是 一 个 以 数 据 存 储 和 管 理 为 核 心 的 云 计 算 系 统 9

10 数 据 采 集 数 据 分 析 与 挖 掘 MapReduce ETL 数 据 众 包 (CrowdSouring) 数 据 储 存 与 管 理 结 构 化 非 结 构 化 和 半 结 构 化 数 据 分 布 式 文 件 系 统 关 系 数 据 库 非 关 系 数 据 库 (NoSQL) 数 据 仓 库 云 计 算 和 云 存 储 实 时 流 处 理 大 数 据 的 相 关 技 术 A/BTesting 关 联 规 则 分 析 分 类 聚 类 遗 传 算 法 神 经 网 络 预 测 模 型 模 式 识 别 时 间 序 列 分 析 回 归 分 析 系 统 仿 真 机 器 学 习 优 化 空 间 分 析 社 会 网 络 分 析 自 然 语 言 分 析 MapReduce R 语 言 计 算 结 果 展 示 MapReduce 是 Google 提 出 的 一 个 软 件 架 构, 用 于 大 规 模 数 据 集 ( 大 于 1TB) 的 并 行 运 算 它 使 编 程 人 员 在 不 了 解 分 布 式 并 行 编 程 的 情 况 下, 能 将 自 己 的 程 序 运 行 在 分 布 式 系 统 上 Map= 映 射 Reduce= 规 约 或 化 简 MapReduce R 语 言 R 语 言 是 一 种 自 由 软 件 编 程 语 言 与 操 作 环 境, 主 要 用 于 统 计 分 析 绘 图 数 据 挖 掘 R 语 言 擅 长 在 Hadoop 分 布 式 文 件 系 统 中 存 储 的 非 结 构 化 数 据 上 的 分 析 R 语 言 现 在 还 可 以 运 行 在 H Base 这 种 非 关 系 型 的 数 据 库 以 及 面 向 列 的 分 布 式 数 据 存 储 之 上 10

11 数 据 采 集 数 据 分 析 与 挖 掘 标 签 云 ETL 数 据 众 包 (CrowdSouring) 数 据 储 存 与 管 理 结 构 化 非 结 构 化 和 半 结 构 化 数 据 分 布 式 文 件 系 统 关 系 数 据 库 非 关 系 数 据 库 (NoSQL) 数 据 仓 库 云 计 算 和 云 存 储 实 时 流 处 理 大 数 据 的 相 关 技 术 A/BTesting 关 联 规 则 分 析 分 类 聚 类 遗 传 算 法 神 经 网 络 预 测 模 型 模 式 识 别 时 间 序 列 分 析 回 归 分 析 系 统 仿 真 机 器 学 习 优 化 空 间 分 析 社 会 网 络 分 析 自 然 语 言 分 析 MapReduce R 语 言 计 算 结 果 展 示 标 签 云 (TagCloud) 聚 类 图 (Clustergram) 空 间 信 息 流 (Spatial informationflow) 热 图 (Heatmap) 标 签 云 (Tag Cloud) 是 一 套 相 关 的 标 签 以 及 与 此 相 应 的 权 重 权 值 影 响 标 签 的 字 体 大 小 颜 色 或 其 他 视 觉 效 果 典 型 的 标 签 云 有 30 至 150 个 标 签, 用 以 表 示 一 个 网 站 中 的 内 容 及 其 热 门 程 度 标 签 通 常 是 超 链 接, 指 向 分 类 页 面 标 签 云 标 签 云 奥 巴 马 克 林 顿 布 什 林 肯 11

12 聚 类 图 空 间 信 息 流 聚 类 图 (Clustergram) 是 指 用 图 形 方 式 展 示 聚 类 分 析 结 果 的 技 术, 可 以 有 助 于 判 断 簇 数 量 不 同 时 的 聚 类 效 果 空 间 信 息 流 (Spatial information flow) 是 展 示 信 息 空 间 状 态 的 一 种 可 视 化 技 术 热 图 热 图 热 图 (Heatmap) 是 一 项 数 据 展 示 技 术, 将 变 量 值 用 不 同 的 颜 色 或 高 亮 形 式 描 绘 出 来 可 以 非 常 直 观 的 呈 现 一 些 原 本 不 易 理 解 或 表 达 的 数 据, 比 如 密 度 频 率 温 度 等 12

13 大 数 据 的 领 跑 者 :Google 谷 歌 的 数 据 中 心 : 谷 歌 已 经 建 立 了 世 界 上 最 快 最 强 大 最 高 质 量 的 数 据 中 心 谷 歌 新 一 代 搜 索 引 擎 平 台 和 大 数 据 分 析 核 心 技 术 Caffeine, 它 基 于 Percolator 的 增 量 处 理 索 引 系 统, 比 MapReduce 批 处 理 索 引 系 统 搜 索 更 快 Colossus, 它 专 为 建 立 Caffeine 搜 索 索 引 系 统 而 用 ; Dremel 和 PowerDrill, 它 们 分 别 被 用 来 管 理 非 常 大 量 和 少 量 的 大 数 据 集 ; Google Instant, 它 提 供 服 务 的 实 时 搜 索 引 擎 存 储 和 分 析 架 构 ; Pregel, 它 是 谷 歌 更 快 捷 的 网 络 和 图 算 法 谷 歌 基 础 云 服 务 基 于 Colossus, 谷 歌 为 用 户 提 供 计 算 存 储 和 应 用 的 云 服 务 ; 计 算 服 务 包 括 计 算 的 引 擎 (ComputeEngine) 和 应 用 APP 的 引 擎 (AppEngine); 存 储 服 务 包 括 云 存 储 (CloudStorge) 云 SQL(CLoudSQL) 云 数 据 存 储 (Cloud DataStore) 永 久 磁 盘 等 服 务 ; 云 应 用 服 务 包 括 BigQuery 云 终 端 (Cloud Endpoints) 缓 冲 队 列 等 谷 歌 的 大 数 据 智 能 应 用 服 务 Google 提 供 的 大 数 据 分 析 智 能 应 用 包 括 客 户 情 绪 分 析 交 易 风 险 ( 欺 诈 分 析 ) 产 品 推 荐 消 息 路 由 诊 断 客 户 流 失 预 测 法 律 文 案 分 类 电 子 邮 件 内 容 过 滤 政 治 倾 向 预 测 物 种 鉴 定 等 多 个 方 面 据 称, 大 数 据 已 经 给 Google 每 天 带 来 2300 万 美 元 的 收 入 大 数 据 的 明 日 之 星 : 百 度 百 度 的 数 据 中 心 百 度 的 搜 索 引 擎 平 台 和 大 数 据 分 析 核 心 技 术 百 度 云 百 度 的 大 数 据 智 能 应 用 服 务 ( 人 工 智 能 ), 深 度 學 習, 語 音, 圖 像 識 別 IT 巨 头 抢 占 大 数 据 高 地 EMC EMC 的 大 数 据 解 决 方 案 专 注 于 使 组 织 更 有 效 地 使 用 他 们 从 不 同 来 源 产 生 的 数 据, 包 括 网 络 上, 网 页 上, 消 费 者, 监 控 系 统 和 传 感 器 EMC 的 数 据 计 算 产 品 事 业 部 正 在 开 发 分 析 工 具 以 解 决 大 数 据 现 象 EMC 的 大 数 据 解 决 方 案 包 括 40 多 个 产 品 2012 年 3 月 收 购 敏 捷 软 件 开 发 服 务 和 工 具 提 供 商 Pivotal Labs; 2010 年 7 月 收 购 数 据 库 软 件 供 应 商 Greenplum, 花 费 3 亿 美 元 ; 2009 年 7 月 收 购 数 据 复 制 解 决 方 案 提 供 商 Data Domain, 花 费 24 亿 美 元 甲 骨 文 甲 骨 文 大 数 据 提 供 的 数 据 库 和 数 据 库 软 件 主 要 用 于 配 合 Sun 的 硬 件, 特 别 是 它 的 最 高 端 服 务 2014 年 6 月 收 购 大 数 据 分 析 公 司 DataRanker, 并 将 利 用 DataRaker 的 云 平 台 来 提 升 甲 骨 文 软 件 工 具 在 分 析 能 源 相 关 数 据 方 面 的 能 力 ; 2009 年 7 月 收 购 专 注 于 数 据 复 制 和 实 时 数 据 集 成 解 决 方 案 的 私 人 企 业 GoldenGate Software; IBM IBM 一 直 致 力 于 扩 大 对 包 括 数 据 仓 库 中 的 大 数 据 信 息 流 和 结 构 化 数 据 的 分 析 在 过 去 四 年 中,IBM 已 经 投 入 超 过 120 亿 美 元 进 行 了 23 项 相 关 并 购, 其 中 包 括 : 2013 年 12 月 收 购 大 文 件 传 输 技 术 公 司 Aspera; 2010 年 9 月 收 购 数 据 库 分 析 供 应 商 Netezza 公 司, 花 费 17 亿 美 元 ; 2009 年 10 月 收 购 数 据 分 析 和 统 计 软 件 提 供 商 SPSS, 花 费 12 亿 美 元 ; 2009 年 1 月 收 购 业 务 规 则 管 理 软 件 供 应 商 ILOG, 花 费 3 亿 4 千 万 美 元 微 软 微 软 对 Big Data 已 经 做 了 很 久 的 研 究 : 为 了 呈 递 高 质 量 的 搜 索 结 果, 微 软 在 Bing 中 分 析 了 超 过 100PB 的 数 据 另 外, 微 软 提 供 了 一 些 解 决 方 案 来 帮 助 客 户 面 对 处 理 大 数 据 带 来 的 挑 战 最 近, 微 软 的 HPC 部 门 开 发 了 该 公 司 的 Dryad 并 行 处 理 技 术 社 区 技 术 预 览 (CTP), 第 一 步 是 向 Windows HPC Server 的 用 户 提 供 处 理 大 数 据 工 具 ; SQL Server 2012 并 入 Hadoop 分 布 式 计 算 平 台, 以 及 将 Hadoop 引 入 Windows Server 和 Azure 大 数 据 的 商 业 价 值 世 界 经 济 论 坛 去 年 发 布 报 告, 认 定 大 数 据 智 慧 城 市 可 以 创 造 新 财 富, 价 值 堪 比 石 油 3000 亿 美 元 -- 美 国 智 慧 医 疗 年 度 潜 在 价 值, 相 当 于 西 班 牙 年 度 医 疗 保 健 开 支 两 倍, 可 以 减 少 8% 的 美 国 医 疗 支 出 ; 2500 亿 欧 元 -- 欧 洲 公 共 管 理 的 潜 在 年 度 价 值, 比 希 腊 GDP 的 两 倍 还 多 ; 6000 亿 美 元 -- 服 务 提 供 者 利 用 全 球 个 人 位 置 数 据 可 获 得 潜 在 的 消 费 者 年 度 盈 余 ; 60% 的 增 加 -- 零 售 商 利 用 大 数 据 可 获 得 的 运 营 利 润 ; 50% 的 减 少 -- 制 造 业 设 备 装 配 成 本 ; 14 万 ~19 万 -- 美 需 要 数 据 智 能 分 析 人 才 数 ; 150 万 -- 美 国 需 要 对 数 据 理 解 的 管 理 者 人 数 13

14 大 数 据 的 商 业 价 值 其 中, 大 数 据 在 五 大 领 域 中 有 巨 大 变 革 潜 力 : 医 疗 行 业 公 共 部 门 零 售 行 业 制 造 行 业 通 讯 行 业 它 们 占 2010 全 球 总 GDP 的 22.3% 大 数 据 的 商 业 价 值 : 医 疗 行 业 美 国 医 疗 保 健 的 数 据 主 要 划 分 为 四 块 : 药 物 研 发 数 据 临 床 数 据 活 动 和 成 本 数 据 患 者 行 为 和 情 绪 数 据 大 数 据 的 商 业 价 值 : 医 疗 行 业 大 数 据 在 美 国 医 疗 保 健 上, 每 年 可 创 造 超 过 3000 亿 美 元 的 价 值 大 数 据 对 医 疗 保 健 方 面 的 高 层 和 决 策 者 们 有 重 大 影 响 大 数 据 的 商 业 价 值 : 医 疗 行 业 美 国 医 疗 保 健 可 利 用 多 种 大 数 据 手 段 : 临 床 操 作 疗 效 比 较 研 究 临 床 决 策 支 持 系 统 医 疗 数 据 透 明 度 远 程 医 疗 监 护 针 对 患 者 情 况 的 先 进 分 析 付 款 / 定 价 自 动 化 系 统 健 康 经 济 学 & 实 效 研 究 & 基 于 绩 效 的 定 价 计 划 研 发 预 测 模 型 改 进 临 床 试 验 设 计 的 统 计 工 具 和 算 法 临 床 实 验 数 据 分 析 个 体 化 医 疗 疾 病 模 式 分 析 新 业 务 模 型 患 者 临 床 记 录 和 需 求 数 据 的 聚 合 在 线 平 台 和 社 区 14

15 大 数 据 的 商 业 价 值 : 欧 盟 公 共 部 门 管 理 欧 盟 公 共 部 门 正 面 临 一 个 重 大 的 性 能 挑 战 2007 年,EU-15 的 政 府 预 算 是 其 GDP 的 18.4%, 而 再 2035 年, 将 达 到 21.8%, 这 是 一 笔 相 当 巨 大 的 支 出 大 数 据 的 商 业 价 值 : 公 共 部 门 管 理 零 售 业 是 美 国 经 济 的 一 个 重 要 部 分, 但 在 盈 利 上 面 临 着 巨 大 的 压 力 大 数 据 的 商 业 价 值 : 公 共 部 门 管 理 公 共 部 门 管 理 中 大 数 据 会 带 来 的 潜 在 利 益 为 了 有 效 利 用 大 数 据, 公 共 部 门 的 领 导 需 要 解 决 一 系 列 问 题 大 数 据 的 商 业 价 值 : 零 售 行 业 信 息 技 术 发 展 为 零 售 业 创 造 价 值 提 供 了 重 要 的 新 机 会 较 为 成 熟 的 16 项 零 售 业 的 大 数 据 应 用 : 市 场 定 点 营 销 店 内 行 为 分 析 客 户 微 细 分 情 感 分 析 增 强 多 通 道 用 户 体 验 促 销 组 合 优 化 价 格 优 化 布 置 和 设 计 优 化 运 营 绩 效 公 开 劳 动 力 投 入 优 化 供 应 链 存 货 管 理 分 销 和 物 流 优 化 供 应 商 谈 判 信 息 化 新 商 业 模 型 价 格 比 较 服 务 网 络 市 场 15

16 大 数 据 的 商 业 价 值 : 零 售 行 业 大 数 据 对 零 售 行 业 中 的 每 一 个 组 成 部 分, 以 及 不 同 类 型 的 零 售 行 业 都 有 不 同 程 度 的 影 响 行 业 和 政 策 制 定 者 需 要 克 服 障 碍, 全 面 打 开 大 数 据 的 机 会 大 数 据 的 商 业 价 值 : 制 造 行 业 制 造 业 在 历 史 上 一 直 是 生 产 力 的 领 导 者, 大 数 据 可 以 帮 助 提 高 收 益 : 研 发 和 产 品 设 计 产 品 生 命 周 期 管 理 价 值 设 计 开 放 式 创 新 供 应 链 产 品 数 字 化 工 厂 数 据 驱 动 分 析 市 场 和 销 售 / 售 后 服 务 大 数 据 的 商 业 价 值 : 制 造 行 业 大 数 据 将 对 传 统 制 造 业 产 生 巨 大 冲 击 大 数 据 的 商 业 价 值 : 通 讯 行 业 全 球 的 个 人 定 位 信 息 每 年 超 过 1PB 16

17 大 数 据 的 商 业 价 值 : 通 讯 行 业 新 兴 市 场 中 有 大 量 的 手 机 用 户, 同 时 更 先 进 的 手 机 将 会 进 一 步 促 进 用 户 数 量 的 增 长 大 数 据 的 商 业 价 值 : 通 讯 行 业 定 位 数 据 产 生 巨 大 价 值, 并 在 不 断 增 长 预 计 在 2020 年, 定 位 数 据 将 为 运 营 商 创 造 亿 财 富, 而 为 客 户 创 造 亿 财 富 大 数 据 的 商 业 价 值 : 通 讯 行 业 美 国 运 营 商 Sprint 公 司 技 术 发 展 和 战 略 主 管 Von McConnell 称, 我 们 没 有 运 用 数 据 的 能 力 一 直 以 来, 电 信 运 营 商 做 得 最 多 的 是 卖 手 机, 卖 时 段, 卖 流 量 我 们 没 有 数 据 方 面 的 科 学 家 未 来 我 们 应 该 朝 着 数 据 科 学 的 方 向 努 力 可 以 盈 利 的 手 段 : 定 位 数 据, 分 析 用 户 消 费 习 惯, 投 放 精 准 广 告 ; 一 手 数 据 分 析, 优 化 自 身 网 络 ; 预 测 用 户 离 网 率 ; 对 于 一 些 习 惯 固 定 的 消 费 者, 可 以 通 过 数 据 分 析 提 前 5 天 获 知 他 们 的 去 向, 并 据 此 开 展 营 销 行 为 图 像 视 频 大 数 据 如 今, 图 像, 视 频 文 件 占 所 有 非 结 构 化 视 频 的 80% 以 上 随 着 大 数 据 中 非 结 构 化 数 据 的 飞 速 增 长, 图 像 视 频 数 据 处 理 的 速 度 必 须 要 和 当 今 处 理 文 字 和 数 字 一 样 迅 速 才 能 满 足 用 户 需 求 将 来 图 像 视 频 大 数 据 将 主 要 集 中 在 几 个 方 向 : 监 控 视 频 社 交 网 络 高 光 谱 图 像 医 学 影 像 17

18 监 控 视 频 数 据 近 年 来, 越 来 越 多 的 场 合 安 装 了 监 控 摄 像 例 如 电 梯,ATM 机, 商 场, 马 路 在 如 此 海 量 视 频 中 进 行 信 息 检 索 是 一 件 非 常 困 难 的 工 作 监 控 视 频 数 据 在 纽 约, 北 京, 伦 敦 这 样 的 大 都 市, 超 过 100 万 个 监 控 摄 像 头 被 安 置 在 各 个 地 方 监 控 视 频 数 据 100 万 个 监 控 摄 像 头 以 高 清 720P 的 4Mbps 码 流 来 计 算,100 万 个 监 控 摄 像 头 每 秒 约 产 生 500GB, 每 天 产 生 约 43PB(4 千 3 百 万 亿 字 节 ) 大 小 的 视 频 以 一 台 主 频 为 2.0GHz 的 电 脑 为 例, 如 果 不 考 虑 内 存, 光 读 取 一 次 43PB 的 数 据, 不 做 任 何 处 理, 就 需 要 耗 费 20 年 澳 門 赌 场 监 控 视 频 一 个 赌 场 内 的 监 控 系 统 要 花 费 几 亿 元 赌 场 内 近 万 个 监 控 摄 像 头 被 安 置 在 各 个 地 方 18

19 监 控 视 频 数 据 视 频 监 控 大 数 据 在 技 术 层 面 有 众 多 挑 战, 其 中 最 重 要 的 两 个 问 题 是 : 如 何 高 效 传 输 和 存 储 海 量 视 频 数 据 ; 如 何 智 能 分 析 和 提 取 视 频 中 有 意 义 的 信 息 监 控 视 频 数 据 1. 为 了 降 低 海 量 监 控 视 频 数 据 存 储 和 传 输 的 成 本, 视 频 压 缩 技 术 急 需 提 升 目 前 最 新 的 第 三 代 视 频 压 缩 技 术 可 以 将 视 频 压 缩 至 原 始 视 频 大 小 的 1/300 左 右, 是 2003 年 第 二 代 技 术 效 率 的 2 倍, 以 及 1993 年 第 一 代 技 术 效 率 的 4 倍 --- 平 均 10 年 翻 一 番 监 控 视 频 的 数 量 增 长 速 度 : 平 均 2 年 翻 一 番 视 频 压 缩 技 术 10 年 效 率 翻 一 番 的 速 度 远 落 后 于 监 控 视 频 的 增 长 2 年 翻 一 番 的 速 度 2. 智 能 分 析 和 提 取 视 频 中 有 意 义 的 信 息 使 用 监 控 视 频 模 式 的 转 变 : 监 控 视 频 大 数 据 成 功 案 例 周 克 华 案 件 传 统 模 式 : 少 数 摄 像 头 连 接 到 保 安 室, 室 内 人 员 用 肉 眼 观 看 ; 随 着 摄 像 头 数 量 的 急 剧 膨 胀, 摄 像 头 画 面 在 云 端 被 处 理 和 分 析 在 终 端 可 检 索 海 量 监 控 视 频 中 的 信 息 19

20 监 控 视 频 大 数 据 成 功 案 例 周 克 华 案 件 生 物 特 征 识 别 : 行 为 特 征 和 本 质 特 征 在 周 克 华 案 件 中, 长 沙 市 1000 名 视 频 侦 查 民 警 在 2 个 月 内 观 看 了 将 近 300 万 亿 字 符 的 监 控 视 频, 相 当 于 83 万 部 电 影, 一 个 人 要 看 140 年 才 能 看 得 完 2009 年 12 月, 周 克 华 在 长 沙 再 次 犯 案, 监 控 完 整 地 拍 下 了 犯 案 过 程 民 警 通 过 反 复 观 看 这 段 视 频, 找 出 了 周 克 华 的 几 个 行 为 特 征 : 走 路 爱 耸 肩 外 八 字 步 爱 回 头 瞟 侦 查 大 队 在 2010 年 10 月 某 天 的 一 段 视 频 中 发 现 一 名 行 为 特 征 疑 似 周 克 华 的 中 年 男 子 在 长 沙 河 西 阜 埠 河 路 天 马 学 生 公 寓 附 近 买 过 早 餐 2011 年 3 月 份, 民 警 通 过 这 段 视 频 进 行 追 踪, 发 现 周 克 华 进 入 一 家 附 近 的 网 吧 上 网 随 后, 民 警 通 过 网 吧 电 脑 的 摄 像 头 第 一 次 截 取 了 周 克 华 的 清 晰 正 面 照 ( 本 质 特 征 ), 此 后 通 缉 令 上 详 细 地 描 绘 了 周 克 华 的 细 节 特 征, 分 散 发 布 在 全 国 各 地 生 物 特 征 识 别 : 行 为 特 征 和 本 质 特 征 行 为 特 征 本 质 特 征 人 脸 识 别 基 于 人 脸 特 征 点 的 识 别 算 法 (Featurebased recognition algorithms) 基 于 整 幅 人 脸 图 像 的 识 别 算 法 (Appearance based recognition algorithms) 基 于 模 板 的 识 别 算 法 (Template based recognition algorithms) 利 用 神 经 网 络 进 行 识 别 的 算 法 (Recognition algorithms using neural network) 20

21 人 脸 识 别 Learning? A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E Tom Mitchell 82 How was it Learning? Describe Scene Challenges Describe Scene Describe Scene Debdoot Great Wall tower Kim Jung Wang Recognize humans Recognize inanimate Detect humans Great Wall logo Man 1 Man 2Man 3Man 4 Objectify Debdoot, Kim, Jung and Wang are standing near the Great Wall logo and the Great Wall tower is behind Salient Segments them. 83 Recognize humans Objectify Detect humans Recognize inanimate Salient Segments Recognize humans Recognize inanimate Detect humans Objectify Salient Segments 84 21

22 Challenges Describe Scene MLP Learning troubles, why so? Chroma clusterin g Posture realign LBP Wavelets HoG Silhouette matching Body part recognitio n Recognize human Human appearanc e Recognize humans Detect humans Recognize inanimate Objectify Salient Segments 85 P T 1 T 2 LBP Wavelets HoG Body part recogniti on Human appearanc e MLP Learning troubles, why so? Neural network Back propagation Deep belief net Science Speech P T 1 T 2 Chroma clustering Posture realign Silhouette matching Recognize human deep learning results Unsupervised Loose tie with biological & Layer wised systems pre training SVM Rank Name Better Shallow designs model Error for modeling Description and training Boosting Solve general learning problems (normalization, Specific methods rate nonlinearity, for specific tasks dropout) Decision tree But it is given up Tied with biological system 1 U. Toronto Feature Hand learning crafted features Deep (GMM HMM, learning SIFT, LBP, HOG) KNN 2 U. Tokyo New Hard development to train of Hand crafted computer architectures Insufficient computational resources 3 U. Oxford GPU features and Small Multi core training computer sets learning systems models. 4 Xerox/INRIA Does not work well Large scale databases Bottleneck. How Many Object Computers recognition to over Identify 1,000,000 a Cat? images and CPU 1,000 cores categories Kruger et al. TPAMI 13 (2 GPU) 22

23 Facebook Baidu IDL Google DNNresearch Deep Mind Microsoft DNN Adam project Deep Learning, where Stories In 2011, Stanford computer science professor Andrew Ng founded Google s Google Brain project, which created a neural network trained with deep learning algorithms, which famously proved capable of recognizing high level concepts, such as cats, after watching just YouTube videos and without ever having been told what a "cat" is Last year, Facebook named computer scientist Yann LeCun as its new director of AI Research, using deep learning expertise to help create solutions that will better identify faces and objects in the 350 million photos and videos uploaded to Facebook each day Another example of deep learning in action is voice recognition like Google Now and Apple s Siri. Much of this work owes a debt to Dahl, whose 2012 paper "Contextdependent pre trained deep neural networks for largevocabulary speech recognition" represented a breakthrough in deep learning speech recognition 深 度 模 型 用 于 解 决 流 行 疾 病 的 预 防 与 控 制 问 题 Boltzmann Machine Undirected graphical model, with hidden nodes. fm( xm; m ) E( x; ) ( m e P x; ) E( x; f ( ; ) e ) m x x m m m x f ( x; ), Z( ) E(x; ) { w, } : ij i wij xi x j i j i x i i Boltzmann machine: E(x,h)=b' x+c' h+h' Wx+x Ux+h Vh 92 23

24 Graph Model: Probability Definition Restricted Boltzmann Machine (RBM) Boltzmann machine: E(x,h)=b' x+c' h+h' Wx+x Ux+h Vh Energy function Probability Objective function Undirected, loopy, layer E ( x, h ) e P ( x, h ) E ( x, h ) e P E(x,h)=b' x+c' h+h' Wx P ( h x) P ( x h) x, h h ( x) E( x, h) x, h i j e e E( x, h) P ( h x) i P ( x j h) partition function Read the manuscript for details h h 1 h 2 h 3 h 4 x 1 x 2 W x 3 h 5 x P(x j = 1 h) = σ(b j +W j h) P(h i = 1 x) = σ(c i +W i x) Restricted Boltzmann Machine (RBM) RBM for classification P( x; ) h x, h e e ( b' xc' hh' Wx) ( b' xc' hh' Wx) f ( x; ) Z( ) y: classification label E(x,h)=b'x+c' h+h' Wx x = [x 1 x 2 ] T,h = [h 1 h 2 ] T Parameter learning Maximum Log Likelihood max K k 1 P (x ( k ; ) min ) L ( X ; ) min log Geoffrey E. Hinton, Training Products of Experts by Minimizing Contrastive Divergence. Neural Computation 14, (2002) 95 K k 1 P (x ( k ; ) ) 96 Hugo Larochelle and Yoshua Bengio, Classification using Discriminative Restricted Boltzmann Machines, ICML

25 RBM itself has many applications Multiclass classification Collaborative filtering Motion capture modeling Information retrieval Modeling natural images Segmentation Y Li, D Tarlow, R Zemel, Exploring compositional high order pattern potentials for structured output learning, CVPR 2013 V. Mnih, H Larochelle, GE Hinton, Conditional Restricted Boltzmann Machines for Structured Output Prediction, Uncertainty in Artificial Intelligence, Larochelle, H., & Bengio, Y. (2008). Classification using discriminative restricted boltzmann machines. ICML, Salakhutdinov, R., Mnih, A., & Hinton, G. E. (2007). Restricted Boltzmann machines for collaborative filtering. ICML Salakhutdinov, R., & Hinton, G. E. (2009). Replicated softmax: an undirected topic model., NIPS Osindero, S., & Hinton, G. E. (2008). Modeling image patches with a directed hierarchy of markov random field., NIPS Why Deep Learning Good? From different points of view, there are several reasons for the good performance of deep learning Deep learning mimics the mechanism of human brain: distributed and hierarchical representation Deep architectures lead to super non linear model for complex problems After efficient learning, the solution space is extended as the number of parameters is large It learns key knowledge from large scale datasets Science fiction or reality Synthetic facial expression Susskind, Joshua M., et al. "Generating facial expressions with deep belief nets." Affective Computing, Emotion Modelling, Synthesis and Recognition (2008): Machine that can dream References and Publications 1. C. L. Philip Chen and C. Y. Zhang, Data Intensive Applications, Challenges, Techniques and Technologies: A Survey on Big Data, Information Sciences, Volume 275, pp , August C. L. Philip Chen, C. Y. Zhang, L. Chen and M. Gan, Fuzzy Restricted Boltzmann Machine to Enhance Deep Learning, IEEE Transactions on Fuzzy Systems, to appear, C. Y. Zhang, C. L. Philip Chen, M. Gan and L. Chen, Predictive Deep Boltzmann Machine for Multi Period Wind Speed Forecasting, IEEE Transactions on Sustainable Energy, accepted with minor revision, C. Y. Zhang and C. L. Philip Chen, An Automatic Setting for Training Restricted Boltzmann Machine, IEEE International Conference on Systems, Man, and Cybernetics (SMC2014), San Diego, CA, USA, October 5 8,

26 高 光 谱 图 像 和 可 见 光 一 样, 不 同 物 质 将 对 不 同 频 率 的 波 进 行 不 同 程 度 的 吸 收 和 反 射 高 光 谱 图 像 由 传 感 器 采 集 从 物 体 反 射 出 的 不 同 频 率 的 波 段 组 合 而 成 高 光 谱 图 像 是 一 个 三 维 图 像, x-y 平 面 是 空 间 信 息,z 轴 上 是 频 谱 信 息 存 储 全 球 地 表 的 高 光 谱 图 像 约 需 要 3.8PB( 千 万 亿 字 节 ), 并 且 这 个 数 字 随 着 传 感 器 分 辨 率 的 提 升 而 提 升 3 高 光 谱 图 像 取 值 范 围 : 0~255 取 值 范 围 : 0~ n 普 通 RGB 图 像 高 光 谱 图 像 Introduction to HSI A typical HSI, University of Pavia scene image Introduction to HSI HSI contains both the image and spectral information High spatial and spectral resolution Applications: Geology: geographic mapping Agriculture: monitoring the development and health of crops Mineralogy: identifying minerals, gold and diamonds, oil Surveillance: aerial object detection, location and analysis Environment: monitoring of emissions 26

27 Introduction to HSI classification Each pixel of an HSI is a sample. (pixel, sample, spectral curve) HSI classification principle: Different materials have different reflections at certain spectral bands Similar samples have similar spectral curves. Traditional classifiers identify and classify the materials based on spectral curves (spectral similarity) Introduction to HSI classification Difficulties: High dimensionality and small samples (Hughes phenomenon) large number of spectral bands, >100 few training samples available, i.e., 5 samples in each class The quality of data noise, interference, nonlinear spectral response Using additional spatial neighboring pixels as supplementary to improve the spectral classification performance (jointly spatialspectral classification) Our motivations FLNN/ELM is fast without parameter tuning, which benefits high dimensional Hyperspectral data processing. FLNN/ELM is simple and much effective, can achieve similar or better performance than SVM, and can directly perform multi-class classification. The good performance of FLNN/ELM is likely to produce a desirable FLNN/ELM-based spatial-spectral classifier. FLNN/ELM kernel General ELM: Kernel ELM (KELM):,, In this case, K is a kernel function, i.e., Gaussian kernel. h doesn t need 27

28 Similar work in Kernels Similar work in Kernels A Multiple-Kernel Fuzzy C-means Algorithm for Image Segmentation, by L. Chen, C. L. Philip Chen, and M. Lu, IEEE Trans. on Systems, Man, and Cybernetics, Part B, Vol. 41, No. 5, 2011, pp A Multiple-Feature and Multiple-Kernel Scene Segmentation Algorithm for Humanoid Robot, by Z. Liu, S. Xu, Y. Zhang, and C. L. Philip Chen, IEEE Trans. On Cybernetics, DOI: /TSMC , Vol. 44, Issue 11, pp , Nov, Yicong Zhou, Jiangtao Peng, and C. L. Philip Chen, "Extreme Learning Machine with Composite Kernels for Hyperspectral Image Classification", IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing (JSTARS), to appear, Jiantao Peng, Yicong Zhou, and C. L. Philip Chen, Region Kernel Based Support Vector Machines for Hyperspectral Image Classification,, IEEE Trans. on Geoscience and Remote Sensing, DOI: /TGRS , to appear, Y. Zhou, J. Peng, and C. L. Philip Chen, Dimension Reduction Using Spatial and Spectral Regularized Local Discriminant Embedding for Hyperspectral Image Classification, IEEE Trans. on Geoscience and Remote Sensing, DOI: /TGRS , Vol. 53, Issue 2, pp , Feb, Experiment Data sets Y. Zhou, J. Peng, and C. L. Philip Chen, Dimension Reduction Using Spatial and Spectral Regularized Local Discriminant Embedding for Hyperspectral Image Classification, IEEE Trans. on Geoscience and Remote Sensing, Vol. 53, Issue 2, pp , Feb, Indian Pines: 145x145 pixels x 200 bands, 16 classes, samples University of Pavia: 610x340x103, 9 classes, samples Salinas: 512x217x204, 16 classes, samples Indian Pines data set: RGB composite image of three bands and Ground truth map 28

29 Experiment Competing methods Support vector machine (SVM) Extreme learning machine (ELM) Kernel extreme learning machine (KELM) SVM with composite kernel (SVM CK) ELM with composite kernel (ELM CK) Kernel ELM with composite kernel (KELM CK) Three folds cross validation Y. Zhou, J. Peng, and C. L. Philip Chen, Dimension Reduction Using Spatial and Spectral Regularized Local Discriminant Embedding for Hyperspectral Image Classification, IEEE Trans. on Geoscience and Remote Sensing, Vol. 53, Issue 2, pp , Feb, Experiment Investigation on the effect of spatial neighborhood window size Overall Accuracy (%) SVM-CK 72 ELM-CK KELM-CK Neighborhood window width Indian Pines: window 9x9 is the best. Consistent better results of KELM CK Experiment Investigation on the effect of composite kernel parameter KELM-CK 0.95 Experiment Investigation on the computation cost SVMCK ELMCK KELMCK Searching time (s) Labeled samples per class 29

30 Experiment Investigation on the number of training samples per class Experiment Classification accuracies (%) with 5% labeled samples per class Overall accuracies (%) SVM 55 ELM KELM 50 SVMCK 45 ELMCK KELMCK Labeled samples per class Experiment Classificationmaps SVM ELM KELM Spatial-spectral classifiers largely improve the spectral classifiers by using additional spatial neighborhood information. The proposed ELM-CK and KELM-CK show similar performance and outperform other classifiers consistently. SVM-CK ELM-CK KELM-CK ELM is more powerful to exploit the rich spatial information when investigating ELM vs. SVM and ELM-CK vs. SVM-CK. ELM-CK and KELM-CK are more stable than SVM-CK in the case of small-sized-sample. more spatially coherent in the large homogeneous regions consistent classification results with little salt & pepper noise 30

31 在 农 业, 矿 业, 军 事, 天 文 学, 地 质 学 中 有 广 泛 应 用 在 军 事 中 应 用 例 子 An airfild in Herat before strikes by B-52 An airfild in Herat after strikes by B-52 and B-1 bombers and B-1 bombers - South China Morning Post, Otc South China Morning Post, Otc

32 The Garmabak Ghar terrorist training The Garmabak Ghar terrorist training camps before it was attacked camps have been hit - South China Morning Post, Otc South China Morning Post, Otc 高 光 谱 图 像 人 脸 识 别 高 光 谱 图 像 在 考 古 工 作 中 应 用 高 光 谱 图 像 不 仅 仅 用 于 地 表, 也 可 以 用 于 任 何 物 体 例 如 高 光 谱 人 脸 对 不 同 波 段 的 人 脸 图 像 进 行 分 析 不 仅 仅 可 以 识 别 一 个 人, 甚 至 可 以 识 别 他 所 用 的 洗 发 水, 化 妆 品, 香 水, 衣 服 的 材 质, 等 等 同 样 一 张 人 脸 图 像, 高 光 谱 图 像 要 比 RGB 图 像 大 几 十 倍, 甚 至 是 百 倍 在 成 功 研 发 出 能 够 迅 速 捕 捉 人 脸 高 光 谱 图 像 的 传 感 器, 并 且 建 立 高 光 谱 人 脸 数 据 库 之 后, 人 脸 识 别 将 迎 来 新 的 高 度 对 不 同 波 段 的 古 文 物 图 像 进 行 分 析 可 以 识 别 文 物 的 材 料 质 地, 文 物 的 年 代, 等 等

33 医 学 影 像 数 据 到 2015 年, 平 均 每 一 家 医 院 将 会 有 665TB( 万 亿 字 节 ) 的 病 患 数 据, 其 中 超 过 半 数 是 非 结 构 化 的 图 像 数 据, 例 如 CT, 核 磁 共 振 和 X 光 片, 其 数 量 将 超 过 7000 万 张 医 学 影 像 每 年 将 增 长 20%-40%, 约 每 3 年 翻 一 番, 是 医 学 数 据 迅 速 增 长 的 主 要 原 因 处 理 医 学 影 像 数 据 的 主 要 难 点 在 于 : 数 据 量 大 且 复 杂 度 高 ; 特 征 难 以 提 取 医 学 影 像 数 据 随 着 大 数 据 时 代 的 到 来, 大 量 有 诊 断 标 记 的 医 学 影 像 可 被 用 来 训 练, 从 而 发 现 一 些 隐 晦 的 特 征, 来 提 高 分 类 或 识 别 的 精 度 但 是 与 此 同 时, 如 何 克 服 大 数 据 所 带 来 的 冗 余 信 息, 噪 声 与 无 关 信 息, 是 将 来 必 须 要 解 决 的 问 题 在 不 久 的 未 来, 当 多 媒 体 大 数 据 被 充 分 利 用 的 同 时, 如 何 保 证 信 息 安 全? 如 果 任 何 人 都 能 调 用 云 端 的 监 控 视 频, 监 控 是 否 在 某 种 程 度 上 失 去 了 意 义? 个 人 隐 私 在 大 数 据 环 境 中 是 否 会 被 泄 露? 大 数 据 在 云 端 是 否 需 要 被 加 密? 如 何 对 被 加 密 的 多 媒 体 大 数 据 进 行 分 析 与 检 索? 参 考 资 料 多 媒 体 大 数 据 的 安 全 U.S. Census Bureau World POPClock Projection. July 2012 July 2013 Population seven billion: UN sets out challenges. BBC. October 26, /22/content_ htm 大 数 据 时 代,[ 英 ] 维 克 托 迈 尔 舍 恩 伯 格, T. Huang, "Surveillance Video: The Biggest Big Data," Computing Now, vol. 7, no. 2, Feb. 2014, IEEE Computer Society / data social research exciting times ahead minuteinfographic.html /stock vector technology planet vectorillustration.html?src=xx6fqg94pm9qtltt5nw8qg South China Morning Post, Otc T/techwatch/Pages/default.aspx 33

34 参 考 资 料 likers want/ alarm services ltd bridlington / de instagram con mejor desempeno ymejor limpieza de diseno/ 大 数 据 的 应 用, 张 冬 青 social media into bottom line profit/ imaging/ amends data breach notificationlaw states follow/ billionanimation&catid=1 34