微 软 大 数 据 解 决 方 案 Solution Brief
Contents 介 绍...... 2 微 软 大 数 据 解 决 方 案......... 3 主 要 优 势... 3 身 临 其 境 的 洞 察 力, 无 论 您 身 在 何 处... 3 连 接 世 界 的 数 据......... 3 任 何 数 据, 任 何 规 模, 任 何 地 点... 4 更 多 信 息........... 4
客 户 面 临 的 主 要 挑 战 理 解 信 息 爆 炸 的 意 义 : 企 业 需 要 合 适 的 工 具 来 理 解 由 硬 件 成 本 的 下 降 和 复 杂 的 数 据 源 所 产 生 的 压 倒 性 数 据 量 当 中 所 包 含 的 意 义 了 解 不 断 增 长 的 各 类 数 据 : 企 业 需 要 同 时 对 关 系 型 和 非 关 系 型 的 数 据 进 行 分 析 在 已 捕 获 的 数 据 中 超 过 85% 是 非 结 构 化 的 实 现 实 时 的 数 据 分 析 : 新 的 数 据 源 如 Twitter Facebook 和 LinkedIn 这 类 社 会 媒 体 网 站 正 在 不 断 地 产 生 空 前 数 量 的 实 时 数 据, 简 单 的 批 处 理 并 不 能 对 这 些 数 据 有 效 地 进 行 分 析 实 现 简 化 的 部 署 和 管 理 : 企 业 需 要 精 简 的 部 署 和 安 装 经 验, 以 简 化 Apache Hadoop 的 复 杂 性 理 想 情 况 下, 他 们 期 望 Hadoop 相 关 项 目 所 需 的 文 件 包 中 具 有 较 少 的 安 装 文 件, 而 不 是 让 他 们 自 己 来 选 择 介 绍 今 天, 企 业 正 想 方 设 法 从 他 们 捕 获 的 空 前 数 量 的 数 据 中 获 取 业 务 洞 察 力 这 其 中 包 括 大 量 的 非 结 构 化 数 据, 如 文 件 图 像 视 频 博 客 点 击 流 和 地 理 空 间 数 据 对 于 组 织 来 说, 主 要 的 挑 战 是 要 学 习 在 不 用 承 担 构 建 复 杂 的 分 布 式 存 储 和 计 算 集 群 的 情 况 下, 如 何 有 效 地 同 时 处 理 结 构 化 和 非 结 构 化 数 据 企 业 正 在 寻 找 一 种 有 效 的 方 式 将 内 部 和 外 部 的 数 据 及 服 务 结 合 起 来 他 们 想 从 社 交 媒 体 网 站 如 Twitter Facebook LinkedIn 中 挖 掘 数 据 他 们 还 想 基 于 他 们 所 捕 获 的 数 据 更 及 时 地 作 出 决 策 为 了 实 现 这 个 目 标, 企 业 需 要 实 时 地 分 析 他 们 的 数 据, 而 不 是 简 单 地 依 靠 批 处 理 新 的 技 术, 如 Hadoop, 带 来 了 可 以 廉 价 地 为 客 户 提 供 存 储 和 分 析 PB 级 非 结 构 化 数 据 的 机 会 此 外, 企 业 可 以 连 接 来 自 数 百 个 受 信 任 的 数 据 提 供 者 的 数 据, 包 括 人 口 统 计 数 据 环 境 数 据 财 务 数 据 零 售 和 体 育 运 动 数 据 以 及 社 交 媒 体 数 据, 通 过 自 助 服 务 工 具, 如 微 软 PowerPivot, 将 其 与 他 们 的 个 人 资 料 相 结 合 今 天, 许 多 供 应 商 都 在 提 供 Hadoop 部 署, 但 他 们 中 的 大 部 分 都 是 集 中 式 IT 管 理 范 围 以 外 的 有 限 运 营, 尚 未 适 合 企 业 使 用 在 大 数 据 流 行 之 前, 微 软 早 已 进 行 着 与 其 相 关 的 应 用 例 如, 微 软 Bing 分 析 超 过 100PB 的 数 据, 以 交 付 高 质 量 的 搜 索 结 果 通 过 大 家 熟 悉 的 工 具, 如 微 软 Office 和 SharePoint, 企 业 可 以 利 用 微 软 大 数 据 从 范 围 广 泛 而 多 样 的 数 据 中 释 放 出 可 操 作 的 洞 察 力 它 将 简 化 的 Windows 与 强 大 而 且 可 靠 的 Hortonworks Data Platform (HDP) 相 结 合, 以 能 够 从 他 们 所 有 的 数 据 中 提 供 新 的 洞 察 力 它 还 使 客 户 能 够 通 过 连 接 世 界 的 数 据 和 服 务 来 发 现 新 的 价 值 2
微 软 大 数 据 解 决 方 案 微 软 的 愿 景 是 让 所 有 用 户 能 够 获 取 来 自 任 何 数 据 中 的 可 行 洞 察 力, 包 括 隐 藏 于 非 结 构 化 数 据 中 的 潜 在 洞 察 力 为 了 实 现 这 一 目 标, 微 软 制 定 了 全 面 性 的 大 数 据 战 略, 可 以 提 供 : 现 代 化 的 数 据 管 理 层, 支 持 所 有 的 数 据 类 型 结 构 化 半 结 构 化 和 非 结 构 化 的 静 态 或 动 态 数 据 富 集 层, 通 过 探 索 及 结 合 世 界 的 数 据 并 加 以 先 进 的 分 析 与 精 炼 来 提 高 你 的 数 据 的 价 值 洞 悉 层, 通 过 大 家 熟 悉 的 工 具, 如 微 软 Office, 来 为 所 有 用 户 提 供 洞 察 力 主 要 优 势 身 临 其 境 的 洞 察 力, 无 论 你 身 在 何 处, 都 可 以 通 过 熟 悉 的 Office 和 商 业 智 能 (BI) 工 具 来 从 任 何 数 据 中 获 取 连 接 世 界 的 数 据, 通 过 将 内 部 与 公 开 的 数 据 及 服 务 包 括 社 交 媒 体 网 站 相 结 合, 来 揭 露 隐 藏 在 背 后 的 模 式 任 何 数 据, 任 何 规 模, 任 何 地 方, 通 过 一 个 由 简 化 的 Windows 和 SQL Server 以 及 灵 活 且 可 伸 缩 的 云 所 构 建 而 成 的 支 持 任 何 数 据 的 现 代 化 数 据 管 理 平 台 身 临 其 境 的 洞 察 力, 无 论 你 身 在 何 处 微 软 大 数 据 解 决 方 案, 通 过 使 用 熟 悉 的 Office 和 BI 工 具 来 从 所 有 类 型 的 数 据 中 揭 露 洞 察 力 具 体 而 言, 微 软 的 解 决 方 案 将 使 客 户 能 够 : 使 用 熟 悉 的 工 具 来 分 析 Hadoop 数 据 : 微 软 可 以 让 分 析 师 与 商 业 用 户 进 行 互 动, 并 通 过 大 家 非 常 熟 悉 的 由 Hive add-in for Excel 生 成 的 Excel 界 面, 从 Hadoop 功 能 中 获 取 有 价 值 的 洞 察 力 从 任 何 数 据 中 获 取 身 临 其 境 的 洞 察 力 : 企 业 可 以 使 用 熟 悉 的 BI 工 具, 如 SQL Server Analysis Services(SSAS) PowerPivot 以 及 通 过 Hive Open Database Connectivity (ODBC) 驱 动 生 成 的 Power View 来 分 析 Hadoop 中 的 非 结 构 化 数 据 企 业 还 可 以 使 用 SQL Server 2012 中 的 PowerPivot 和 Power View 功 能 在 关 系 型 数 据 中 实 现 自 助 式 BI 为 了 促 进 企 业 采 用 其 大 数 据 解 决 方 案, 微 软 将 在 微 软 Windows Azure 平 台 上 提 供 基 于 云 服 务 的 Hadoop, 同 时 在 微 软 Windows Server 上 提 供 可 在 企 业 内 部 部 署 的 发 行 版 本 HDInsight 是 微 软 新 的 基 于 Hadoop 的 服 务, 构 建 于 Hortonworks Data Platform(HDP) 之 上, 提 供 100% 的 与 Apache Hadoop 的 兼 容 性 Windows Azure 的 HDInsight 服 务 运 行 于 云 中, 而 微 软 HDInsight Server 运 行 于 Windows Server 之 上 HDInsight 将 使 客 户 可 以 从 几 乎 任 何 规 模 的 结 构 化 和 非 结 构 化 数 据 中 获 得 业 务 洞 察 力, 并 触 发 新 的 数 据 类 型, 不 论 其 处 于 什 么 位 置 来 自 Hadoop 丰 富 的 洞 察 力 可 以 与 Business Intelligence(BI) 平 台 进 行 无 缝 地 结 合, 通 过 使 用 熟 悉 的 工 具, 如 Office 和 SharePoint, 使 客 户 能 够 利 用 公 开 的 数 据 和 服 务 来 丰 富 他 们 的 模 型 微 软 大 数 据 解 决 方 案 还 针 对 Hadoop 提 供 了 简 化 的 和 易 管 理 的 微 软 Windows, 通 过 System Center 可 以 实 现 简 易 部 署 和 集 成 通 过 Windows Azure HDInsight 服 务, 微 软 弹 性 地 提 供 了 其 在 云 中 的 大 数 据 解 决 方 案 通 过 简 化 编 程 来 挖 掘 洞 察 力, 通 过 集 成.NET 和 新 的 JavaScript 库, 微 软 简 化 了 Hadoop 中 的 编 程 开 发 者 可 以 在 JavaScript 中 使 用 新 的 JavaScript 库 来 轻 松 编 写 MapReduce 程 序, 然 后 通 过 一 个 简 单 的 浏 览 器 来 部 署 他 们 的 JavaScript 代 码 连 接 世 界 的 数 据 微 软 大 数 据 解 决 方 案, 通 过 将 数 据 和 模 型 与 公 开 的 数 据 和 服 务 包 括 社 交 媒 体 网 站, 如 Twitter Facebook 和 LinkedIn 相 结 合, 从 而 实 现 突 破 性 的 发 现 这 使 客 户 通 过 使 用 Windows Azure Marketplace 中 的 应 用 程 序 和 挖 掘 算 法, 来 发 现 隐 藏 的 模 式 3
发 现 合 适 的 数 据 : 微 软 大 数 据 解 决 方 案 提 供 了 独 特 的 工 具, 以 便 易 于 发 现 企 业 内 部 和 外 部 的 数 据 一 处 Azure 实 验 室, 代 号 为 Data Explorer, 使 客 户 能 够 通 过 自 动 化 的 建 议, 来 发 现 相 关 的 数 据 集 另 一 个 代 号 为 Data Hub 的 实 验 室, 使 企 业 能 够 创 建 一 个 私 有 数 据 市 场, 以 便 于 数 据 和 分 析 模 型 的 发 现 与 共 享 Azure Marketplace 的 DataMarket 可 以 实 现 防 火 墙 外 部 和 第 三 方 数 据 源 的 发 现 与 共 享 结 合 世 界 的 数 据 :Azure Marketplace 使 客 户 能 够 连 接 到 数 据 智 能 挖 掘 算 法 和 防 火 墙 外 面 的 人 Windows Azure Marketplace 提 供 了 数 百 个 来 自 受 信 任 的 第 三 方 供 应 商 数 据 集 精 炼 外 部 数 据 : 微 软 大 数 据 解 决 方 案, 使 客 户 能 够 通 过 使 用 企 业 信 息 化 管 理 工 具 将 他 们 的 原 始 数 据 转 换 成 可 靠 一 致 的 数 据 还 通 过 高 级 的 分 析 来 实 现 数 据 的 精 炼 : 微 软 通 过 SQL Server Analysis Services 提 供 了 现 成 的 数 据 挖 掘 算 法 微 软 大 数 据 解 决 方 案 还 支 持 常 用 的 第 三 方 工 具 和 框 架, 例 如 Mahout 最 后, 通 过 Hadoop 的 数 据 流, 它 支 持 以 C++, C#, Python, Ruby 和 Pearl 来 编 写 定 制 的 挖 掘 算 法 任 何 数 据, 任 何 规 模, 任 何 地 方 微 软 使 客 户 能 够 通 过 现 代 化 的 数 据 管 理 平 台, 无 缝 地 存 储 和 处 理 使 用 HDInsight 来 无 缝 地 扩 展 你 的 数 据 仓 库 :Hadoop connectors for SQL Server 和 Parallel Data Warehouse 应 用 可 以 令 Hadoop 与 Microsoft Enterprise Data Warehouses 和 BI 解 决 方 案 易 于 集 成 在 一 起 此 外, 你 还 可 以 使 用 HCatalog 将 Hadoop 与 你 的 关 系 型 数 据 仓 库 整 合 到 一 起 无 缝 伸 缩 和 具 弹 性 的 云 : 对 于 在 基 于 云 环 境 或 者 企 业 内 部 部 署 Hadoop, 微 软 提 供 了 两 种 选 项 在 微 软 的 云 平 台 中,Windows Azure HDInsight 是 一 种 基 于 云 的 服 务, 可 以 提 供 具 弹 性 的 千 兆 级 分 析 它 还 提 供 向 运 行 于 企 业 内 部 的 微 软 HDInsight 服 务 器 进 行 无 缝 迁 移 开 放 的 大 数 据 平 台 : 由 于 是 构 建 于 HDP 之 上,HDInsight 可 以 100% 地 兼 容 Apache Hadoop 微 软 已 经 向 Apache 提 交 了 提 案, 当 中 包 含 用 于 Hadoop 新 的 JavaScript 库 ( 由 微 软 开 发 ), 以 及 Hive ODBC Driver 更 多 信 息 要 了 解 微 软 大 数 据 解 决 方 案 的 更 多 信 息, 请 访 问 www.microsoft.com/bigdata 所 有 类 型 的 数 据, 包 括 结 构 化, 非 结 构 化 数 据 和 实 时 的 数 据 它 提 供 了 针 对 Hadoop 的 简 化 Windows 以 及 结 合 Hadoop 的 扩 展 数 据 仓 库, 并 且 为 大 数 据 提 供 了 灵 活 且 可 伸 缩 的 云 HDInsight 企 业 就 绪 的 Hadoop: 微 软 HDInsight 是 一 种 适 合 企 业 使 用 的 并 基 于 HDP 的 Hadoop 服 务, 它 提 供 了 最 可 靠 的 创 新 的 和 值 得 信 赖 的 发 行 版 本, 可 用 于 Windows Server 和 Windows Azure 平 台 与 Active Directory 集 成, 使 IT 部 门 能 够 使 用 基 于 企 业 的 安 全 策 略 来 保 护 他 们 Hadoop 集 群 的 安 全 与 Microsoft System Center 集 成, 使 IT 人 员 能 够 轻 松 地 管 理 他 们 的 Hadoop 集 群, 并 且 有 效 地 满 足 SLAs 将 Windows 的 简 易 性 和 可 管 理 性 带 给 Hadoop: 微 软 提 供 的 智 能 封 装, 可 使 你 的 Hadoop 集 群 实 现 简 单 和 直 接 的 安 装 通 过 在 Windows Azure 上 部 署 Hadoop 集 群, 可 加 快 云 中 的 系 统 环 境 部 署, 整 个 过 程 只 需 短 短 的 10 分 钟! 通 过 将 HDP 和 System Center 与 Apache Ambari 集 成 到 一 起, 简 化 了 Hadoop 集 群 的 配 置 监 控 和 管 理 Published October 19, 2012 4