刊首语

Transcription

1 入 门 专 刊 创 刊 号 2010 年 1 月 - 1 -

2 出 品 Hadoop 技 术 论 坛 总 编 辑 易 剑 ( 一 见 ) 副 总 编 辑 代 志 远 ( 国 宝 ) 王 磊 (beyi) 本 期 主 编 皮 冰 锋 ( 若 冰 ) 编 辑 皮 冰 锋 ( 若 冰 ) 易 剑 ( 一 见 ) 贺 湘 辉 ( 小 米 ) 王 磊 (beyi) 代 志 远 ( 国 宝 ) 柏 传 杰 ( 飞 鸿 雪 泥 ) 何 忠 育 (Spork) 秘 中 凯 陈 炬 美 工 / 封 面 设 计 易 剑 ( 一 见 ) 网 址 投 稿 信 箱 hadoopor@foxmail.com

3 刊 首 语 2010 年 1 月, Hadoop 开 发 者 沐 着 2010 年 的 第 一 缕 春 光 诞 生 了 正 是 有 了 Doug Cutting 这 样 的 大 师 级 开 源 者, 正 是 有 了 无 数 个 为 Hadoop 贡 献 力 量 的 开 源 者 们 的 共 同 努 力, 才 有 了 Hadoop 自 诞 生 时 的 倍 受 关 注 到 现 在 的 倍 受 瞩 目 Hadoop 从 单 一 应 用 发 展 到 目 前 的 Hadoop Ecosystem, 自 成 一 格 的 技 术 体 系, 叩 开 了 信 息 爆 炸 时 代 的 海 量 数 据 处 理 的 大 门, 开 辟 了 海 量 数 据 存 储 与 计 算 及 其 应 用 的 新 领 地, Hadoop 开 发 者 正 是 在 这 样 的 背 景 下 应 运 而 生 Hadoop 技 术 交 流 群 自 创 建 起, 短 短 的 几 个 月 时 间 里 就 形 成 了 2 个 超 级 大 群, Hadoop 技 术 体 系 深 蒙 面 向 各 行 各 业 应 用 的 开 发 者 们 的 厚 爱, 可 以 预 见 Hadoop 应 用 前 景 广 阔 但 时 下 稍 显 稚 嫩, 需 要 广 大 的 爱 好 者 共 同 尝 试 探 索, 发 掘 应 用 的 同 时 帮 助 改 进 Hadoop 开 发 者 是 Hadoop 交 流 群 的 几 位 志 愿 者 们 自 发 创 建 的, 希 望 它 的 出 现 能 为 您 的 学 习 和 探 索 铺 路, 同 时 也 期 盼 能 分 享 您 的 Hadoop 之 旅 在 分 享 中, hadoop 开 发 者 将 与 您 一 路 同 行, 共 同 进 步 分 享 自 由 开 放, Hadoop 开 发 者 将 秉 承 这 一 开 源 社 区 的 血 脉 和 传 统, 传 承 百 家 争 鸣, 在 思 想 交 流 和 技 术 的 切 磋 中 促 进 hadoop 社 区 的 发 展, 期 待 Hadoop 这 一 尚 待 开 垦 的 田 野 里 百 花 齐 放 最 后, 感 谢 Hadoop 开 发 者 编 辑 组 所 有 同 仁 们, 彼 此 素 未 蒙 面 的 爱 好 者 能 聚 到 一 起, 为 了 一 个 共 同 的 爱 好 策 划 这 本 杂 志, 这 本 身 就 是 Hadoop 魅 力 的 体 现 当 然, 也 要 感 谢 大 师 Doug Cutting 和 Hadoop 社 区 的 开 源 者 们, 因 为 有 了 您, 这 里 才 变 得 如 此 精 彩! Hadoop 开 发 者 编 辑 组

4 目 录 1 Hadoop 介 绍 2 Hadoop 在 国 内 应 用 情 况 3 Hadoop 源 代 码 eclipse 编 译 教 程 7 在 Windows 上 安 装 Hadoop 教 程 13 在 Linux 上 安 装 Hadoop 教 程 19 在 Windows 上 使 用 eclipse 编 写 Hadoop 应 用 程 序 24 在 Windows 中 使 用 Cygwin 安 装 HBase 28 Nutch 与 Hadoop 的 整 合 与 部 署 31 在 Windows eclipse 上 单 步 调 试 Hive 教 程 38 Hive 应 用 介 绍 42 Hive 执 行 计 划 解 析 50 MapReduce 中 的 Shuffle 和 Sort 分 析 53 海 量 数 据 存 储 和 计 算 平 台 的 调 试 器 研 究 56 探 讨 MapReduce 模 型 的 改 进 58 运 行 eclipse 编 译 出 的 Hadoop 框 架 59 表 关 联 在 MapReduce 上 的 实 现 63 Hadoop 计 算 平 台 和 Hadoop 数 据 仓 库 的 区 别

5 Hadoop 介 绍 Hadoop 是 Apache 下 的 一 个 项 目, 由 HDFS MapReduce HBase Hive 和 ZooKeeper 等 成 员 组 成 其 中,HDFS 和 MapReduce 是 两 个 最 基 础 最 重 要 的 成 员 HDFS 是 Google GFS 的 开 源 版 本, 一 个 高 度 容 错 的 分 布 式 文 件 系 统, 它 能 够 提 供 高 吞 吐 量 的 数 据 访 问, 适 合 存 储 海 量 (PB 级 ) 的 大 文 件 ( 通 常 超 过 64M), 其 原 理 如 下 图 所 示 : 采 用 Master/Slave 结 构 NameNode 维 护 集 群 内 的 元 数 据, 对 外 提 供 创 建 打 开 删 除 和 重 命 名 文 件 或 目 录 的 功 能 DatanNode 存 储 数 据, 并 提 负 责 处 理 数 据 的 读 写 请 求 DataNode 定 期 向 NameNode 上 报 心 跳,NameNode 通 过 响 应 心 跳 来 控 制 DataNode InfoWord 将 MapReduce 评 为 2009 年 十 大 新 兴 技 术 的 冠 军 MapReduce 是 大 规 模 数 据 (TB 级 ) 计 算 的 利 器,Map 和 Reduce 是 它 的 主 要 思 想, 来 源 于 函 数 式 编 程 语 言, 它 的 原 理 如 下 图 所 示 : Map 负 责 将 数 据 打 散,Reduce 负 责 对 数 据 进 行 聚 集, 用 户 只 需 要 实 现 map 和 reduce 两 个 接 口, 即 可 完 成 TB 级 数 据 的 计 算, 常 见 的 应 用 包 括 : 日 志 分 析 和 数 据 挖 掘 等 数 据 分 析 应 用 另 外, 还 可 用 于 科 学 数 据 计 算, 如 圆 周 率 PI 的 计 算 等 Hadoop MapReduce 的 实 现 也 采 用 了 Master/Slave 结 构 Master 叫 做 JobTracker, 而 Slave 叫 做 TaskTracker 用 户 提 交 的 计 算 叫 做 Job, 每 一 个 Job 会 被 划 分 成 若 干 个 Tasks JobTracker 负 责 Job 和 Tasks 的 调 度, 而 TaskTracker 负 责 执 行 Tasks 创 刊 号 2010 年 1 月 - 1 -

6 Hadoop 在 国 内 应 用 情 况 主 要 公 司 更 多 的 数 据 请 浏 览 : 地 域 分 布 下 面 的 数 据 由 Hadoop 技 术 论 坛 提 供, 数 据 的 绝 对 值 参 考 意 义 不 大, 主 要 是 看 各 城 市 间 的 相 对 数 据 北 京 深 圳 和 杭 州 位 列 前 三 甲, 分 析 主 要 原 因 是 : 北 京 有 淘 宝 和 百 度, 深 圳 有 腾 讯, 杭 州 有 网 易 等 互 联 网 公 司 是 Hadoop 在 国 内 的 主 要 使 用 力 量 淘 宝 是 在 国 内 最 先 使 用 Hadoop 的 公 司 之 一, 而 百 度 赞 助 了 HyperTable 的 开 发, 加 上 北 京 研 究 Hadoop 的 高 校 多, 所 以 北 京 是 Hadoop 方 面 研 究 和 应 用 需 求 最 高 的 城 市 位 于 北 京 的 中 科 院 研 究 所, 在 2009 年 度 还 举 办 过 几 次 Hadoop 技 术 大 会, 加 速 了 Hadoop 在 国 内 的 发 展 创 刊 号 2010 年 1 月 - 2 -

7 Hadoop 源 代 码 eclipse 编 译 教 程 作 者 : 一 见 1. 下 载 Hadoop 源 代 码 Hadoop 各 成 员 源 代 码 下 载 地 址 : 请 使 用 SVN 下 载, 在 SVN 浏 览 器 中 将 trunk 目 录 下 的 源 代 码 check-out 出 来 即 可 请 注 意 只 check-out 出 SVN 上 的 trunk 目 录 下 的 内 容, 如 : 而 不 是 原 因 是 目 录 下 包 括 了 很 多 非 源 代 码 文 件, 很 庞 大, 导 致 需 要 很 长 的 check-out 时 间 2. 准 备 编 译 环 境 2.1. Hadoop 代 码 版 本 本 教 程 所 采 用 的 Hadoop 是 北 京 时 间 日 上 午 下 载 的 源 代 码, 和 hadoop-0.19.x 版 本 的 差 异 可 能 较 大 2.2. 联 网 编 译 Hadoop 会 依 赖 很 多 第 三 方 库, 但 编 译 工 具 Ant 会 自 动 从 网 上 下 载 缺 少 的 库, 所 以 必 须 保 证 机 器 能 够 访 问 Internet 2.3. java 编 译 Hadoop 要 用 JDK1.6 以 上, 网 址 : 安 装 好 之 后, 请 设 置 好 JAVA_HOME 环 境 变 量 2.4. Ant 和 Cygwin 需 要 使 用 Ant 工 具 来 编 译 Hadoop, 而 Ant 需 要 使 用 到 Cygwin 提 供 的 一 些 工 具, 如 sed 等, 可 以 从 : 下 载 Ant, 从 下 载 Cygwin(Cygwin 的 安 装, 请 参 考 在 Windows 上 安 装 Hadoop 教 程 一 文 ) 安 装 好 之 后, 需 要 将 Ant 和 Cygwin 的 bin 目 录 加 入 到 环 境 变 量 PATH 中, 如 下 图 所 示 : 注 意 : 在 安 装 Cygwin 时, 建 议 将 SVN 安 装 上, 因 为 在 Ant 编 译 过 程 中 会 通 过 SVN 下 载 些 文 件, 但 这 个 不 是 必 须 的, 下 载 不 成 功 时, 并 未 见 出 错, 编 译 仍 然 可 以 成 功 2.5. Eclipse 创 刊 号 2010 年 1 月 - 3 -

8 Eclipse 则 可 以 从 上 下 载 3. 编 译 Hadoop 在 这 里, 我 们 以 编 译 Hadoop 家 庭 成 员 common 为 例, 对 Hadoop 其 它 成 员 的 编 译 方 法 是 类 似 的 3.1. 编 译 common 成 员 步 骤 1) 在 Elipse 的 Package 视 图 中 单 击 右 键, 选 择 New->Java Project, 如 下 图 所 示 : 步 骤 2) 选 择 源 代 码 目 录, 设 置 Project 名 在 上 图 所 示 的 对 话 框 中, 点 击 Browse 按 钮, 选 择 common 源 代 码 目 录, 并 设 置 Project name 为 common 工 程 导 入 完 成 后, 进 入 Eclipse 主 界 面, 可 以 看 到 common 已 经 导 入 进 来, 但 可 以 看 到 common 上 有 红 叉 叉, 是 因 为 Elipse 默 认 使 用 了 Java Builder, 而 不 是 Ant Builder, 所 以 下 一 步 就 是 设 置 使 用 Ant Builder 步 骤 3) 设 置 Builder 为 Ant: 右 键 common->properties->builders: 在 上 图 所 示 的 界 面 中, 点 击 New 按 钮, 在 弹 出 的 对 话 框 中 选 中 Ant Builder, 确 定 之 后 会 弹 出 如 下 对 话 框 : 创 刊 号 2010 年 1 月 - 4 -

9 点 击 Browse File System 按 钮, 选 择 common 源 代 码 目 录 下 的 build.xml 文 件, 并 设 置 Name 为 common_builder(name 可 以 改 成 其 它 的, 但 建 议 使 用 common_builder, 因 为 这 样 名 副 其 实 ), 操 作 结 果 如 下 图 所 示 : 除 上 图 所 示 的 设 置 外, 还 需 要 设 置 如 下 图 所 示 的 Targets, 建 议 设 置 成 Manual Build 编 译 方 式, 而 不 是 Auto Build 编 译 方 式 因 为 在 Auto Build 模 式 下, 任 何 修 改 都 会 触 发 编 译, 而 Manual Build 模 式 下, 只 在 需 要 的 时 候, 点 击 编 译 按 钮 或 菜 单 编 译 即 可 Hadoop 各 成 员 都 需 要 编 译 成 jar, 所 以 做 如 下 图 所 示 的 一 个 修 改 : 创 刊 号 2010 年 1 月 - 5 -

10 确 定 之 后, 返 回 如 下 图 所 示 的 Edit Configuration 对 话 框 : 上 面 完 成 后, 回 到 Builder 的 主 对 话 框, 再 将 对 话 框 中 的 Java Builder 下 移, 并 将 它 前 面 的 勾 去 掉 进 入 Eclipse 主 界 面, 由 于 之 前 选 择 了 Manual Build, 所 以 需 要 人 工 方 式 驱 动 编 译, 编 译 成 功 后, 可 以 看 到 BUILD SUCCESSFUL 字 样 请 注 意 : 如 果 上 图 所 示 的 菜 单 中 的 Build Automatically 被 勾 中, 则 在 common 的 右 键 菜 单 中 可 能 不 会 出 现 Build 子 菜 单 在 编 译 过 程 中,Ant 会 自 动 从 网 上 下 载 所 依 赖 的 库 common 的 编 译 成 功 结 束 后, 可 以 创 刊 号 2010 年 1 月 - 6 -

11 在 build 目 录 下 找 到 编 译 后 生 成 的 文 件 hadoop-core dev.jar 3.2. 编 译 Hadoop 其 它 成 员 hdfs mapreduce 和 hive 的 编 译 方 式 同 common 4. FAQ 4.1. 联 网 确 保 可 以 上 internet,ant 需 要 自 动 下 载 很 多 第 三 方 依 赖 库, 如 果 不 能 联 网, 编 译 会 复 杂 很 多 4.2. 编 译 hive hive 的 编 译 相 对 复 杂 些, 而 且 默 认 它 会 编 译 多 个 版 本 的 hive, 建 立 修 改 shims 目 录 下 的 ivy.xml 文 件, 去 掉 不 必 要 版 本 的 编 译 4.3. 编 译 生 成 文 件 位 置 录 下 ; common 编 译 后 生 成 build\hadoop-core dev.jar; hdfs 编 译 后 生 成 build\hadoop-hdfs dev.jar; mapreduce 编 译 后 生 成 build\hadoop-mapred dev.jar; hive 编 译 后 生 成 build\service\hive_service.jar, 请 注 意 并 没 有 直 接 放 在 build 目 hbase 编 译 后 生 成 build\hbase dev.jar; 有 时 候 在 编 译 某 个 时 出 错, 可 先 跳 过, 编 译 其 它 的,Refresh 之 后 再 编 译 在 Windows 上 安 装 Hadoop 教 程 作 者 : 一 见 1. 安 装 JDK 不 建 议 只 安 装 JRE, 而 是 建 议 直 接 安 装 JDK, 因 为 安 装 JDK 时, 可 以 同 时 安 装 JRE MapReduce 程 序 的 编 写 和 Hadoop 的 编 译 都 依 赖 于 JDK, 光 JRE 是 不 够 的 JRE 下 载 地 址 : JDK 下 载 地 址 : 下 载 Java SE 即 可 2. 安 装 Cygwin 不 建 议 使 用 Windows 域 用 户 配 置 和 运 行 Cygwin, 由 于 公 司 防 火 墙 等 原 因, 容 易 遇 到 一 些 较 难 解 决 的 问 题 另 外, 如 果 运 行 Cygwin 的 用 户 和 登 录 Windows 的 用 户 不 同, 则 需 要 将 Cygwin 安 装 目 录 及 子 目 录 的 拥 有 者 (Owner) Cygwin 安 装 程 序 下 载 地 址 : 当 然 也 可 以 从 下 载, 本 教 程 下 载 的 是 Cygwin setup.exe 的 存 创 刊 号 2010 年 1 月 - 7 -

12 放 目 录 可 随 意 无 要 求 当 setup.exe 下 载 成 功 后, 直 接 运 行, 在 弹 出 的 Cygwin Net Release Setup Program 的 对 话 框 中 直 接 点 击 下 一 步, 选 择 download source 如 下 : 选 择 Install from Internet, 进 入 下 图 所 示 对 话 框 : 设 置 Cygwin 的 安 装 目 录,Install For 选 择 All Users,Default Text File Type 选 择 Unix/binary 下 一 步 之 后, 设 置 Cygwin 安 装 包 存 放 目 录 : 设 置 Internet Connection 的 方 式, 选 择 Direct Connection : 之 后 选 择 Download site : 创 刊 号 2010 年 1 月 - 8 -

13 下 一 步 之 后, 可 能 会 弹 出 下 图 的 Setup Alert 对 话 框, 直 接 确 定 即 可 在 Select Packages 对 话 框 中, 必 须 保 证 Net Category 下 的 OpenSSL 被 安 装 : 如 果 还 打 算 在 eclipse 上 编 译 Hadoop, 则 还 必 须 安 装 Base Category 下 的 sed : 另 外 建 议 将 Editors Category 下 的 vim 安 装, 以 方 便 在 Cygwin 上 直 接 修 改 配 置 文 创 刊 号 2010 年 1 月 - 9 -

14 件 ; Devel Category 下 的 subversion 建 议 安 装 : 下 一 步 进 入 Cygwin 安 装 包 下 载 过 程 当 下 载 完 后, 会 自 动 进 入 到 setup 的 对 话 框 : 在 上 图 所 示 的 对 话 框 中, 选 中 Create icon on Desktop, 以 方 便 直 接 从 桌 面 上 启 动 Cygwin, 然 后 点 击 完 成 按 钮 至 此,Cgywin 已 经 安 装 完 成 3. 配 置 环 境 变 量 需 要 配 置 的 环 境 变 量 包 括 PATH 和 JAVA_HOME: 将 JDK 的 bin 目 录 Cygwin 的 bin 目 录 以 及 Cygwin 的 usr\bin 目 录 都 添 加 到 PATH 环 境 变 量 中 ;JAVA_HOME 指 向 JRE 安 装 目 录 4. 安 装 sshd 服 务 点 击 桌 面 上 的 Cygwin 图 标, 启 动 Cygwin, 执 行 ssh-host-config 命 令, 当 要 求 输 入 yes/no 时, 选 择 输 入 no 当 看 到 Have fun 时, 一 般 表 示 sshd 服 务 安 装 成 功 执 行 过 程 如 图 : 如 果 是 Cygwin 1.7 之 前 的 版 本, 则 ssh-host-config 显 示 界 面 如 下 图 所 示 : 创 刊 号 2010 年 1 月

15 5. 启 动 sshd 服 务 在 桌 面 上 的 我 的 电 脑 图 标 上 单 击 右 键, 点 击 管 理 菜 单, 启 动 CYGWIN sshd 服 务 : 当 CYGWIN sshd 的 状 态 为 已 启 动 后, 接 下 来 就 是 配 置 ssh 登 录 6. 配 置 ssh 登 录 执 行 ssh-keygen 命 令 生 成 密 钥 文 件, 一 路 直 接 回 车 即 可, 如 果 不 出 错, 应 当 是 需 要 三 次 按 回 车 键 按 如 下 命 令 生 成 authorized_keys 文 件 : cd ~/..ssh/ cp id_rsa.pub authorized_keys 完 成 上 述 操 作 后, 执 行 exit 命 令 先 退 出 Cygwin 窗 口, 如 果 不 执 行 这 一 步 操 作, 下 面 的 操 作 可 能 会 遇 到 错 误 接 下 来, 重 新 运 行 Cygwin, 执 行 ssh localhost 命 令, 在 第 一 次 执 行 时, 会 有 如 下 图 所 示 的 提 示, 输 入 yes, 直 接 回 车 即 可 : 如 果 是 Windows 域 用 户, 这 步 操 作 可 能 会 遇 到 问 题, 错 误 信 息 如 下 : 创 刊 号 2010 年 1 月

16 这 个 错 误 暂 无 解 决 办 法, 问 题 的 解 决 情 况, 可 关 注 Hadoop 技 术 论 坛 中 的 贴 : 版 本 ssh 问 题 ) 如 果 配 置 成 功, 执 行 who 命 令 时, 可 以 看 到 如 下 图 所 示 的 信 息 : 7. 下 载 hadoop 安 装 包 hadoop 安 装 包 下 载 地 址 : tar.gz 当 然, 也 可 以 进 入 下 载 其 它 的 版 本, 不 过 建 议 直 接 上 0.20 版 本 8. 安 装 hadoop 将 hadoop 安 装 包 hadoop tar.gz 解 压 到 D:\hadoop\run 目 录 ( 可 以 修 改 成 其 它 目 录 ) 下, 如 下 图 所 示 : 接 下 来, 需 要 修 改 hadoop 的 配 置 文 件, 它 们 位 于 conf 子 目 录 下, 分 别 是 hadoop-env.sh core-site.xml hdfs-site.xml 和 mapred-site.xml 共 四 个 文 件 在 Cygwin 环 境,masters 和 slaves 两 个 文 件 不 需 要 修 改 修 改 hadoop-env.sh 只 需 要 将 JAVA_HOME 修 改 成 JDK 的 安 装 目 录 即 可, 需 要 注 意 两 点 : (1) JDK 必 须 是 1.6 或 以 上 版 本 ; (2) 设 置 JDK 的 安 装 目 录 时, 路 径 不 能 是 windows 风 格 的 目 录 (d:\java\jdk1.6.0_13), 而 是 LINUX 风 格 (/cygdrive/d/java/jdk1.6.0_13) 在 hadoop-env.sh 中 设 定 JDK 的 安 装 目 录 : export JAVA_HOME=/cygdrive/d/java/jdk1.6.0_13 修 改 core-site.xml 为 简 化 core-site.xml 配 置, 将 D:\hadoop\run\src\core 目 录 下 的 core-default.xml 文 件 复 制 到 D:\hadoop\run\conf 目 录 下, 并 将 core-default.xml 文 件 名 改 成 coresite.xml 修 改 fs.default.name 的 值, 如 下 所 示 : 创 刊 号 2010 年 1 月

17 如 果 上 图 中 的 端 口 号 8888, 可 以 改 成 其 它 未 被 占 用 的 端 口 修 改 hdfs-site.xml 为 简 化 hdfs-site.xml 配 置, 将 D:\hadoop\run\src\hdfs 目 录 下 的 hdfs-default.xml 文 件 复 制 到 D:\hadoop\run\conf 目 录 下, 并 将 hdfs-default.xml 文 件 名 改 成 hdfssite.xml 不 需 要 再 做 其 它 修 改 修 改 mapred-site.xml 为 简 化 mapred-site.xml 配 置, 将 D:\hadoop\run\src\mapred 目 录 下 的 mapreddefault.xml 文 件 复 制 到 D:\hadoop\run\conf 目 录 下, 并 将 mapred-default.xml 文 件 名 改 成 mapred-site.xml 上 图 中 的 端 口 号 9999, 可 以 改 成 其 它 未 被 占 用 的 端 口 到 这 里,hadoop 宣 告 安 装 完 毕, 可 以 开 始 体 验 hadoop 了! 9. 启 动 hadoop 在 Cygwin 中, 进 入 hadoop 的 bin 目 录, 运 行./start-all.sh 启 动 hadoop, 在 启 动 成 功 之 后, 可 以 执 行./hadoop fs -ls / 命 令, 查 看 hadoop 的 根 目 录 如 果 运 行 mapreduce, 请 参 考 其 它 文 档, 本 教 程 的 内 容 到 此 结 束 在 Linux 上 安 装 Hadoop 教 程 作 者 : 小 米 gshexianghui@126.com 在 Linux 下 搭 建 Hadoop 集 群, 请 先 熟 悉 Linux 的 基 本 概 念 和 操 作, 如 cd ls tar cat ssh sudo scp 等 操 作 养 成 搜 索 意 识 很 重 要, 遇 到 问 题 借 用 google 百 度 等, 或 者 论 坛, 推 荐 Hadoop 技 术 论 坛 ubuntu 和 redhat 等 版 本 的 linux 在 操 作 命 令 上 有 不 同 点, 但 安 装 Hadoop 的 流 程 一 样 创 刊 号 2010 年 1 月

18 实 践 环 境 : Ubuntu8.04+jdk1.6+hadoop ( 三 台 实 体 机 ) 机 器 名 IP 作 用 Hexianghui NameNode master jobtracker hexianghui DataNode slave tasktracker hexianghui DataNode slave tasktracker 注 意 : 初 学 者 可 以 选 择 三 台 做 实 验, 一 台 做 NameNode,master 和 jobtracker, 另 外 两 台 做 DataNode,slave,taskTracker 关 于 这 几 个 概 念, 可 以 参 考 Hadoop 的 官 方 文 档 安 装 ubuntu 操 作 系 统 的 datanode 配 置 内 存 最 好 满 足 512M, NameNode 的 机 器 满 足 1G 内 存,2G 更 好 ubuntu 安 装 后, 可 不 启 动 图 形 界 面, 节 约 内 存 安 装 步 骤 : 1 安 装 ubuntu8.04 更 新 源 修 改 ( 方 便 以 后 更 新 提 高 速 度, 教 育 网 可 以 参 考 如 下 网 址 ): 创 建 用 户 : 为 了 操 作 的 简 便, 在 所 有 机 器 上 创 建 相 同 用 户 名 和 相 同 密 码 的 用 户 本 例 创 建 了 相 同 的 用 户 hexianghui 修 改 机 器 名 :$ hostname 机 器 名 修 改 方 法 参 考 文 档 : 在 /etc/hosts 中 添 加 机 器 名 和 相 应 的 IP: 2 开 启 ssh 服 务 安 装 openssh-server:$ sudo apt-get install openssh-server 注 意 : 自 动 安 装 openssh-server 时, 先 要 进 行 sudo apt-get update 操 作 可 以 在 windows 下 用 SSH Secure Shell Client( 详 见 附 录 ) 来 测 试 一 下 : 连 接 弹 出 如 下 窗 口 : 创 刊 号 2010 年 1 月

19 输 入 密 码 后 能 正 常 进 入, 就 可 以 实 现 远 程 登 录 和 管 理 了 3 建 立 ssh 无 密 码 登 录 (1) 在 NameNode 上 实 现 无 密 码 登 录 本 机 : $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa, 直 接 回 车, 完 成 后 会 在 ~/.ssh/ 生 成 两 个 文 件 :id_dsa 和 id_dsa.pub 这 两 个 是 成 对 出 现, 类 似 钥 匙 和 锁 再 把 id_dsa.pub 追 加 到 授 权 key 里 面 ( 当 前 并 没 有 authorized_keys 文 件 ):$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 完 成 后 可 以 实 现 无 密 码 登 录 本 机 :$ ssh localhost (2) 实 现 NameNode 无 密 码 登 录 其 他 DataNode: 把 NameNode 上 的 id_dsa.pub 文 件 追 加 到 datanode 的 authorized_keys 内 ( 以 节 点 为 例 ): a. 拷 贝 NameNode 的 id_dsa.pub 文 件 : $ scp id_dsa.pub hexianghui@ :/home/hexianghui/ b. 登 录 , 执 行 $ cat id_dsa.pub >>.ssh/authorized_keys 其 他 的 datanode 执 行 同 样 的 操 作 注 意 : 如 果 配 置 完 毕, 如 果 namenode 依 然 不 能 访 问 datanode, 可 以 修 改 datanode 的 authorized_keys:$ chmod 600 authorized_keys 4 关 闭 防 火 墙 $ sudo ufw disable 注 意 : 这 步 非 常 重 要 如 果 不 关 闭, 会 出 现 找 不 到 datanode 问 题 5 安 装 jdk1.6 下 载 地 址 : 下 载 后, 直 接 安 装 本 例 的 安 装 路 径 为 /home/hexianghui/jdk1.6.0_14 安 装 后, 添 加 如 下 语 句 到 /etc/profile 中 : export JAVA_HOME=/home/hexianghui/jdk1.6.0_14 export JRE_HOME=/home/hexianghui/jdk1.6.0_14/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH 注 意 : 每 台 机 器 的 java 环 境 最 好 一 致 安 装 过 程 中 如 有 中 断, 切 换 为 root 权 限 来 安 装 6 安 装 hadoop 下 载 hadoop tar.gz: tar.gz 解 压 :$ tar zvxf hadoop tar.gz 把 Hadoop 的 安 装 路 径 添 加 到 环 /etc/profile 中 : export HADOOP_HOME=/home/hexianghui/hadoop 创 刊 号 2010 年 1 月

20 export PATH=$HADOOP_HOME/bin:$PATH 7 配 置 hadoop hadoop 的 主 要 配 置 都 在 hadoop /conf 下 (1) 在 conf/hadoop-env.sh 中 配 置 Java 环 境 (namenode 与 datanode 的 配 置 相 同 ): $ gedit hadoop-env.sh $ export JAVA_HOME=/home/hexianghui/jdk1.6.0_14 (2) 配 置 conf/masters 和 conf/slaves 文 件 :( 只 在 namenode 上 配 置 ) masters: slaves: (3) 配 置 conf/core-site.xml, conf/hdfs-site.xml 及 conf/mapred-site.xml( 简 单 配 置,datanode 的 配 置 相 同 ) core-site.xml: <configuration> <!--- global properties --> <property> <name>hadoop.tmp.dir</name> <value>/home/hexianghui/tmp</value> <description>a base for other temporary directories.</description> </property> <!-- file system properties --> <property> <name>fs.default.name</name> <value>hdfs:// :9000</value> </property> </configuration> hdfs-site.xml:( replication 默 认 为 3, 如 果 不 修 改,datanode 少 于 三 台 就 会 报 错 ) <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> mapred-site.xml: <configuration> <property> <name>mapred.job.tracker</name> <value> :9001</value> </property> </configuration> 8 运 行 hadoop 创 刊 号 2010 年 1 月

21 进 入 hadoop /bin, 首 先 格 式 化 文 件 系 统 :$ hadoop namenode format 启 动 Hadoop:$ start-all.sh 用 jps 命 令 查 看 进 程,NameNode 上 的 结 果 如 下 : DataNode 上 的 结 果 : 查 看 集 群 状 态 :$ hadoop dfsadmin -report Hadoop 的 web 方 式 查 看 : 9 运 行 wordcount.java 程 序 (1) 先 在 本 地 磁 盘 建 立 两 个 输 入 文 件 file01 和 file02: $ echo Hello World Bye World > file01 $ echo Hello Hadoop Goodbye Hadoop > file02 (2) 在 hdfs 中 建 立 一 个 input 目 录 :$ hadoop fs mkdir input (3) 将 file01 和 file02 拷 贝 到 hdfs 中 : $ hadoop fs copyfromlocal /home/hexianghui/soft/file0* input (4) 执 行 wordcount: $ hadoop jar hadoop examples.jar wordcount input output (5) 完 成 之 后, 查 看 结 果 : $ hadoop fs -cat output/part-r Bye 1 创 刊 号 2010 年 1 月

22 Goodbye 1 Hadoop 2 Hello 2 World 2 附 录 : 可 能 出 现 的 问 题 及 相 应 的 解 决 方 法 : 1 如 果 防 火 墙 未 关, 可 能 出 现 如 下 错 误 : File /home/hexianghui/tmp/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1 用 jps 查 看 进 程 都 正 常, 用 web 查 看 live nodes 为 0. 说 明 datanode 没 有 正 常 启 动, 但 datanode 进 程 实 际 是 启 动 了 解 决 方 法 : 关 闭 防 火 墙 另 一 种 可 能 : 把 safemode 置 于 off 状 态 :$ hadoop dfsadmin safemode leave 2 如 果 在 虚 拟 机 中 测 试 安 装 Hadoop 可 能 会 出 现 虚 拟 地 址 错 误 3 SSH 是 一 个 用 来 替 代 TELNET FTP 以 及 R 命 令 的 工 具 包 通 过 SSH 可 以 把 所 有 传 输 的 数 据 进 行 加 密, 这 样 " 中 间 人 " 这 种 攻 击 方 式 就 不 可 能 实 现 了, 而 且 也 能 够 防 止 DNS 欺 骗 和 IP 欺 骗 下 载 地 址 : 本 教 程 到 此 结 束 如 有 疑 问, 可 以 参 考 更 多 其 它 资 料 或 联 系 作 者 欢 迎 读 者 把 遇 到 的 新 问 题 以 及 解 决 方 法 发 送 到 gshexianghui@126.com 或 者 贴 在 hadoopor 技 术 论 坛 上 以 完 善 此 教 程 和 为 其 他 读 者 提 供 经 验 资 料 非 常 感 谢 您 的 参 与 创 刊 号 2010 年 1 月

23 在 Windows 上 使 用 eclipse 编 写 Hadoop 应 用 程 序 作 者 : 一 见 1. 前 言 本 文 档 通 过 图 文 结 合 的 方 式, 展 现 在 Windows 上 编 写 和 编 译 Hadoop 应 用 程 序, 然 后 放 到 Linux 运 行 的 全 过 程 2. 创 建 Java 工 程 打 开 eclipse, 选 择 File -> New -> Java Project, 新 建 一 个 Java Project, 进 入 New Java Project 对 话 框, 将 Project name 设 置 为 DFSOperator, 如 下 图 所 示 : 选 中 DFSOperator, 并 单 击 右 键, 选 择 New -> Class 菜 单, 新 建 Name 为 DFSOperator 的 class, 并 选 中 自 动 创 建 main 函 数, 如 下 图 所 示 : 3. 配 置 编 译 参 数 下 面 开 始 配 置 Build Path, 选 中 DFSOperator, 单 击 右 键, 点 击 下 图 所 示 菜 单 Build Path -> Configure Build Path, 进 入 Java Build Path 配 置 界 面 选 择 Libraries 标 签 页, 点 击 右 侧 的 Add External JAR 按 钮, 将 安 装 好 的 hadoop- 创 刊 号 2010 年 1 月 19

24 core.jar 添 加 进 来 4. 源 代 码 进 入 的 DFSOperator.java 文 件 编 辑 界 面, 将 DFSOperator.java 的 内 容 修 改 成 如 下 : public class DFSOperator { /** args */ public static void main(string[] args) { // TODO Auto-generated method stub Configuration conf = new Configuration(); try { FileSystem fs = FileSystem.get(conf); Path f = new Path("hdfs:///dfs_operator.txt"); FSDataOutputStream os = fs.create(f, true); int i=0; for (i=0; i<100000; ++i) os.writechars("test"); os.close(); } catch (IOException e) { // TODO Auto-generated catch block e.printstacktrace(); } } } 5. 编 译 生 成 JAR 右 键 DFSOperator 项 目, 选 择 Build Project, 编 译 项 目 工 程, 编 译 DFSOperator.java 后, 生 成 下 图 所 示 的 DFSOperator.class 文 件 : 右 键 项 目, 选 择 Export : 创 刊 号 2010 年 1 月 20

25 进 入 下 图 所 示 的 Export 对 话 框 : 在 上 图 所 示 对 话 框 中, 选 中 JAR file, 然 后 点 击 Next 按 钮, 进 入 下 图 : 创 刊 号 2010 年 1 月 21

26 按 上 图 所 示, 设 置 好 JAR 包 的 文 件 名 和 存 放 位 置, 然 后 点 击 Finish 按 钮, 生 成 dfs_operator.jar 文 件, 如 下 图 所 示 : 然 后 将 dfs_operator.jar 文 件 上 传 到 Hadoop Master 节 点 6. 测 试 运 行 假 设 Hadoop 安 装 在 /usr/local/hadoop 目 录 下,dfs_operator.jar 存 放 在 hadoop/bin 目 录 下, 按 照 下 图 所 示 的 五 步 依 次 进 行 操 作 : 创 刊 号 2010 年 1 月 22

27 首 先 进 入 Hadoop 的 bin 目 录, 然 后 依 次 完 成 如 下 的 五 步 操 作 : (1) 查 看 当 前 目 录, 检 查 dfs_operator.jar 是 否 存 在 :ls (2) 查 看 Hadoop 根 目 录 下 是 否 存 在 dfs_operator.txt 文 件 :./hadoop fs -ls / (3) 运 行 dfs_operator.jar, 以 生 成 dfs_operator.txt 文 件 :./hadoop jar./dfs_operator.jar DFSOperator (4) 再 查 看 Hadoop 根 目 录 下 是 否 存 在 dfs_operator.txt 文 件 :./hadoop fs -ls / (5) 检 查 dfs_operator.txt 文 件 的 内 容 :./hadoop fs -cat /dfs_operator.txt 7. 结 束 到 此, 整 个 过 程 结 束, 掌 握 方 法 后, 可 以 开 始 丰 富 Hadoop 应 用 程 序 了! 创 刊 号 2010 年 1 月 23

28 在 Windows 中 使 用 Cygwin 安 装 HBase 作 者 : 飞 鸿 雪 泥 jaguar13@yahoo.cn 1. 简 介 HBase 是 Hadoop 的 正 式 子 项 目, 是 面 向 列 的 分 布 式 数 据 库, 它 在 存 储 数 据 结 构 上 并 非 关 系 型, 而 是 疏 松 分 布 式 的 持 久 并 按 多 维 排 序 索 引 的 map 型, 思 想 源 于 Google 的 BigTable 论 文 ( 由 于 HBase 是 一 个 分 布 式 大 规 模 的 平 台, 主 要 安 装 在 类 Unix 平 台 上 但 是 由 于 其 开 发 语 言 是 Java, 因 此 它 同 样 具 有 跨 平 台 的 特 性, 同 样 也 可 以 安 装 在 Windows 操 作 系 统 上 为 了 方 便 起 见, 使 用 具 有 类 Unix 特 性 的 Cygwin 来 安 装 HBase 2. 目 的 本 文 主 要 阐 述 在 伪 分 布 式 模 式 (Pseudo-distributed mode) 下, 在 Windows 操 作 系 统 上 使 用 Cygwin 来 安 装 运 行 和 测 试 HBase 项 目 对 于 真 正 的 分 布 式 的 集 群 配 置, 可 以 参 考 本 文 以 及 HBase 项 目 官 网 ( 3. 安 装 与 配 置 软 件 版 本 : JDK 1.6( 或 以 上 版 本 ) Cygwin 2.5 Hadoop 0.20.x HBase 0.20.x 3.1. Java Cygwin Cygwin SSH 这 里 的 三 个 软 件 的 安 装 过 程, 可 以 参 考 Hadoop 开 发 者 杂 志 创 刊 号 中 在 Windows 上 安 装 Hadoop 教 程, 在 此 不 再 赘 述 3.2. Hadoop 同 样,Hadoop 的 安 装 也 可 以 参 考 Hadoop 开 发 者 杂 志 创 刊 号 中 在 Windows 上 安 装 Hadoop 教 程 一 文 但 是 根 据 笔 者 的 安 装 过 程, 列 出 以 下 几 点 注 意 : 1. 在 配 置 hadoop-env.sh 中 的 JAVA_HOME 时,Jdk 往 往 安 装 在 C:\Program Files\ 文 件 夹 下, 例 如 :C:\Program Files\Java\jdk1.6.0_01 JAVA_HOME 应 配 置 如 下 : export JAVA_HOME=/cygdrive/c/Progra~1/Java/jdk1.6.0_01 其 中, 由 于 Cygwin 无 法 识 别 Program Files 中 间 的 空 格, 如 果 不 按 照 上 述 设 置, 则 系 统 无 法 找 到 Jdk 安 装 目 录 例 如 : 当 然, 你 也 可 以 在 Cygwin 的 /usr/local 目 录 下 添 加 一 个 连 接, 从 而 方 便 配 置 JAVA_HOME ln -s /cygdrive/c/program\ Files/Java/jdk1.6.0_01 \ /usr/local/jdk1.6.0_01 export JAVA_HOME=/usr/local/jdk1.6.0_01 2. 在 core-site.xml 配 置 文 件 中, 属 性 fs.default.name 的 值 与 Hadoop 开 发 者 创 刊 号 2010 年 1 月 24

29 杂 志 创 刊 号 中 在 Windows 上 安 装 Hadoop 教 程 一 文 中 的 值 保 持 一 致, 设 置 为 : hdfs://localhost:8888 同 样, 配 置 文 件 mapred-site.xml 中 的 mapred.job.tracker 属 性 值 设 置 为 : localhost: 在 Hadoop 分 布 式 文 件 系 统 中 创 建 两 个 目 录 hbase 和 tmp, 这 两 个 目 录 将 在 下 面 安 装 HBase 的 过 程 中 使 用, 在 Shell 中 输 入 命 令 如 下 : bin/hadoop dfs mkdir hbase tmp 3.3. HBase 假 设 HBASE_HOME 为 HBase 的 安 装 目 录 1. 在 $HBASE_HOME/conf/hbase-env.sh 中 增 加 如 下 两 个 环 境 变 量 : export JAVA_HOME=/cygdrive/c/Progra~1/Java/jdk1.6.0_01 export HBASE_IDENT_STRING=localhost 其 中,JAVA_HOME 的 设 置 参 照 上 文 的 说 明 2. 将 $HBASE_HOME/conf/hbase-default.xml 中 的 所 有 内 容, 拷 贝 到 $HBASE_HOME/conf/hbase-site.xml 文 件 中 3. 修 改 hbase-site.xml 配 置 文 件 中 的 hbase.rootdir 属 性, 以 及 hbase.tmp.dir 属 性, 如 下 所 示 : <property> <name>hbase.rootdir hbase.rootdir</name> <value>hdfs://localhost:8888/hbase hdfs://localhost:8888/hbase</value> <description>the directory shared by region servers. Should be fully-qualified to include the filesystem to use. E.g: hdfs://namenode_server:port/hbase_rootdir </description> </property> <property> <name>hbase.tmp.dir hbase.tmp.dir</name> <value>hdfs://localhost:8888/tmp hdfs://localhost:8888/tmp</value> <description>temporary directory on the local filesystem.</description> </property> 注 意, 这 里 设 置 的 两 个 目 录 正 是 上 文 中 在 Hadoop 的 分 布 式 文 件 系 统 中 建 立 的 两 个 目 录, 此 外, 端 口 号 也 与 前 面 保 持 一 致, 设 置 为 : 修 改 hbase-site.xml 配 置 文 件 中 的 hbase.zookeeper.quorum 属 性 的 值 为 , 在 Cygwin 中, localhost 有 时 无 法 正 确 识 别 如 下 所 示 : <property> <name>hbase.zookeeper.quorum hbase.zookeeper.quorum</name> <value> </value> <description>comma separated list of servers in the ZooKeeper Quorum. For example, "host1.mydomain.com, host2.mydomain.com, host3.mydomain.com". By default this is set to localhost for local and pseudo-distributed modes of operation. For a fully-distributed setup, this should be set to a full list of ZooKeeper quorum servers. If HBASE_MANAGES_ZK is set in hbase-env.sh this is the list of servers which we will start/stop ZooKeeper on. </description> 创 刊 号 2010 年 1 月 25

30 </property> 4. 测 试 下 面 测 试 系 统 是 否 正 确 安 装 1. 打 开 Cygwin 的 终 端, 执 行 ssh localhost 命 令 2. 在 Hadoop 安 装 目 录 下, 执 行 bin/start-all.sh 脚 本, 启 动 Hadoop 3. 在 Hbase 安 装 目 录 下, 执 行 bin/start-hbase.sh 脚 本, 启 动 HBase 4. 在 Hbase 安 装 目 录 下, 执 行 bin/hbase shell, 进 入 Shell 命 令 模 式 5. 在 Shell 中 输 入 create 'test', 'data', 执 行 结 果 通 过 输 入 list 命 令 进 行 查 看 如 下 图 所 示 : 6. 在 Shell 中 分 别 输 入 以 下 三 条 命 令, 以 创 建 三 条 记 录 : put 'test', 'row1', 'data:1', 'value1' put 'test', 'row2', 'data:2', 'value2' put 'test', 'row3', 'data:3', 'value3' 7. 输 入 scan 'test' 命 令, 通 过 执 行 结 果 来 测 试 上 述 三 条 命 令 的 执 行 情 况 如 下 图 所 示 创 刊 号 2010 年 1 月 26

31 5. 总 结 至 此,HBase 在 Windows 操 作 系 统 中 利 用 Cygwin 工 具 已 经 安 装 完 成, 并 运 行 良 好 用 户 可 以 在 系 统 中 存 储 大 规 模 的 数 据, 并 进 行 海 量 数 据 处 理 创 刊 号 2010 年 1 月 27

32 Nutch 与 Hadoop 的 整 合 与 部 署 作 者 : 若 冰 pi.bingfeng@gmail.com Nutch 项 目 主 要 是 实 现 网 络 爬 虫 的, 底 层 的 索 引 结 构 借 用 Lucene, 文 件 系 统 及 计 算 模 型 是 建 立 在 Hadoop 的 HDFS 及 Mapreduce 基 础 之 上, 这 些 都 是 Dog Cutting 带 给 我 们 的 优 秀 作 品 在 这 里, 我 主 要 介 绍 下 Nutch1.0 与 Hadoop 的 整 合 部 署, 搭 建 一 个 分 布 式 网 络 爬 虫 环 境, 并 通 过 查 询 检 索 验 证 我 们 抓 取 的 数 据 初 始 环 境 准 备 : 1. 2 台 linux 机 器 : master: , hostname: crawler slaver: , hostname: crawler 所 有 机 器 上 都 装 上 java JDK, 版 本 为 及 以 上 版 本, 更 低 版 本 的 jdk 在 编 译 时 会 出 现.version class 不 匹 配 问 题 可 用 java -version 验 证 jdk 的 版 本 设 安 装 路 径 为 : /usr/java/jdk1.6.0_11 3. 在 master 上 安 装 tomcat, 设 安 装 路 径 为 : /usr/local/tomcat 4. 建 立 master 到 本 机 及 每 个 slave 的 SSH 受 信 证 书, 使 得 master 调 用 SSH 登 录 slave 时, 不 需 要 输 入 密 码, 也 可 以 反 过 来 建 立 slave 到 master 的 受 信 证 书 注 : secondarynamenode 默 认 在 localhost 上, 所 以 也 需 要 构 建 master 到 本 机 的 SSH 受 信 证 书 示 例 : 从 master( ) 到 一 个 slave( ) (1) 查 看 master/slave 上 是 否 含 有 /root/.ssh 文 件 夹, 如 果 没 有, 执 行 ssh-keygen t rsa 命 令, 直 接 enter 结 束, 产 生 /root/.ssh 文 件 夹 ; (2) 将 master 上 的 /root/.ssh 下 的 id_rsa.pub 文 件 发 送 到 slave 的 /root/.ssh 下, 并 将 id 修 改 为 主 机 id, 以 区 分 来 自 哪 台 机 器 的 受 信 在 上 执 行 : scp root@ :/root/.ssh/id_rsa.pub cat 1_rsa.pub >> authorized_keys. /root/.ssh/1_rsa.pub OK, 在 上 用 ssh 登 录 , 输 入 一 次 密 码 之 后, 下 次 登 录 就 不 需 要 密 码 了 5. 在 master 及 slave 上 都 要 补 充 /etc/hosts 文 件 配 置, 将 master 及 slave 的 IP 及 hostname 加 上 : vi /etc/hosts: crawler crawler001 实 验 步 骤 : 1. 下 载 Nutch-1.0.tar.gz 到 master 上, 并 解 压 缩 到 /data/nutch-1.0; 2. 因 为 Nutch-1.0 中 默 认 包 含 了 hadoop core.jar, 就 不 需 要 单 独 下 载 hadoop 了, 只 需 要 修 改 几 个 配 置 文 件 3. 修 改 /data/nutch-1.0/conf/hadoop-site.xml 文 件, 简 单 的 配 置 信 息 如 下 : <?xml version="1.0"?> 创 刊 号 2010 年 1 月 28

33 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>fs.default.name</name> <value>hdfs:// :54310</value> <description>master 的 IP 地 址 加 端 口, 如 果 没 有 冲 突, 不 要 修 改 端 口 </description> </property> <property> <name>mapred.job.tracker</name> <value>hdfs:// :54311</value> <description>jobtraker 的 配 置,master 的 IP 地 址 加 端 口 </description> </property> <property> <name>dfs.replication</name> <value>1</value> <description>replication of dfs system, 测 试 阶 段 可 以 设 为 1</description> </property> <property> <name>hadoop.tmp.dir</name> <value>/data/hadoopdata/tmp</value> <description>a base for other temporary directories.</description> </property> <property> <name>dfs.data.dir</name> <value>/data/hadoopdata/data</value> <description>determines where on the local filesystem an DFS data node should store its blocks. If this is a comma-delimited list of directories, then data will be stored in all named directories, typically on different devices. Directories that do not exist are ignored. </description> </property> <property> <name>dfs.name.dir</name> <value>/data/hadoopdata/name</value> <description>determines where on the local filesystem the DFS name node list should store the name table(fsimage). If this is a comma-delimited 创 刊 号 2010 年 1 月 29

34 </property> of directories then the name table is replicated in all of the directories, for redundancy. </description> </configuration> 说 明 : 在 hadoop 的 0.20 等 新 版 本 中, 取 消 了 hadoop-site.xml, 取 而 代 之 的 是 hdfssite.xml 及 core-site.xml 两 个 拆 分 的 xml 文 件, 但 在 nutch 1.0 中 还 是 默 认 hadoopsite.xml, 所 以 需 要 把 其 他 信 息 都 集 中 在 hadoop-site.xml 中 ; 4. 根 据 jdk 的 配 置 路 径, 修 改 /data/nutch-1.0/conf/ hadoop-env.sh 中 的 jdk 参 数 配 置 : # The java implementation to use. Required. export JAVA_HOME=/usr/java/jdk1.6.0_11 5. 修 改 /data/nutch-1.0/conf/master, 默 认 的 master 是 localhost, 修 改 配 置 为 master 的 IP 或 机 器 名 这 里 为 : 修 改 /data/nutch-1.0/conf/slaves, 默 认 的 slaves 也 是 localhost 修 改 后 的 slaves: nutch 默 认 的 抓 取 crawl-urlfilter.txt 中 是 skip everything else 的, 为 了 测 试, 我 们 修 改 该 文 件, 以 抓 取 网 站 为 例 修 改 /data/nutch-1.0/conf/crawl-urlfilter.txt 文 件 如 下 : # accept hosts in MY.DOMAIN.NAME #+^ +^ 8. 补 充 conf 下 的 nutch-site.xml, 增 加 http.agent.name 等 必 要 属 性 <property> <name>http.agent.name</name> <value>nutch-1.0</value> <description> </description> </property> 9. 将 master 的 nutch-1.0 拷 贝 到 各 slave 上, 最 好 是 同 样 的 目 录 配 置, 根 据 每 个 slave 的 JAVA_HOME 的 不 同 修 改 hadoop-env.sh; 10. 在 master 上 执 行 bin/hadoop namenode -format, 对 HDFS 进 行 格 式 化 处 理 ; 除 非 删 除 了 master 上 的 hadoop.tmp.dir 目 录 否 则 不 需 要 重 新 执 行 这 个 命 令 11. 调 用 bin/start-all.sh, 测 试 是 否 正 常 如 果 启 动 不 正 常, 最 好 检 查 下 logs 下 面 namenode 及 jobtracker 的 日 志 ; 12. 在 HDFS 上 构 建 爬 虫 主 目 录 crawl 及 rooturl 的 目 录 : bin/hadoop fs mkdir crawl bin/hadoop fs mkdir rooturl 在 master 本 机 建 立 url 入 口 地 址, 这 里 只 添 加 并 上 传 到 HDFS 的 rooturl 目 录 下 : bin/hadoop fs put root.txt rooturl 13. 运 行 爬 虫 命 令 :bin/nutch crawl rooturl dir crawl threads 1 -depth 1 ; 暂 时 使 用 一 个 thread, 抓 取 一 层 ; 14. 命 令 执 行 完 毕, 恭 喜 你 一 轮 爬 虫 已 经 完 成 了, 运 行 bin/hadoop fs ls crawl, 可 以 看 到 抓 取 的 结 果, 包 括 crawldb,linkdb,index,segments 等 ; Nutch 检 索 部 署 ( 主 要 在 master 上 验 证 ) 创 刊 号 2010 年 1 月 30

35 1. 将 HDFS 的 crawl 目 录 下 的 index 及 segments 拷 贝 到 /data/search 目 录 下 ; 2. 将 /data/nutch-1.0/nutch-1.0.war 解 压 缩 到 tomcat 的 webapps 目 录 下 : jar -xvf nutch-1.0.tar /usr/local/tomcat/webapps/nutch 3. 修 改 tomcat/webapps/nutch/web-inf/classes/nutch-site.xml, 添 加 search-dir: <property> <name>searcher.dir</name> <value>/data/search</value> <description></description> </property> 4. 启 动 tomcat, 查 询 测 试 地 址 : 如 果 能 看 到 查 询 页 面, 请 检 索 测 试, 恭 喜 你 成 功 了 经 验 总 结 与 注 意 事 项 : 1. 最 好 在 master 及 每 台 slave 的 /etc/hosts 中 配 置 集 群 中 的 所 有 机 器 ; 2. 尽 量 把 master 及 slaver 的 防 火 墙 关 掉, 不 然 在 调 用 hadoop dfs put 命 令 时, 有 可 能 会 出 现 No route to host 错 误 ; 3. 在 抓 取 之 前, 必 须 确 保 各 个 slave 与 其 他 机 器 的 date 时 间 一 致, 如 果 时 间 不 一 致, 在 generate 时 可 能 会 出 现 generate list 为 空 的 情 况 ; 4. 有 些 网 站 的 robots.txt 对 爬 虫 做 了 限 制, 不 允 许 某 些 爬 虫 抓 取, 如 百 度 知 道 等, 测 试 时 尽 量 不 要 以 这 种 网 页 作 为 例 子 编 后 语 Nutch 只 是 提 供 了 一 个 可 以 用 来 实 现 网 络 爬 虫 的 框 架, 但 真 正 用 到 实 际 环 境 中, 有 很 多 地 方 要 根 据 需 求 进 行 修 改, 包 括 指 定 网 络 爬 虫 设 置 中 文 分 词 的 改 进 爬 虫 增 量 更 新 特 殊 文 档 解 析 方 式 分 布 式 信 息 检 索 等 在 Nutch 的 未 来 1.1 版 本 中,Dog Cutting 那 些 大 师 们 正 准 备 将 hadoop 的 Hbase 这 个 很 强 大 的 数 据 存 储 结 构 也 集 成 进 来, 这 样 会 加 快 crawldb 及 linkdb 的 处 理 过 程, 从 而 提 高 整 个 网 络 爬 虫 的 效 率, 我 们 拭 目 以 待 在 Windows eclipse 上 单 步 调 试 Hive 教 程 作 者 : 一 见 1. 前 言 本 教 程 假 设 你 已 经 掌 握 了 Hadoop 在 Cygwin 上 的 安 装, 以 及 Hive 在 Windows Eclipse 上 的 编 译 技 能, 否 则 请 先 掌 握 安 装 和 编 译 方 法, 才 继 续 往 下 浏 览 2. 参 考 资 料 在 Windows 上 安 装 Hadoop 教 程 Hadoop 源 代 码 eclipse 编 译 教 程 3. 安 装 Hadoop 和 编 译 Hive 创 刊 号 2010 年 1 月 31

36 假 设 Hadoop 安 装 在 E:\hadoop\run 目 录,Hive 源 代 码 存 放 在 E:\hadoop\src\hive 目 录 下, 并 且 Hive 已 经 编 译 通 过 Hadoop 安 装 请 参 考 在 Windows 上 安 装 Hadoop 教 程 一 文, Hive 的 编 译 请 参 考 Hadoop 源 代 码 eclipse 编 译 教 程 一 文 编 译 Hive 成 功 后, 还 不 能 立 即 调 试 Hive, 需 要 先 将 编 译 后 生 成 的 jar 安 装 好 4. 安 装 Hive Hive 和 Hadoop 可 以 安 装 在 不 同 的 目 录 我 们 将 Hive 安 装 到 E:\hadoop\run\hive 目 录 下 1) 在 E:\hadoop\run 下 创 建 hive 子 目 录 ; 2) 将 E:\hadoop\src\hive 目 录 下 的 bin conf 和 lib 三 个 子 目 录 复 制 到 E:\hadoop\run\hive 目 录 下 ( 可 不 复 制 SVN 目 录 ; 3) 将 E:\hadoop\src\hive\build 目 录 下 相 关 的 jar 文 件 都 复 制 到 E:\hadoop\run\hive\lib 目 录 下,README 和 LICENSE 文 件 不 用 复 制 需 要 复 制 的 jar 文 件 如 下 图 所 示 : 其 中 ql 文 件 夹 下 的 lib 如 下 : Hive 的 配 置 文 件 E:\hadoop\run\hive\conf\hive-default.xml 不 需 要 修 改 4) 打 开 eclipse, 选 中 hive 项 目 ( 要 求 保 证 Hive 已 经 编 译 通 过 ), 点 击 菜 单 Run, 选 择 De Debug Configurations, 进 入 配 置 Debug 界 面 : 创 刊 号 2010 年 1 月 32

37 在 Debug Configurations 界 面, 选 中 Java Application, 并 点 击 下 图 所 示 的 New launch configuration 按 钮 : 在 New launch configuration 界 面 中, 点 击 Search earch 按 钮 : 在 弹 出 的 Select Main Type 对 话 框 中, 选 中 CliDriver CliDriver,CliDriver 是 Hive 的 入 口 类, 实 现 了 main 函 数, 如 下 图 所 示 : 确 定 之 后, 返 回 到 Debug Configurations 界 面, 将 New_configuration 改 成 CliDriver, 创 刊 号 2010 年 1 月 33

38 然 后 点 击 Apply 按 钮, 如 下 图 所 示 : 切 换 到 Classpath 界 面 : 点 击 Add External JARs, 将 E:\hadoop\run\hadoop core.jar E:\hadoop\run\lib E:\hadoop\run\lib 和 E:\hadoop\run\hive\lib E:\hadoop\run\hive\lib 两 个 目 录 下 所 有 的 jar 都 添 加 进 来 : 创 刊 号 2010 年 1 月 34

39 接 下 来, 还 需 要 将 Hive 的 conf 目 录 添 加 进 来, 点 击 Advanced Advanced 按 钮, 弹 出 如 下 图 所 示 对 话 框 : 在 上 图 所 示 对 话 框 中, 选 择 Add External Folder, 将 E:\hadoop\run\hive\conf 添 加 进 来, 然 后 点 击 Apply Apply 按 钮, 结 果 如 下 图 所 示 : 创 刊 号 2010 年 1 月 35

40 当 点 击 上 图 所 示 的 Debug 按 钮 后, 将 进 入 如 下 图 所 示 的 界 面 : 由 于 存 在 Bug, 在 Cygwin 环 境 中, 将 无 法 输 入 SQL 语 句, 因 此 在 调 试 之 前, 还 必 须 解 决 或 绕 开 这 个 Bug 下 面 开 始 解 决 这 个 问 题 在 eclipse 中 打 开 CliDriver.java 文 件, 找 到 main 函 数 中 的 如 下 一 行 代 码 : while ((line = reader.readline(curprompt+"> "))!= null) { 将 其 替 换 成 如 下 一 段 代 码 : Scanner sc = new Scanner(System.in); while (true true) { 创 刊 号 2010 年 1 月 36

41 System.out.print(curPrompt+">"); line = sc.nextline(); if (null == line) break; 保 存 修 改, 再 编 译 Hive, 当 编 译 成 功 后, 将 E:\hadoop\src\hive\build\cli\hive_cli.jar 复 制 到 E:\hadoop\run\hive\lib 目 录, 并 覆 盖 掉 原 来 的 hive_cli.jar 到 此, 所 有 准 备 工 作 都 完 成 了, 可 以 开 始 一 步 步 调 试 Hive 了,eclipse 主 要 调 试 快 捷 键 : F11: 运 行 程 序, 进 入 调 试 F5: 单 步, 并 进 入 函 数 内 F6: 单 步, 但 不 进 入 函 数 内 F7: 从 当 前 函 数 内 跳 到 上 一 级 调 用 F8: 一 直 执 行 到 断 点 Ctrl+Shift+B: 添 加 或 删 除 断 点 有 关 eclipse 更 多 的 快 捷 键, 请 参 考 贴 : 如 果 你 的 eclipse 没 有 进 入 Debug 界 面, 请 按 照 下 图 所 示 操 作 即 可 : 应 当 保 证 CliDriver.java 窗 口 是 Debug 界 面 的 活 动 窗 口, 并 在 CliDriver.java 窗 口 按 F11 快 捷 键 进 入 调 试 状 态 5. 编 后 语 调 试 Hive 对 熟 悉 eclipse 开 发 环 境 的 java 熟 手 来 说, 应 当 是 一 件 非 常 容 易 的 事, 本 文 主 要 供 从 C/C++ 等 非 java 语 言 转 过 来 的 Hadoop 开 发 者 欢 迎 大 家 加 入 Hadoop 技 术 论 坛 ( 多 多 交 流 问 题 和 分 享 经 验 创 刊 号 2010 年 1 月 37

42 Hive 应 用 介 绍 作 者 : 李 均 fiberlijun@yahoo.com.cn 1. Hive 简 介 一 场 关 于 进 行 大 规 模 数 据 分 析 的 最 佳 方 法 的 辩 论 正 在 数 据 系 统 界 进 行 着 企 业 阵 容 的 保 守 派 青 睐 于 关 系 数 据 库 和 SQL 语 言, 然 而 互 联 网 阵 容 则 集 中 于 MapReduce 的 开 发 模 式 ( 流 行 于 Google,Hadoop 实 现 开 源 克 隆 ) 业 界 无 人 小 视 这 场 争 论, 最 保 险 的 预 测 是 未 来 将 很 快 发 生 改 变 SQL 和 MapReduce 之 间 的 界 限 已 经 变 得 模 糊 Greenplum 和 Aster Data 两 家 初 创 的 数 据 库 公 司 分 别 推 出 了 集 成 了 SQL 语 言 引 擎 和 MapReduce 的 大 规 模 并 行 系 统 Facebook 的 开 源 项 目 Hive 在 Hadoop 之 上 提 供 了 类 似 于 SQL 的 查 询 语 言 (HQL), 使 不 熟 悉 map/reduce 的 用 户 很 方 便 的 利 用 SQL 语 言 查 询, 汇 总, 分 析 数 据 而 map/reduce 开 发 人 员 可 以 把 自 己 写 的 mapper 和 reducer 作 为 插 件 来 支 持 Hive 做 更 复 杂 的 数 据 分 析 下 面 的 章 节 介 绍 了 如 何 安 装 配 置 Hive 以 及 HQL 语 言 示 例 HQL 支 持 GROUP BY,JOIN, UION, 聚 合 等 查 询, 最 后 介 绍 了 Hive 的 Partition 机 制 和 应 用 2. Hive 安 装 和 配 置 图 1 Hive 设 计 框 架 图 hadoop 集 成 了 hive, 安 装 配 置 起 来 比 往 常 版 本 要 更 加 傻 瓜 化 配 置 下 面 两 个 环 境 变 量 后 就 可 以 启 动 hive 了 : export HADOOP=/usr/local/distribute-hadoop-boss/hadoopenv/hadoop Export IVE_HOME=/usr/local/distribute-hadoop-boss/hadoopenv/hadoop /contrib/hive cd $HIVE_HOME bin/hive 启 动 类 似 mysql 的 shell,hive -f 参 数 直 接 执 行 某 个 文 件 里 的 查 询 语 句 目 录 权 限 配 置 配 置 : /tmp 目 录 配 置 成 所 有 用 户 都 有 write 权 限 Table 对 应 的 目 录 的 owner 必 须 是 hive 启 动 用 户 创 刊 号 2010 年 1 月 38

43 3. 使 用 举 例 3.1. 支 持 的 字 段 数 据 类 型 1) Integers (small is 2 bytes, medium is 4 bytes and big is 8 bytes) 2) Floating point numbers (Single and Double precision) 3) Strings 4) Datetime 5) Boolean 3.2. 创 建 Table,load load 数 据 下 面 的 HQL 语 句 创 建 了 一 个 表 名 为 tcss 的 table, FIELDS TERMINATED BY 指 定 数 据 文 件 各 个 字 段 的 分 割 符 为, CREATE TABLE tcss (domain_id INT, log_time STRING, log_date STRING, log_type INT, uin BIGINT ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LOCATION '/user/hivetest/tcss'; 缺 省 配 置 下,Hive 会 在 hadoop 文 件 系 统 创 建 目 录 /user/hive/warehouse/tcss 来 存 放 数 据 文 件 使 用 location 参 数 可 以 指 定 tcss 表 的 目 录 然 后 直 接 使 用 fs 命 令 把 数 据 文 件 put 到 此 目 录 下 实 现 LOAD 的 操 作 hadoop fs -put./tcss_ _qq.small /user/hivetest/tcss/small1 hadoop fs -put./tcss_ _qq.small /user/hivetest/tcss/small2 Tcss 表 包 含 了 small1 和 small2 两 个 文 件 的 所 有 记 录, 文 件 的 内 容 片 段 如 下 10180, :34:44, ,1001, , :34:46, ,0, , :34:48, ,10180, , :34:50, ,10180, HQL 支 持 把 查 询 结 果 保 存 在 另 一 个 table 里 或 者 是 本 地 的 文 件 INSERT OVERWRITE TABLE tcssout select tcss.* from tcss ; INSERT OVERWRITE DIRECTORY '/tmp/reg_4' FIELD DELIMITER ','select tcss.* from tcss ; 3.3. 表 查 询 用 select 命 令 可 以 查 询 内 容 select count(tcss.uin) from tcss; Hive 把 这 个 查 询 语 句 转 化 成 1 个 mapreduce 任 务 分 配 给 hadoop, 任 务 成 功 后 返 回 结 果 reduce 的 个 数 是 1, 这 是 经 过 语 义 解 析 后 决 定 的 如 果 语 义 解 析 对 reduce 个 数 没 有 特 殊 要 求, 就 采 用 mapred.reduce.tasks 这 个 参 数 作 为 reduce 个 数 创 刊 号 2010 年 1 月 39

44 图 2 Hive 把 HQL 查 询 编 译 成 mapreduce 任 务 简 单 的 select where 查 询 FROM user INSERT OVERWRITE TABLE user_active SELECT user.* WHERE user.active = true; Inner JOIN 查 询 FROM page_view pv JOIN user u ON (pv.userid = u.id) INSERT OVERWRITE TABLE pv_users SELECT pv.*, u.gender, u.age WHERE pv.date = ; HQL 也 支 持 LEFT OUTER, RIGHT OUTER,FULL OUTER JOIN 以 及 多 表 JOIN 查 询 FROM page_view pv JOIN user u ON (pv.userid = u.id) JOIN friend_list f ON (u.id = f.uid) INSERT OVERWRITE TABLE pv_friends SELECT pv.*, u.gender, u.age, f.friends WHERE pv.date = ; 3.4. 聚 合 查 询 为 了 计 算 不 同 性 别 的 独 立 用 户 数, 可 以 用 如 下 的 查 询 FROM pv_users INSERT OVERWRITE TABLE pv_gender_sum SELECT pv_users.gender, count (DISTINCT pv_users.userid) GROUP BY pv_users.gender; 多 次 聚 合 可 以 一 次 完 成, 像 下 面 这 个 查 询, 但 是 两 个 聚 合 的 distinct 一 定 要 相 同 FROM pv_users INSERT OVERWRITE TABLE pv_gender_agg SELECT pv_users.gender, count(distinct pv_users.userid), count(), sum(distinctpv_users.userid) GROUP BY pv_users.gender; 3.5. 其 他 高 级 查 询 Union all Custom map/reduce scripts Co groups Case statement(hive 2.0 支 持 ) 4. Partition 介 绍 创 刊 号 2010 年 1 月 40

45 4.1. 准 备 模 拟 ISD 按 天 上 传 的 目 录 文 件, 我 们 准 备 了./ISD/ 到./ISD/ 六 个 目 录, 每 个 目 录 有 1 个 数 据 文 件 具 体 见 下 图 每 个 目 录 有 1 个 数 据 文 件, 具 体 见 下 图 接 下 来 我 们 要 演 示 如 何 按 日 期 Partition 到 一 个 表 里 4.2. 如 何 Partition 1) 建 立 带 有 Partition 的 表 qzone_partion_t 按 partdate 参 数 做 Partition 存 储, 注 意 partdate 不 是 表 的 真 实 字 段 CREATE TABLE qzone_partion_t ( logid string, datetime1 string, uin1 bigint, datetime2 string, uin2 bigint, ip string, logtype int, mdate string) PARTITIONED BY(partdate DATETIME) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LOCATION '/user/distributehadoop-boss/isd_qzone'; 2) 把 hadoop 某 个 目 录 的 文 件 按 Partition 插 入 表 先 建 一 个 临 时 表 映 射 到 目 录 /ISD/ , 表 结 构 和 上 面 的 一 致, 只 是 没 有 partition 参 数 : CREATE EXTERNAL TABLE qzone_ ( logid string, datetime1 string, uin1 bigint, datetime2 string, uin2 bigint, ip string, logtype int, mdate string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LOCATION '/user/distribute-hadoop-boss/isd/ '; 再 把 临 时 表 的 所 有 内 容 按 PARTITION(partdate=' ') 参 数 插 入 qzone_partion_t 表 : FROM qzone_ t INSERT OVERWRITE TABLE qzone_partion_t PARTITION(partdate=' ') select *; 上 面 这 个 过 程 其 实 是 一 个 拷 贝 过 程 通 过 map 完 成, 见 下 图 如 果 目 录 内 容 很 大 会 有 一 些 耗 时 通 过 上 述 操 作 我 们 把./ISD/ 到./ISD/ 六 个 目 录 的 数 据 按 日 期 partition 插 入 到 了 qzone_partion_t 表 里 每 个 partition 对 应 一 个 子 目 录, 比 如 : /user/distribute-hadoop-boss/isd_qzone/partdate= 下 面 列 出 了 六 个 partition 对 应 的 目 录 创 刊 号 2010 年 1 月 41

46 4.3. 基 于 Partition 的 查 询 qzone_partion_t 有 到 六 个 partition, 下 面 举 例 说 明 如 何 在 hive 下 做 基 于 partition 的 查 询 : 1. 针 对 某 一 个 partition 日 期 查 询, hive 只 会 对 partition 对 应 的 这 个 目 录 做 mapreduce 计 算 : select count(1) from qzone_partion_t where qzone_partion_t.partdate=' '; 2. 针 对 某 个 partition 区 间 查 询,hive 也 只 会 对 对 相 应 目 录 做 mapreduce 计 算, 比 如 下 面 这 个 例 子, 就 只 有 17 到 22 六 个 目 录 参 与 计 算 : select count(1) from qzone_partion_t where qzone_partion_t.partdate>=' ' and partdate<=' '; Hive 执 行 计 划 解 析 作 者 : 代 志 远 1. 前 言 Hive 是 基 于 Hadoop 构 建 的 一 套 数 据 仓 库 分 析 系 统, 它 提 供 了 丰 富 的 SQL 查 询 方 式 来 分 析 存 储 在 Hadoop 分 布 式 文 件 系 统 中 的 数 据 Hive 可 以 将 结 构 化 的 数 据 的 存 储 存 储 在 数 据 仓 库 中, 通 过 自 己 的 SQL 去 查 询 分 析 需 要 的 内 容, 这 套 SQL 简 称 Hive SQL 它 与 关 系 型 数 据 库 的 SQL 略 有 不 同, 但 支 持 了 绝 大 多 数 的 语 句 如 DDL DML 以 及 常 见 的 聚 合 函 数 连 接 查 询 条 件 查 询 2. 流 程 分 析 创 刊 号 2010 年 1 月 42

47 S Q L 入 口 接 受 指 令 解 析 生 成 执 行 计 划 解 析 执 行 计 划 p la n.xm l 是 否 还 有 MapReduce 任 务 Y E S 生 成 MapReduce 任 务 提 交 J o b H ad oop 集 群 图 1 Hive 任 务 流 程 图 Hive 在 Hadoop 的 架 构 体 系 中 承 担 了 一 个 SQL 解 析 的 过 程, 它 提 供 了 对 外 的 入 口 来 获 取 用 户 的 指 令 然 后 对 指 令 进 行 分 析, 解 析 出 一 个 MapReduce 程 序 组 成 可 执 行 计 划, 并 按 照 该 计 划 生 成 对 应 的 MapReduce 任 务 提 交 给 Hadoop 集 群 处 理, 获 取 最 终 的 结 果 图 1 就 是 一 个 Hive 任 务 流 程 图, 从 图 中 分 析 可 以 看 到 两 个 疑 问 : 1) 为 何 提 交 Job 后 还 会 去 再 执 行 MapReduce 任 务? 2) Plan.xml 是 否 被 共 用? 当 Plan 计 划 生 成 时 xml 的 方 式 保 存 在 HDFS 文 件 系 统 中, 共 有 两 份, 一 份 是 存 在 HDFS 中 不 删 除, 一 份 保 存 在 HDFS 缓 存 区 内, 执 行 结 束 后 会 删 除 任 务 计 划 由 根 任 务 与 子 任 务 构 成, 整 个 任 务 计 划 可 能 会 包 含 多 个 MapReduce 任 务 和 非 MapReduce 任 务, 一 个 MapReduce 任 务 中 的 执 行 计 划 也 会 包 括 子 任 务, 当 该 MapReduce 任 务 做 为 一 个 Job 提 交 的 时 候 会 根 据 执 行 计 划 里 的 任 务 流 程 进 行 MapReduce 处 理 然 后 汇 总 进 行 下 一 步 操 作 在 整 个 的 任 务 执 行 中,HiveSql 任 务 经 历 了 语 法 解 析 -> 生 成 执 行 Task 树 -> 生 成 执 行 计 划 -> 分 发 任 务 ->MapReduce 任 务 执 行 任 务 计 划 的 这 样 一 个 过 程 下 面 我 们 就 从 一 个 具 体 的 SQL 实 例 来 分 析 下 Hive 中 执 行 的 任 务 计 划 : INSERT OVERWRITE TABLE dest_j1 SELECT src1.key, src2.value FROM src src1 JOIN src src2 ON (src1.key = src2.key); 该 实 例 是 将 表 src 做 内 连 接 查 询, 并 将 结 果 插 入 到 目 标 表 dest_j1 中 语 法 解 析 -> 生 成 执 行 Task 过 程 : 创 刊 号 2010 年 1 月 43

48 SemanticAnalyzerFactory +g et() : BaseSemanticAnalyzer BaseSemanticAnalyzer +analyzeinternal(in : ASTNode) +genmapredtasks(in : Q B ) +getplan(in : Q B ) Q B D river +compile() : in t +execute( ) +g et() : BaseSemanticAnalyzer +getchild() : ASTNode +p arse () : ASTNode SemanticAnalyzer +analyze( ) +validate( ) ASTNode +getchild() : ASTNode Context ParseDriver +p arse () : ASTNode 图 2 语 法 解 析 -> 执 行 流 程 图 在 这 个 过 程 中 经 历 如 下 几 个 处 理 : SQL 抽 象 语 法 树 -> QB(Query Block) -> 逻 辑 计 划 树 (Operator) -> 执 行 计 划 树 (Task) 1. 抽 象 语 法 树 的 生 成 图 3 就 是 在 语 法 解 析 过 程 中 的 类 之 间 的 关 系 在 程 序 编 译 过 程 中 antlr 解 析 Hive.g 文 件 会 生 成 HiveLexer.java 与 HiveParser.java 这 两 个 类, 用 于 使 用 整 型 数 据 匹 配 输 入 的 sql 字 段,HiveParser 通 过 statement 方 法 生 成 对 应 的 语 法 树, 并 通 过 statement_return 的 gettree 方 法 返 回 HiveParser T o kenstrea m HiveLexer +execstatement( ) +statement() : statement_retu rn statement _r r etur r n -leaf -HiveParser +gettree () : ASTNode HiveParserX +settreeadaptor(in : CommonTreeAdaptor) TokenRewriteStream HiveLexerX CommonTreeAdaptor ANTLRNoCaseStringStream 图 3 语 法 解 析 过 程 中 的 类 之 间 的 关 系 方 法 statement 的 通 过 HiveParser 得 到 的 处 理 判 断 操 作 的 流 程, 如 果 是 explain 就 执 行 explainstatement 分 析 计 划, 如 果 是 add insert select load create 等 DML 或 DDL 创 刊 号 2010 年 1 月 44

49 操 作 会 执 行 的 execstatement 解 析 语 法 execstatement 的 逻 辑 : 根 据 类 型 判 断 分 为 load query ddl 例 子 中 的 sql 是 先 query 后 load 的 过 程,query 过 程 中 sql 用 union 与 all 分 割, 分 割 后 的 单 SQL 语 法 体 为 : insertclause selectclause fromclause ( whereclause )? ( groupbyclause )? ( orderbyclause )? ( clusterbyclause )? ( distributebyclause )? ( sortbyclause )? ( limitclause )? -> ^( TOK_QUERY fromclause ^( TOK_INSERT insertclause selectclause ( whereclause )? ( groupbyclause )? ( orderbyclause )? ( clusterbyclause )? ( distributebyclause )? ( sortbyclause )? ( limitclause )? ) ) selectstatement ) 自 然 在 这 里 会 根 据 antlr 已 定 义 的 语 法 规 则 中 将 sql 解 析 成 语 法 树 2. 抽 象 语 法 树 -> QB -> 逻 辑 计 划 树 -> 执 行 计 划 树 (Task) 在 这 个 过 程 中 要 进 行 四 步 处 理 : 1) 逻 辑 计 划 生 成 QB 中 使 用 QBParseInfo 记 录 逻 辑 树 的 信 息, 针 对 已 生 成 的 语 法 树, 在 这 里 对 它 进 行 分 析 对 独 立 的 SQL 进 行 select from where orderby groupby limit 的 分 析 并 加 载 到 QBParseInfo 中, 如 果 是 复 合 查 询 的 话 自 然 在 语 法 树 种 记 录 了 树 结 构, 递 归 分 析 当 前 语 法 树 的 子 查 询 : public void dophase1(astnode ast, QB qb, Phase1Ctx ctx_1) { QBParseInfo qbp = qb.getparseinfo(); boolean skiprecursion = false; if (ast.gettoken()!= null) { } skiprecursion = true; switch (ast.gettoken().gettype()) {... } case HiveParser.TOK_SELECT:...//select case HiveParser.TOK_WHERE:...//where case HiveParser.TOK_FROM:...//from case HiveParser.TOK_SORTBY:...//sort case HiveParser.TOK_ORDERBY:...//order case HiveParser.TOK_GROUPBY:...//group case HiveParser.TOK_LIMIT:...//limit case HiveParser.TOK_UNION:...//union default: skiprecursion = false; break; if (!skiprecursion) { // 迭 代 子 查 询 int child_count = ast.getchildcount(); for (int child_pos = 0; child_pos < child_count; ++child_pos) { } // 递 归 dophase1((astnode) ast.getchild(child_pos), qb, ctx_1); } 创 刊 号 2010 年 1 月 45

50 } 2) 获 取 元 数 据 在 Hive 系 统 中 每 个 表 以 hdfs 路 径 的 形 式 保 存, 数 据 存 储 在 表 路 径 中, 与 数 据 相 关 的 表 信 息 存 储 在 数 据 库 中 作 为 元 数 据 3) 生 成 MapReduce 执 行 计 划 获 取 该 操 作 信 息 处 理 jo i n 是 否 唯 一 jo i n 否 合 并 jo i n 是 Y e s 生 成 单 个 jo i n 操 作 还 有 操 作 4) MapReduce 任 务 计 划 分 析 图 4 生 成 MapReduce 执 行 计 划 流 图 Hive 中 提 供 了 一 个 非 常 有 用 的 计 划 分 析 策 略 以 帮 助 开 发 人 员 分 析 执 行 计 划, 在 执 行 语 句 的 头 部 加 上 explain 的 形 式 : EXPLAIN INSERT OVERWRITE TABLE dest_j1 SELECT src1.key, src2.value FROM src src1 JOIN src src2 ON (src1.key = src2.key); 输 入 查 询 能 得 到 如 下 结 果 : STAGE DEPENDENCIES: Stage-1 is a root stage Stage-0 depends on stages: Stage-1 STAGE PLANS: Stage: Stage-1 Map Reduce Alias -> Map Operator Tree: src2 TableScan alias: src2 Reduce Output Operator key expressions: expr: key type: int sort order: + Map-reduce partition columns: 创 刊 号 2010 年 1 月 46

51 expr: key type: int tag: 1 value expressions: expr: value type: string src1 TableScan alias: src1 Reduce Output Operator key expressions: expr: key type: int sort order: + Map-reduce partition columns: expr: key type: int tag: 0 value expressions: expr: key type: int Reduce Operator Tree: Join Operator condition map: Inner Join 0 to 1 condition expressions: 0 {VALUE._col0} 1 {VALUE._col1} outputcolumnnames: _col0, _col3 Select Operator expressions: expr: _col0 type: int expr: _col3 type: string outputcolumnnames: _col0, _col1 File Output Operator compressed: false GlobalTableId: 1 table: input org.apache.hadoop.mapreduce.lib.input.textinputformat output org.apache.hadoop.hive.ql.io.hiveignorekeytextoutputformat format: format: 创 刊 号 2010 年 1 月 47

52 Stage: Stage-0 Move Operator tables: replace: true table: serde: org.apache.hadoop.hive.serde2.lazy.lazysimpleserde name: dest_j1 inputformat:org.apache.hadoop.mapreduce.lib.input.textinputformat outputformat:org.apache.hadoop.hive.ql.io.hiveignorekeytextoutputformat serde: org.apache.hadoop.hive.serde2.lazy.lazysimpleserde name: dest_j1 在 信 息 的 头 部 我 们 看 到 了 : Stage-1 is a root stage Stage-0 depends on stages: Stage-1 从 这 里 可 以 看 出 Plan 计 划 的 Job 任 务 结 构, 整 个 任 务 会 分 为 两 个 Job 执 行, 第 一 个 Job 处 理 由 Stage-1 构 成, 第 二 个 Job 将 由 Stage-2 构 成,Stage-2 的 处 理 必 须 依 赖 Stage-1 阶 段 的 结 果 下 面 来 对 Stage-1 和 Stage-2 分 别 进 行 解 释 : 从 我 们 的 SQL 中 我 们 先 将 其 分 解 为 两 步 : (1) 连 接 查 询 : SELECT src1.key, src2.value FROM src src1 JOIN src src2 ON (src1.key = src2.key); (2) insert overwrite into dest_j1; Stage-1 应 对 第 一 步 操 作, 从 explains 的 信 息 中 我 们 看 到 了 Map Operator Tree 与 Reduce Operator Tree 两 步 操 作 Stage-1 对 应 一 次 完 整 的 MapReduce 任 务 Map Operator Tree 对 应 的 是 Map 阶 段,Reduce Operator Tree 对 应 的 是 Reduce 阶 段 从 Map Operator Tree 我 们 看 到 了 两 个 并 列 的 操 作 src1 与 src2, 分 析 SQL 语 句 可 以 知 道 src1 与 src2 分 别 是 连 接 查 询 的 元 数 据 列, 就 如 同 执 行 了 select * from src src1; 与 select * from src src2; 两 个 Map 任 务 产 生 的 输 出 成 为 了 Reduce 的 输 入 文 件 从 Reduce Operator Tree 分 析 可 以 看 到 如 下 信 息, 条 件 连 接 Map 的 输 出 以 及 通 过 预 定 义 的 输 出 格 式 生 成 符 合 dest_j1 的 存 储 格 式 的 数 据 存 储 到 HDFS 中 在 我 们 创 建 dest_j1 表 的 时 候, 没 有 指 定 该 表 的 存 储 格 式, 默 认 会 以 Text 为 存 储 格 式, 输 入 输 出 会 以 TextInputFormat 与 TextOutputFormat 进 行 读 写 : table: inputformat: org.apache.hadoop.mapreduce.lib.input.textinputformat outputformat: org.apache.hadoop.hive.ql.io.hiveignorekeytextoutputformat serde: org.apache.hadoop.hive.serde2.lazy.lazysimpleserde name: dest_j1 input format 的 值 对 应 org.apache.hadoop.mapreduce.lib.input.textinputformat, 这 是 因 为 在 开 始 的 Map 阶 段 产 生 的 临 时 输 出 文 件 是 以 TextOutputFormat 格 式 保 存 的, 自 然 Reduce 的 读 取 是 由 TextInputFormat 格 式 处 理 读 入 数 据 这 些 是 由 Hadoop 的 MapReduce 处 理 细 节 来 控 制, 而 Hive 只 需 要 指 定 处 理 格 式 即 可 创 刊 号 2010 年 1 月 48

53 Serde 值 为 org.apache.hadoop.hive.serde2.lazy.lazysimpleserde 类, 这 时 这 个 对 象 的 保 存 的 值 为 _col0 _col1, 也 就 是 我 们 预 期 要 查 询 的 src1.key 与 src2.value, 这 个 值 具 体 的 应 该 为 _col0+ 表 dest_j1 设 置 的 列 分 割 符 +_col1 outputformat:org.apache.hadoop.hive.ql.io.hiveignorekeytextoutputformat 可 以 知 道 output 的 处 理 是 使 用 该 类 来 处 理 的 注 意, 通 常 我 们 使 用 的 Hadoop 程 序 中 看 到 OutFormat 的 RecordWriter 中 方 法 write(key,value) 是 同 时 输 出 key 与 value 值, 而 在 这 里 LazySimpleSerDe 的 值 就 作 为 value 值 传 给 了 write 方 法,key 为 空 通 过 分 析 HiveIgnoreKeyTextOutputFormat 的 代 码 可 以 进 一 步 验 证 : Protected static class IgnoreKeyWriter extends RecordWriter{ public synchronized void write(k key, V value) throws IOException { this.mwriter.write(null, value); } } Stage-2 对 应 上 面 提 到 的 第 二 步 操 作 这 时 stage-1 产 生 的 临 时 处 理 文 件 举 例 如 tmp, 需 要 经 过 stage-2 阶 段 操 作 处 理 到 dest_j1 表 中 Move Operator 代 表 了 这 并 不 是 一 个 MapReduce 任 务, 只 需 要 调 用 MoveTask 的 处 理 就 行, 在 处 理 之 前 会 去 检 查 输 入 文 件 是 否 符 合 dest_j1 的 存 储 格 式, 如 :HiveFileFormatUtils.checkInputFormat() 格 式 符 合 临 时 文 件 导 入 到 目 标 文 件 夹 里 即 可, 代 码 如 : db.loadtable(new Path(tbd.getSourceDir()), tbd.gettable().gettablename(), tbd.getreplace(), new Path(tbd.getTmpDir())); if (work.getoutputs()!= null) work.getoutputs().add(new WriteEntity(table)); 3. 编 后 语 以 上 过 程 为 Hive 系 统 在 接 受 一 个 SQL 语 句 并 分 析 语 法 到 生 成 执 行 计 划 到 分 配 任 务 的 过 程, 由 于 文 章 篇 幅 有 限 不 能 详 细 讲 解, 后 期 的 杂 志 中, 我 们 会 详 细 介 绍 每 个 过 程, 并 通 过 实 例 和 通 用 技 术 的 结 合 让 大 家 进 一 步 学 习 和 了 解 创 刊 号 2010 年 1 月 49

54 MapReduce 中 的 Shuffle 和 Sort 分 析 作 者 :Spork MapReduce 是 现 今 一 个 非 常 流 行 的 分 布 式 计 算 框 架, 它 被 设 计 用 于 并 行 计 算 海 量 数 据 第 一 个 提 出 该 技 术 框 架 的 是 Google 公 司, 而 Google 的 灵 感 则 来 自 于 函 数 式 编 程 语 言, 如 LISP,Scheme,ML 等 MapReduce 框 架 的 核 心 步 骤 主 要 分 两 部 分 :Map 和 Reduce 当 你 向 MapReduce 框 架 提 交 一 个 计 算 作 业 时, 它 会 首 先 把 计 算 作 业 拆 分 成 若 干 个 Map 任 务, 然 后 分 配 到 不 同 的 节 点 上 去 执 行, 每 一 个 Map 任 务 处 理 输 入 数 据 中 的 一 部 分, 当 Map 任 务 完 成 后, 它 会 生 成 一 些 中 间 文 件, 这 些 中 间 文 件 将 会 作 为 Reduce 任 务 的 输 入 数 据 Reduce 任 务 的 主 要 目 标 就 是 把 前 面 若 干 个 Map 的 输 出 汇 总 到 一 起 并 输 出 从 高 层 抽 象 来 看,MapReduce [1] 的 数 据 流 图 如 图 1 所 示 : 图 1 MapReduce 高 层 数 据 流 图 本 文 的 重 点 是 剖 析 MapReduce 的 核 心 过 程 Shuffle 和 Sort 在 本 文 中,Shuffle 是 指 从 Map 产 生 输 出 开 始, 包 括 系 统 执 行 排 序 以 及 传 送 Map 输 出 到 Reducer 作 为 输 入 的 过 程 在 这 里 我 们 将 去 探 究 Shuffle 是 如 何 工 作 的, 因 为 对 基 础 的 理 解 有 助 于 对 MapReduce 程 序 进 行 调 优 首 先 从 Map 端 开 始 分 析 当 Map 开 始 产 生 输 出 时, 它 并 不 是 简 单 的 把 数 据 写 到 磁 盘, 因 为 频 繁 的 磁 盘 操 作 会 导 致 性 能 严 重 下 降 它 的 处 理 过 程 更 复 杂, 数 据 首 先 是 写 到 内 存 中 的 一 个 缓 冲 区, 并 做 了 一 些 预 排 序, 以 提 升 效 率 如 图 2 所 示 : 创 刊 号 2010 年 1 月 50

55 图 2 MapReduce 中 的 Shuffle 和 Sort 过 程 每 个 Map 任 务 都 有 一 个 用 来 写 入 输 出 数 据 的 循 环 内 存 缓 冲 区 这 个 缓 冲 区 默 认 大 小 是 100MB, 可 以 通 过 io.sort.mb 属 性 来 设 置 具 体 大 小 当 缓 冲 区 中 的 数 据 量 达 到 一 个 特 定 阀 值 (io.sort.mb * io.sort.spill.percent, 其 中 io.sort.spill.percent 默 认 是 0.80) 时, 系 统 将 会 启 动 一 个 后 台 线 程 把 缓 冲 区 中 的 内 容 spill 到 磁 盘 在 spill 过 程 中,Map 的 输 出 将 会 继 续 写 入 到 缓 冲 区, 但 如 果 缓 冲 区 已 满,Map 就 会 被 阻 塞 直 到 spill 完 成 spill 线 程 在 把 缓 冲 区 的 数 据 写 到 磁 盘 前, 会 对 它 进 行 一 个 二 次 快 速 排 序, 首 先 根 据 数 据 所 属 的 partition 排 序, 然 后 每 个 partition 中 再 按 Key 排 序 输 出 包 括 一 个 索 引 文 件 和 数 据 文 件 如 果 设 定 了 Combiner, 将 在 排 序 输 出 的 基 础 上 运 行 Combiner 就 是 一 个 Mini Reducer, 它 在 执 行 Map 任 务 的 节 点 本 身 运 行, 先 对 Map 的 输 出 做 一 次 简 单 Reduce, 使 得 Map 的 输 出 更 紧 凑, 更 少 的 数 据 会 被 写 入 磁 盘 和 传 送 到 Reducer spill 文 件 保 存 在 由 mapred.local.dir 指 定 的 目 录 中,Map 任 务 结 束 后 删 除 每 当 内 存 中 的 数 据 达 到 spill 阀 值 的 时 候, 都 会 产 生 一 个 新 的 spill 文 件, 所 以 在 Map 任 务 写 完 它 的 最 后 一 个 输 出 记 录 时, 可 能 会 有 多 个 spill 文 件 在 Map 任 务 完 成 前, 所 有 的 spill 文 件 将 会 被 归 并 排 序 为 一 个 索 引 文 件 和 数 据 文 件, 如 图 3 所 示 这 是 一 个 多 路 归 并 过 程, 最 大 归 并 路 数 由 io.sort.factor 控 制 ( 默 认 是 10) 如 果 设 定 了 Combiner, 并 且 spill 文 件 的 数 量 至 少 是 3( 由 min.num.spills.for.combine 属 性 控 制 ), 那 么 Combiner 将 在 输 出 文 件 被 写 入 磁 盘 前 运 行 以 压 缩 数 据 图 3 Map 任 务 的 最 终 输 出 文 件 创 刊 号 2010 年 1 月 51

56 对 写 入 到 磁 盘 的 数 据 进 行 压 缩 ( 这 种 压 缩 同 Combiner 的 压 缩 不 一 样 ) 通 常 是 一 个 很 好 的 方 法, 因 为 这 样 做 使 得 数 据 写 入 磁 盘 的 速 度 更 快, 节 省 磁 盘 空 间, 并 减 少 需 要 传 送 到 Reducer 的 数 据 量 默 认 输 出 是 不 被 压 缩 的, 但 可 以 很 简 单 的 设 置 mapred.compress.map.output 为 true 启 用 该 功 能 压 缩 所 使 用 的 库 由 mapred.map.output.compression.codec 来 设 定, 目 前 主 要 有 以 下 几 个 压 缩 格 式, 见 表 1 表 1 Hadoop 支 持 的 压 缩 格 式 压 缩 格 式 工 具 算 法 扩 展 名 支 持 分 卷 是 否 可 分 割 DEFLATE 无 DEFLATE.deflate 不 支 持 不 可 以 gzip gzip DEFLATE.gz 不 支 持 不 可 以 当 spill 文 件 归 并 完 毕 后,Map 将 删 除 所 有 的 临 时 spill 文 件, 并 告 知 TaskTracker 任 务 已 完 成 Reducers 通 过 HTTP 来 获 取 对 应 的 数 据 用 来 传 输 partitions 数 据 的 工 作 线 程 个 数 由 tasktracker.http.threads 控 制, 这 个 设 定 是 针 对 每 一 个 TaskTracker 的, 并 不 是 单 个 Map, 默 认 值 为 40, 在 运 行 大 作 业 的 大 集 群 上 可 以 增 大 以 提 升 数 据 传 输 速 率 现 在 让 我 们 转 到 Shuffle 的 Reduce 部 分 Map 的 输 出 文 件 放 置 在 运 行 Map 任 务 的 TaskTracker 的 本 地 磁 盘 上 ( 注 意 :Map 输 出 总 是 写 到 本 地 磁 盘, 但 Reduce 输 出 不 是, 一 般 是 写 到 HDFS), 它 是 运 行 Reduce 任 务 的 TaskTracker 所 需 要 的 输 入 数 据 Reduce 任 务 的 输 入 数 据 分 布 在 集 群 内 的 多 个 Map 任 务 的 输 出 中,Map 任 务 可 能 会 在 不 同 的 时 间 内 完 成, 只 要 有 其 中 的 一 个 Map 任 务 完 成,Reduce 任 务 就 开 始 拷 贝 它 的 输 出 这 个 阶 段 称 之 为 拷 贝 阶 段 Reduce 任 务 拥 有 多 个 拷 贝 线 程, 可 以 并 行 的 获 取 Map 输 出 可 以 通 过 设 定 mapred.reduce.parallel.copies 来 改 变 线 程 数, 默 认 是 5 Reducer 是 怎 么 知 道 从 哪 些 TaskTrackers 中 获 取 Map 的 输 出 呢? 当 Map 任 务 完 成 之 后, 会 通 知 它 们 的 父 TaskTracker, 告 知 状 态 更 新, 然 后 TaskTracker 再 转 告 JobTracker 这 些 通 知 信 息 是 通 过 心 跳 通 信 机 制 传 输 的 因 此 针 对 一 个 特 定 的 作 业,JobTracker 知 道 Map 输 出 与 TaskTrackers 的 映 射 关 系 Reducer 中 有 一 个 线 程 会 间 歇 的 向 JobTracker 询 问 Map 输 出 的 地 址, 直 到 把 所 有 的 数 据 都 取 到 在 Reducer 取 走 了 Map 输 出 之 后,TaskTrackers 不 会 立 即 删 除 这 些 数 据, 因 为 Reducer 可 能 会 失 败 它 们 会 在 整 个 作 业 完 成 后,JobTracker 告 知 它 们 要 删 除 的 时 候 才 去 删 除 如 果 Map 输 出 足 够 小, 它 们 会 被 拷 贝 到 Reduce TaskTracker 的 内 存 中 ( 缓 冲 区 的 大 小 由 mapred.job.shuffle.input.buffer.percent 控 制, 制 定 了 用 于 此 目 的 的 堆 内 存 的 百 分 比 ); 如 果 缓 冲 区 空 间 不 足, 会 被 拷 贝 到 磁 盘 上 当 内 存 中 的 缓 冲 区 用 量 达 到 一 定 比 例 阀 值 ( 由 mapred.job.shuffle.merge.threshold 控 制 ), 或 者 达 到 了 Map 输 出 的 阀 值 大 小 ( 由 mapred.inmem.merge.threshold 控 制 ), 缓 冲 区 中 的 数 据 将 会 被 归 并 然 后 spill 到 磁 盘 拷 贝 来 的 数 据 叠 加 在 磁 盘 上, 有 一 个 后 台 线 程 会 将 它 们 归 并 为 更 大 的 排 序 文 件, 这 样 做 节 省 了 后 期 归 并 的 时 间 对 于 经 过 压 缩 的 Map 输 出, 系 统 会 自 动 把 它 们 解 压 到 内 存 方 便 对 其 执 行 归 并 ZIP zip DEFLATE.zip 支 持 可 以 bzip2 bzip2 bzip2.bz2 不 支 持 可 以 LZO lzop LZO.lzo 不 支 持 不 可 以 当 所 有 的 Map 输 出 都 被 拷 贝 后,Reduce 任 务 进 入 排 序 阶 段 ( 更 恰 当 的 说 应 该 是 归 并 阶 段, 因 为 排 序 在 Map 端 就 已 经 完 成 ), 这 个 阶 段 会 对 所 有 的 Map 输 出 进 行 归 并 排 序, 这 个 工 作 会 重 复 多 次 才 能 完 成 假 设 这 里 有 50 个 Map 输 出 ( 可 能 有 保 存 在 内 存 中 的 ), 并 且 归 并 因 子 是 10( 由 io.sort.factor 控 制, 就 像 Map 端 的 merge 一 样 ), 那 最 终 需 要 5 次 归 并 每 次 归 并 会 把 10 个 文 件 归 并 为 一 个, 最 终 生 成 5 个 中 间 文 件 在 这 一 步 之 后, 系 统 不 再 把 5 个 中 间 文 件 归 并 创 刊 号 2010 年 1 月 52

57 成 一 个, 而 是 排 序 后 直 接 喂 给 Reduce 函 数, 省 去 向 磁 盘 写 数 据 这 一 步 最 终 归 并 的 数 据 可 以 是 混 合 数 据, 既 有 内 存 上 的 也 有 磁 盘 上 的 由 于 归 并 的 目 的 是 归 并 最 少 的 文 件 数 目, 使 得 在 最 后 一 次 归 并 时 总 文 件 个 数 达 到 归 并 因 子 的 数 目, 所 以 每 次 操 作 所 涉 及 的 文 件 个 数 在 实 际 中 会 更 微 妙 些 譬 如, 如 果 有 40 个 文 件, 并 不 是 每 次 都 归 并 10 个 最 终 得 到 4 个 文 件, 相 反 第 一 次 只 归 并 4 个 文 件, 然 后 再 实 现 三 次 归 并, 每 次 10 个, 最 终 得 到 4 个 归 并 好 的 文 件 和 6 个 未 归 并 的 文 件 要 注 意, 这 种 做 法 并 没 有 改 变 归 并 的 次 数, 只 是 最 小 化 写 入 磁 盘 的 数 据 优 化 措 施, 因 为 最 后 一 次 归 并 的 数 据 总 是 直 接 送 到 Reduce 函 数 那 里 在 Reduce 阶 段,Reduce 函 数 会 作 用 在 排 序 输 出 的 每 一 个 key 上 这 个 阶 段 的 输 出 被 直 接 写 到 输 出 文 件 系 统, 一 般 是 HDFS 在 HDFS 中, 因 为 TaskTracker 节 点 也 运 行 着 一 个 DataNode 进 程, 所 以 第 一 个 块 备 份 会 直 接 写 到 本 地 磁 盘 到 此,MapReduce 的 Shuffle 和 Sort 分 析 完 毕 海 量 数 据 存 储 和 计 算 平 台 的 调 试 器 研 究 作 者 : 一 见 1. 前 言 在 Hadoop 的 基 础 上, 提 出 一 种 新 的 调 度 器 模 型, 试 图 达 到 并 行 高 效 灵 活 和 资 源 最 大 化 利 用 的 目 的 本 文 研 究 的 基 础 建 立 在 存 储 和 计 算 的 均 衡 之 上, 有 关 均 衡 的 话 题 请 参 见 探 讨 MapReduce 模 型 的 改 进 一 文 2. 集 群 结 构 集 群 中 只 存 在 两 类 节 点 : 调 度 节 点 和 工 作 节 点 创 刊 号 2010 年 1 月 53

58 3. 适 用 场 景 本 调 度 器 适 用 以 下 应 用 场 景 : 需 要 充 分 利 用 CPU 等 硬 件 资 源 需 要 多 Job 并 行 运 行 需 要 设 置 不 同 的 Job 运 行 级 别 对 紧 急 情 况 ( 如 领 导 要 求 出 某 份 数 据 ) 的 支 持 4. Job 和 Task Job 直 接 面 向 用 户, 由 用 户 提 交, 并 且 用 户 可 以 控 制 它 的 运 行 每 一 个 Job 都 被 划 分 成 若 干 个 Task 只 有 Job 有 优 先 级,Task 是 没 有 优 先 级 概 念 的 5. Job 优 先 级 Job 的 优 先 级 概 念 分 三 类 : 5.1. 建 议 优 先 级 建 议 优 先 级 是 用 户 在 提 交 Job 时 指 定, 共 分 五 个 等 级, 它 并 不 代 表 实 际 运 行 时 的 级 别 支 持 在 运 行 时 调 整 优 先 级 5.2. 实 际 优 先 级 Job 实 际 运 行 时 的 优 先 级, 由 调 度 器 根 据 建 议 优 先 级 和 Job 进 入 队 列 的 时 间 动 态 计 算 出 Job 进 入 队 列 的 时 间 越 长, 那 么 它 的 实 际 优 先 级 也 会 越 高, 目 的 是 防 止 低 优 先 级 的 Job 被 饿 死, 得 不 到 被 执 行 的 机 会 5.3. 绝 对 优 先 级 当 有 突 发 事 件 或 系 统 故 障 恢 复 后, 可 能 存 在 一 些 非 常 紧 急 的 Job, 它 必 须 第 一 时 间 内 完 成 它, 所 以 定 义 出 绝 对 优 先 级 该 优 先 级 的 Job 执 行 时, 独 占 所 有 资 源, 其 它 的 Job 都 必 须 无 条 件 地 让 出 资 源 可 以 有 多 个 绝 对 优 先 级 Job, 多 个 绝 对 优 先 级 的 Job 之 间 是 串 型 运 行 的, 即 同 一 时 刻 只 会 有 一 个 绝 对 优 先 级 在 运 行 另 外, 还 可 以 降 低 绝 对 优 先 级 Job 为 普 通 优 先 级 Job 优 先 级 类 型 特 性 实 际 优 先 级 由 建 议 优 先 级 和 入 队 时 间 共 同 决 定, 每 个 时 间 片 后 需 要 重 新 计 普 通 优 先 级 Job 算 实 际 优 先 级 值 绝 对 优 先 级 Job 实 际 优 先 级 只 由 入 队 时 间 决 定, 只 能 串 型 运 行, 入 队 时 间 越 早 优 先 级 越 高 6. 时 间 片 和 Task 操 作 系 统 的 调 度 器 是 有 时 间 片 概 念 的, 以 达 到 并 多 进 程 并 发 运 行 的 目 的 同 样, MapReduce 的 调 度 也 可 以 借 用 这 个 思 想, 问 题 的 关 键 演 变 为 如 何 确 定 时 间 片 由 于, 我 们 面 对 的 是 海 量 数 据, 因 此 通 常 每 一 个 Job 都 会 被 分 解 成 大 量 的 Task, 而 且 每 个 Task 的 粒 度 在 可 调 整 的 64M 左 右, 所 以 可 以 将 一 个 Task 作 为 一 个 时 间 片, 也 就 是 将 一 个 Task 作 为 一 个 原 子 操 作 看 待, 在 一 个 Task 运 行 过 程 中 是 不 可 以 中 断 的 一 个 Task 作 为 一 个 调 度 时 间 片, 是 本 调 度 器 最 核 心 的 思 想 7. 调 度 准 则 创 刊 号 2010 年 1 月 54

59 在 任 何 时 候, 只 要 有 空 闲 的 CPU CORE, 而 且 有 待 调 度 的 Task, 那 么 Task 即 可 被 分 配 到 空 闲 的 CPU CORE 上, 即 使 当 前 的 Job 是 否 处 于 绝 对 优 先 级, 目 的 是 为 了 最 大 的 利 用 硬 件 资 源 因 为 并 不 是 所 有 的 绝 对 优 先 级 Job 都 能 够 完 全 充 分 的 利 用 所 有 的 CPU CORE, 所 以 如 果 不 这 样 做, 就 会 浪 费 部 分 CPU CORE, 达 不 到 充 分 利 用 硬 件 资 源 的 目 的 将 一 个 节 点 划 分 为 N 个 Slots,N 值 等 于 该 节 点 的 CPU CORE 个 数, 也 就 是 一 个 节 点 最 多 可 以 运 行 与 CPU CORE 个 数 相 等 的 Task, 这 些 Tasks 可 以 分 属 于 不 同 的 Job 8. 性 能 估 计 由 于 本 调 度 策 略 充 分 利 用 了 硬 件 资 源, 具 体 到 了 每 一 壳 CPU CORE 的 粒 度, 不 管 是 串 型 还 是 并 行, 都 不 会 有 CPU CORE 的 浪 费, 所 以 总 的 性 能 应 当 是 各 调 度 策 略 中 最 高 的 操 作 系 统 进 程 间 的 切 换, 通 常 是 一 个 较 大 的 开 销, 但 MapReduce 中 Job 的 切 换 开 销 可 以 忽 略 不 计, 因 为 这 个 动 作 是 在 调 度 节 点 完 成 的, 工 作 节 点 并 不 参 与 9. 内 存 估 计 一 个 工 作 节 点 上, 同 一 时 刻 只 会 有 CPU CORE 个 数 的 Task 在 运 行, 所 以 工 作 节 点 对 内 存 的 需 求 很 低 工 作 节 点 的 内 存 占 用 主 要 分 三 部 分 : 框 架 公 共 部 分 内 存 Tasks 框 架 占 用 内 存 和 Tasks 业 务 占 用 内 存 其 中, 框 架 公 共 部 分 内 存 占 用 约 在 100M 以 内, 单 个 Task 框 架 内 存 占 用 约 在 100M( 假 设 一 个 block 大 小 为 64M, 且 一 次 性 将 它 映 射 到 内 存 ) 以 内., 一 个 带 4 个 CPU CORE 的 节 点 需 要 的 内 存 也 不 会 超 过 1G, 其 余 的 内 存 供 Tasks 业 务 使 用 因 此, 节 点 机 器 的 物 理 内 存 达 到 2G 即 可 满 足 运 行 需 求 创 刊 号 2010 年 1 月 55

60 探 讨 MapReduce 模 型 的 改 进 作 者 : 一 见 1. 需 要 什 么? 到 底 需 要 什 么 了? 不 同 的 人 会 有 不 同 的 回 答 要 求 系 统 稳 定 高 效 和 易 于 维 护? 这 些 不 能 算 是 答 案, 因 为 几 乎 所 有 的 系 统 都 有 这 样 的 要 求 如 果 数 据 量 一 直 在 以 TB 级 的 数 量 增 长, 系 统 需 要 支 撑 PB 量 级, 甚 至 EB 量 级 时, 什 么 样 的 系 统 才 能 满 足 这 样 的 需 求? 答 案 只 有 一 个, 那 就 是 具 备 线 性 扩 展 能 力 的 系 统 可 以 从 不 同 的 角 度 来 看 待 这 个 问 题 : 从 用 户 角 度 来 看 : 需 要 具 备 线 性 扩 展 能 力 ; 从 存 储 和 计 算 的 分 层 角 度 来 看 : 存 储 和 计 算 两 个 层 面 都 需 要 具 备 线 性 扩 展 能 力 ; 从 元 数 据 管 理 的 角 度 来 看 : 元 数 据 管 理 也 必 须 具 备 线 性 扩 展 能 力, 而 不 受 限 于 单 个 节 点 的 容 量 和 处 理 能 力 ; 从 系 统 的 整 体 架 构 上 来 看 : 均 衡 分 布 式 海 量 数 据 存 储 和 计 算 平 台 的 建 设 成 功 与 否, 关 键 一 点 就 是 看 均 衡 控 制 得 如 何, 均 衡 还 会 影 响 到 它 的 核 心 功 能 调 度 器 的 实 现 2. Map-Reduce 模 型 Hadoop MapReduce 实 现 存 储 的 均 衡, 但 未 实 现 计 算 的 均 衡, 这 是 它 天 生 的 缺 陷 目 前, 通 常 采 用 规 避 的 办 法 来 解 决 这 个 问 题, 由 编 写 MapReduce 代 码 的 程 序 员 来 保 证, 这 也 使 得 MapReduce 的 调 度 器 无 法 实 现 得 相 当 灵 活, 多 调 度 策 略 无 法 使 用, 而 只 能 分 集 群 多 调 度 器 并 存 下 面, 我 们 就 探 讨 如 何 改 进 Map-Reduce 模 型, 建 立 新 的 编 程 模 型 3. Map-Balance-Reduce 模 型 创 刊 号 2010 年 1 月 56

61 新 的 模 型 仍 然 保 持 简 单 性, 针 对 reduce 输 入 不 均 衡 的 缺 陷, 在 reduce 之 前 增 加 balance 一 层, 这 层 的 作 用 就 是 保 证 reduce 的 输 入 是 均 衡 的, 同 时 保 证 语 义 不 变, 因 此 用 户 需 要 实 现 的 接 口 由 map 和 reduce 两 个 变 成 三 个, 还 需 要 实 现 balance: public class Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT> { protected void map(keyin key,valuein value,context context ); } public class Reducer<KEYIN, VALUEIN, KEYOUT, VALUEOUT> { protected void reduce(keyin key,iterable<valuein> values,context context ); } public class Balancer<KEYIN, VALUEIN, KEYOUT, VALUEOUT> { protected void balance(keyin key,valuein value,context context ); } 根 据 新 的 MBR 模 型, 原 来 的 MR 流 程 变 成 如 下 图 所 示 的 新 过 程 : 创 刊 号 2010 年 1 月 57

62 从 上 图 可 以 看 出, 一 次 计 算 可 能 需 要 经 历 多 次 balance 过 程, 具 体 是 多 少 和 数 据 量 的 大 小 有 关 导 致 reduce 输 入 不 均 衡 的 原 因 主 要 在 两 个 方 面 : 相 同 KEY 的 记 录 数 过 多 和 不 同 KEY 聚 集 后 的 结 果 相 同, 对 于 前 者 可 以 考 虑 在 map 端 优 化, 后 者 主 要 是 改 进 partition 算 法 4. MBR vs MR 4.1. MBR 优 点 (1) 编 程 更 简 单, 不 需 要 考 虑 打 散 KEY 的 问 题 (2) 可 以 实 现 非 常 强 的 调 度 器, 有 关 调 度 器 的 研 究, 请 参 见 海 量 数 据 存 储 和 计 算 平 台 的 调 试 器 研 究 一 文 (3) 具 备 全 线 性 扩 展 能 力 4.2. MBR 缺 点 1) 相 比 MR, 程 序 员 需 要 多 实 现 一 个 balace 接 口 2) 如 果 对 小 数 据 量 启 用 balance, 存 在 性 能 降 低 的 可 能 运 行 eclipse 编 译 出 的 Hadoop 框 架 作 者 : 一 见 本 文 介 绍 如 何 发 布 eclipse 编 译 出 的 Hadoop 框 架, 有 关 Hadoop 的 编 译, 请 参 考 相 关 文 章, 需 要 发 布 的 JAR 文 件, 包 括 Common HDFS 和 MapReduce 三 个 成 员 的 JAR 文 件 Hadoop 官 方 发 布 的 release 二 进 制 包, 将 common HDFS 和 MapReduce 都 打 包 在 hadoopx.y.z-core.jar 一 个 JAR 文 件 中, 但 如 果 使 用 eclipse 编 译, 则 会 分 别 生 成 三 个 不 同 的 包 文 件, 如 : hadoop-core snapshot.jar,hadoop-hdfs snapshot.jar 和 hadoop-mapred snapshot.jar 发 布 这 三 个 JAR 文 件 的 方 法 如 下 : 创 刊 号 2010 年 1 月 58

63 将 eclipse 编 译 生 成 的 core 和 三 个 JAR 文 件 放 到 Hadoop 安 装 目 录 下, 将 原 来 的 hadoopx.y.z-core.jar 文 件 移 到 其 它 目 录 ( 目 录 不 能 为 hadoop/lib 等 Hadoop classpath 包 含 的 目 录 ), 或 重 命 名 成 以.bak 结 尾 的 文 件,Master 和 Slave 节 点 都 需 要 操 作 一 次 另 外, 还 需 要 修 改 bin/hadoop 脚 本 文 件, 将 hadoop-*-core.jar 改 成 hadoop-*.jar # for releases, add core hadoop jar & webapps to CLASSPATH if [ -d "$HADOOP_HOME/webapps" ]; then CLASSPATH=${CLASSPATH}:$HADOOP_HOME fi // 将 下 面 的 hadoop-*-core.jar 改 成 :hadoop-*.jar for f in $HADOOP_HOME/hadoop-*-core.jar; do CLASSPATH=${CLASSPATH}:$f; done # add libs to CLASSPATH for f in $HADOOP_HOME/lib/*.jar; do CLASSPATH=${CLASSPATH}:$f; done 在 运 行 之 前, 还 需 要 更 新 FSImage, 这 个 只 需 要 在 运 行 Hadoop 之 前, 先 执 行 start-dfs.sh - upgrade 命 令, 然 后 再 重 启 Hadoop, 一 切 就 OK 了 表 关 联 在 MapReduce 上 的 实 现 作 者 : 薛 文 编 辑 : 若 冰 MapReudce 是 Hadoop 中 重 要 的 分 布 式 计 算 模 型, 用 以 进 行 大 规 模 的 数 据 计 算 用 户 指 定 一 个 map 函 数, 通 过 这 个 map 函 数 处 理 key/value 键 值 对, 并 产 生 一 系 列 的 中 间 key/value 对, 再 使 用 reduce 函 数 合 并 所 有 的 相 同 Key 值 对 应 的 value 集 合 本 文 借 用 MapReudce 模 型 来 实 现 两 个 表 格 之 间 的 链 接, 从 这 么 一 个 小 小 的 角 度 来 分 析 MapReduce 在 计 算 方 面 的 优 势 问 题 描 述 假 设 有 两 个 表 格, 均 以.txt 文 件 存 储 : (1) 商 品 表 (trade table), 表 格 名 称 包 含 action 字 段, 每 行 为 一 条 数 据, 分 隔 符 为, 对 应 格 式 如 下 : 产 品 ID1 所 属 商 品 ID1 产 品 ID2 所 属 商 品 ID2 产 品 IDn 所 属 商 品 IDn (2) 支 付 表 ( pay table), 文 件 名 称 包 含 alipay, 每 行 为 一 条 数 据, 分 隔 符 同 上, 对 应 格 式 为 : 产 品 ID1 支 付 ID1 产 品 ID2 支 付 ID2 创 刊 号 2010 年 1 月 59

64 产 品 IDn 支 付 IDn 目 标 : 将 这 两 个 表 格 根 据 相 同 的 产 品 ID 链 接 起 来, 生 成 新 的 key/value pair: < 所 属 商 品 ID1, 支 付 ID1> < 所 属 商 品 ID2, 支 付 ID2> < 所 属 商 品 IDn, 支 付 IDn> 解 决 思 路 支 付 表 < 产 品 I D, 支 付 I D > 商 品 表 < 产 品 I D, 商 品 I D > M apper 产 品 I D 1 { 封 装 的 商 品 I D, 封 装 的 支 付 I D } Reduce 来 自 商 品 表 Y E S < 产 品 I D, 封 装 的 商 品 I D > 拆 分 处 理 Output < 商 品 I D, 支 付 I D > N O < 产 品 I D, 封 装 的 支 付 I D > 产 品 I D n { 封 装 的 商 品 I D, 封 装 的 支 付 I D } 实 现 流 程 图 两 个 表 格 中 都 包 含 产 品 ID, 所 以 只 需 要 将 产 品 ID 对 应 的 所 属 商 品 ID 及 支 付 表 ID 对 应 起 来 就 可 以 产 品 ID 是 链 接 的 关 键, 可 以 实 现 所 属 商 品 ID 及 支 付 ID 的 join 由 于 MapReduce 的 本 质 是 map 阶 段 分 发 数 据, 在 Reduce 阶 段 收 集 相 同 key 对 应 的 value, 因 此 在 这 个 问 题 上, 可 以 在 map 阶 段, 将 两 个 表 格 数 据 根 据 产 品 ID 这 个 key 分 发 出 去, 将 商 品 ID 及 支 付 ID 封 装 一 下, 作 为 map 阶 段 的 value, 这 样 在 reduce 阶 段 就 可 以 根 据 产 品 ID 得 到 对 应 的 商 品 ID 及 支 付 ID 了 实 现 代 码 1. Mapper 的 实 现 Input: 输 入 文 件 格 式 设 为 Hadoop 自 带 的 TextInputFormat 类 型, 它 采 用 LineRecordReader 来 read 文 件 LineRecordReader, 顾 名 思 义, 即 为 一 行 一 行 的 读 取, 所 以 输 出 为 <LongWritable, Text>, 其 中 LongWritable 是 每 行 的 offset,text 内 容 为 每 行 数 据 信 息 在 本 例 中, 商 品 表 用 action 标 识 做 前 缀, 支 付 表 用 alipay 标 识 做 前 缀 Mapper: 输 入 为 <LongWritable, Text> 格 式, 输 出 为 <Text,Text> 格 式, 输 出 的 key 为 产 品 ID, 输 出 的 value 为 封 装 后 的 商 品 ID 或 支 付 ID, 即 在 商 品 ID 或 支 付 ID 前 加 上 不 同 的 文 件 标 识 以 示 区 分 PreMapper 是 Mapper 的 具 体 实 现 类, 实 现 方 法 如 下 : 创 刊 号 2010 年 1 月 60

65 public class PreMapper extends MapReduceBase implements Mapper<LongWritable, Text, Text, Text> { public void map(longwritable key,text val,outputcollector<text, Text> output,reporter reporter) throws IOException { Text kr =new Text(); Text kv =new Text(); // 获 得 输 入 文 件 的 路 径 名 String path=((filesplit)reporter.getinputsplit()).getpath().tostring(); String[] line = val.tostring().split("\""); if (line.length <2) { // skip bad value return; } String productid = line[0]; kr.set(productid); // key is product ID; if (path.indexof("auction")>=0) { // 数 据 来 自 商 品 表 String tradeid = line[1]; kv.set("supid" + "\"" + tradeid);// 商 品 ID 的 组 合 方 式 : 加 上 supid 前 缀 } else if (path.indexof("alipay")>=0) { // 数 据 来 自 支 付 表 String payid = line[1]; kv.set("buyid"+"\"" + payid); // 支 付 ID 的 组 合 方 式 : 加 上 buyid 前 缀 ; } } } output.collect(kr, kv); 2. Reduce 的 实 现 Map 阶 段 已 经 根 据 不 同 的 产 品 ID 实 现 了 数 据 的 分 发, 在 Reduce 阶 段 只 需 要 进 行 规 约 处 理, 将 相 同 产 品 ID 的 商 品 ID 及 支 付 ID 组 合 输 出 即 可 备 注 : 在 map 阶 段, 分 别 将 商 品 ID 及 支 付 ID 进 行 了 组 装, 加 上 了 不 同 的 文 件 标 识, 所 以 在 reduce 的 处 理 中 需 要 对 数 据 进 行 拆 分, 区 分 是 商 品 ID 还 是 支 付 ID Reduce 的 具 体 实 现 类 为 CommonReduce public class CommonReduce extends MapReduceBase implements Reducer<Text,Text,Text,Text> { public void reduce(text key,iterator<text>values,outputcollector<text,text> output,reporter reporter) throws IOException { 创 刊 号 2010 年 1 月 61

66 String spuid = ""; String buyerid = ""; // key 是 产 品 ID, 遍 历 相 同 key 对 应 的 数 据 集 合 while( values.hasnext()) { String value = values.next().tostring(); int index = value.indexof('"'); if( index == -1) //skip bad record continue; } String subvalue = value.substring(index + 1, value.length()); if (value.startswith("supid")) { // 是 商 品 ID spuid = subvalue; } else if (value.startswith("buyid")) { // 是 支 付 ID buyerid = subvalue; } // 同 时 含 有 商 品 ID 及 支 付 ID 时, 将 这 两 个 数 据 写 入 output if (!spuid.equals("") &&!buyerid.equals("")) { output.collect(new Text(spuid), new Text(buyerid)); } } } 在 output.collect 语 句 中, 将 对 应 产 品 ID 的 商 品 ID 及 支 付 ID 作 为 key 和 value 写 入 output 3. 调 用 函 数 的 配 置 前 面 分 别 实 现 了 Mapper 及 Reducer, 以 下 是 调 用 的 代 码 备 注 : 这 里 的 输 入 输 出 都 是 文 件 夹, 而 非 文 件 实 际 可 以 有 多 个 商 品 表 或 多 个 支 付 表, 每 个 商 品 表 前 缀 均 为 action, 存 放 在 tradetabledir 目 录 下, 每 个 支 付 表 前 缀 均 为 alipay, 放 在 paytabledir 目 录 下 public class Join { public static void main(string[] args) throws IOException { if (args.length <3) { // 调 用 的 usage System.err.println("Usage: Join <tradetabledir> <paytabledir> <output>"); System.exit(-1); } String tradetabledir = args[0]; String paytabledir = args[1]; String jointabledir = args[2]; 创 刊 号 2010 年 1 月 62

67 // 定 义 Job JobConf conf = new JobConf(Join.class); conf.setjobname("join two tables"); // 定 义 输 入 : 商 品 表 & 支 付 表 FileInputFormat.addInputPath(conf, new Path(tradeTableDir)); FileInputFormat.addInputPath(conf, new Path(payTableDir)); conf.setinputformat(textinputformat.class); // 输 入 文 件 格 式 conf.setmapperclass(premapper.class); // 指 定 Mapper conf.setoutputkeyclass(text.class); // 输 出 文 件 的 key conf.setoutputvalueclass(text.class); // 输 出 文 件 的 mapper conf.setreducerclass(commonreduce.class); // 指 定 Reducer conf.setoutputformat(textoutputformat.class); // 输 出 文 件 格 式 } // 定 义 output FileOutputFormat.setOutputPath(conf, new Path(joinTableDir)); JobClient.runJob(conf); // 执 行 job } 输 出 文 件 在 函 数 中 定 义 了 输 出 文 件, 其 实 也 是 一 个 文 件 夹 程 序 运 行 完 毕 之 后, 在 输 出 文 件 夹 下, 可 以 发 现 类 似 part-00000, part 之 类 的 文 件, 即 合 并 之 后 的 表 格, 文 件 内 容 类 似 : TRADE1 PAYID1 TRADE2 PAYID2 TRADE3 PAYID3 备 注 : 如 果 需 要 将 所 有 结 果 输 出 到 一 个 文 件, 即 一 个 part 中, 需 要 设 置 JobConf 的 reduce 个 数 为 1, 即 conf.setnumreducetasks(1) Hadoop 计 算 平 台 和 Hadoop 数 据 仓 库 的 区 别 作 者 : 一 见 目 前,Hadoop 主 要 还 是 用 做 计 算 平 台, 处 理 海 量 数 据 的 分 析, 如 典 型 的 日 志 分 析, 但 以 Facebook 和 Yahoo 为 首 的 公 司 早 已 经 将 它 用 于 数 据 仓 库 在 国 内, 也 有 不 少 公 司 开 始 尝 试 Hadoop 在 数 据 仓 库 方 面 的 应 用, 但 是 力 度 还 不 够, 而 且 多 半 也 是 借 助 于 Facebook 贡 献 给 Hadoop 的 Hive 组 件 由 于 Hive 提 供 了 类 似 SQL 的 编 程 接 口, 使 得 使 用 Hadoop 的 门 槛 大 大 降 低, 为 Hadoop 在 数 据 仓 库 方 面 的 应 用 迈 出 了 一 大 步 大 家 在 使 用 Hadoop 作 为 数 据 仓 库 时, 经 常 会 拿 来 和 计 算 平 台 对 比 创 刊 号 2010 年 1 月 63

68 实 在 地 说, 目 前 的 Hadoop 还 不 能 完 全 满 足 数 据 仓 库 业 务 的 所 有 需 求, 但 是 可 以 将 它 加 以 改 进, 以 达 到 替 换 传 统 数 据 仓 库 系 统 的 目 的, 这 无 疑 会 给 企 业 节 省 大 笔 开 支 下 面 是 计 算 平 台 和 数 据 仓 库 的 一 个 简 单 对 比, 供 基 于 MapReduce 构 造 数 据 仓 库 系 统 时 参 考 : Hadoop 计 算 平 台 Hadoop 数 据 仓 库 共 同 点 1. 均 需 要 提 供 TB 级 海 量 数 据 的 计 算 能 力 2. 均 采 用 MapReduce 作 为 计 算 引 擎 不 同 点 1. 更 偏 重 计 算 和 弱 存 储 需 求 1. 计 算 和 存 储 都 要 求 高 2. 通 用 平 台, 无 特 定 业 务 要 求 2. 专 用 系 统, 仅 用 于 数 据 仓 库 业 务 3. 存 储 层 为 FS, 体 现 为 文 件 特 性 3. 存 储 层 为 DB, 体 现 为 表 特 性 4. 以 提 供 MapReduce 编 程 为 主 4. 以 提 供 SQL 编 程 为 主 5. 以 非 结 构 化 数 据 为 主 5. 所 有 数 据 结 构 化 6. 无 索 引 6. 支 持 块 索 引, 块 内 索 引 高 效 7. 数 据 只 读, 全 文 扫 描 7. 支 持 增 删 改 8. 按 字 节 数 分 块 8. 按 记 录 数 分 块, 每 个 表 块 的 记 录 数 可 不 同 欢 迎 加 入 Hadoop 技 术 论 坛 进 一 步 交 流! 创 刊 号 2010 年 1 月 64

69 Hadoop 开发者创刊号 总第 1 期 bbs.hadoopor.com hadoop 技术论坛 Hadoop 技术论坛 创刊号 2010 年 1 月 65