细 细 品 味 Hadoop Hadoop 集 群 ( 第 4 期 ) 精 华 集 锦 csaxp 虾 皮 工 作 室 http://www.cnblogs.com/xia520pi/ 2012 年 4 月 24 日
Hadoop 集 群 ( 第 4 期 ) SecureCRT 使 用 1 SecureCRT 简 介 SecureCRT 是 一 款 支 持 SSH(SSH1 和 SSH2) 的 终 端 仿 真 程 序, 同 时 支 持 Telnet 和 rlogin 协 议 SecureCRT 是 一 款 用 于 连 接 运 行 包 括 Windows UNIX 和 VMS 的 远 程 系 统 的 理 想 工 具 通 过 使 用 内 含 的 VCP 命 令 行 程 序 可 以 进 行 加 密 文 件 的 传 输 有 流 行 CRTTelnet 客 户 机 的 所 有 特 点, 包 括 : 自 动 注 册 对 不 同 主 机 保 持 不 同 的 特 性 打 印 功 能 颜 色 设 置 可 变 屏 幕 尺 寸 用 户 定 义 的 键 位 图 和 优 良 的 VT100,VT102,VT220 和 ANSI 竞 争 能 从 命 令 行 中 运 行 或 从 浏 览 器 中 运 行 其 它 特 点 包 括 文 本 手 稿 易 于 使 用 的 工 具 条 用 户 的 键 位 图 编 辑 器 可 定 制 的 ANSI 颜 色 等.SecureCRT 的 SSH 协 议 支 持 DES,3DES 和 RC4 密 码 和 密 码 与 RSA 鉴 别 2 SecureCRT 安 装 2.1 下 载 软 件 为 了 使 实 验 室 后 续 人 员 还 能 按 照 该 文 档 设 置, 故 把 本 次 用 的 软 件 上 传 到 CSDN 上, 即 使 你 实 验 室 找 不 到 该 软 件 的 情 况 下 还 可 以 从 下 面 地 址 中 下 载 地 址 :http://download.csdn.net/detail/xia520pi/4088823 2.2 安 装 软 件 因 为 这 包 软 件 是 绿 色 安 装, 所 以 只 需 要 把 压 缩 包 解 压 到 你 想 要 的 地 方 即 可 例 如 : 河 北 工 业 大 学 软 件 工 程 与 理 论 实 验 室 编 辑 : 虾 皮 1
上 图 中 是 本 人 的 解 压 之 后 的 地 方, 我 放 在 了 E 盘 下, 打 开 文 件 夹, 找 到 SecureCRT.exe 接 着 右 击 SecureCRT.exe, 建 立 桌 面 快 捷 方 式 当 首 次 运 行 该 软 件 时 会 弹 出 一 个 选 项 框, 别 管 它, 关 掉 即 可, 这 是 会 出 现 如 下 界 面 上 图 就 是 这 个 软 件 的 启 动 界 面, 下 面 我 们 就 将 如 何 实 现 该 软 件 实 现 远 程 登 录 我 们 的 河 北 工 业 大 学 软 件 工 程 与 理 论 实 验 室 编 辑 : 虾 皮 2
Linux 系 统 3 用 密 码 登 录 Linux 这 小 节 我 们 将 采 用 密 码 的 方 式 登 录 Linux, 首 先 我 们 做 的 第 一 件 事 儿 就 是 建 立 远 程 会 话 有 两 种 途 径 建 立 第 一 种 : 文 件 连 接 第 二 种 : 用 菜 单 栏 的 快 捷 方 式 按 照 两 种 方 式 都 可 以, 然 后 弹 出 下 面 选 项 框, 照 着 图 那 样 点 击 所 示 按 钮 然 后 弹 出 如 下 界 面 选 择 SSH2, 接 着 点 击 下 一 步 河 北 工 业 大 学 软 件 工 程 与 理 论 实 验 室 编 辑 : 虾 皮 3
按 照 上 图 所 示, 填 写 要 远 程 连 接 的 主 机 名 和 用 户 名, 比 如 我 要 连 接 主 机 名 : 192.168.1.10 且 用 户 名 :hadoop 的 机 器, 就 如 上 所 写 上 面 这 个 会 话 名 称 可 以 修 改, 也 可 以 保 持 不 变, 点 击 完 成, 就 设 置 成 功 了 如 果 刚 才 改 会 话 名 称, 上 图 的 就 不 是 一 个 IP 地 址 了, 而 是 你 自 己 设 置 的 名 字 还 有 记 得 勾 上 在 标 签 页 中 打 开, 如 果 你 想 在 一 个 界 面 中 打 开 多 个 终 端, 就 有 这 个 必 要 这 时 选 择 你 想 远 程 连 接, 选 择 一 个 会 话 名 称, 比 如 192.168.1.10, 点 击 连 接 河 北 工 业 大 学 软 件 工 程 与 理 论 实 验 室 编 辑 : 虾 皮 4
出 现 上 面 画 面, 默 认 接 受 并 保 存, 直 接 按 回 车, 就 可 以 了 然 后 就 会 让 你 输 入 密 码, 写 上 密 码, 在 保 存 密 码 前 打 上 对 勾, 接 着 确 认 如 果 网 络 畅 通, 就 可 以 进 行 远 程 访 问 了 出 现 上 面 的 绿 色 对 勾, 就 表 示 你 已 经 连 接 上 了, 我 们 现 在 试 一 个 命 令 吧 我 们 发 现 了 两 个 不 如 意 的 地 方, 第 一 个 : 出 现 了 红 色 标 记 的 乱 码 ; 第 二 个 : 黑 白 显 示 不 是 很 舒 服 当 然 这 个 我 们 是 可 以 进 行 调 节 的 那 我 们 还 等 什 么 呢? 那 就 赶 紧 行 动 吧, 使 我 们 的 界 面 变 得 更 加 人 性 化 河 北 工 业 大 学 软 件 工 程 与 理 论 实 验 室 编 辑 : 虾 皮 5
按 照 上 图 中, 右 击 192.168.1.10 标 签, 会 弹 出 一 个 菜 单 点 击 会 话 选 项 按 照 上 图 中 三 步 进 行 设 置, 点 击 仿 真, 在 终 端 选 择 Linux, 接 着, 把 使 用 颜 色 方 案 和 ANSI 颜 色 打 上 对 勾 然 后 还 有 一 个 问 题 没 有 解 决, 就 是 中 文 乱 码 问 题, 好, 我 们 选 择 外 观, 可 以 更 改 当 前 颜 色 方 案, 默 认 的 是 Monochrone, 我 比 较 喜 欢 花 白 / 暗 青, 接 着 设 置 字 体, 如 果 你 感 觉 默 认 字 体 比 较 舒 服, 就 按 原 来 不 动, 如 果 感 觉 自 己 比 较 小, 可 以 把 字 体 设 置 大, 我 比 较 喜 欢 楷 体 14 号, 这 样 看 显 示 结 果 比 较 舒 服 一 点, 你 现 在 该 问 了, 我 们 不 是 解 决 中 文 乱 码 问 题 吗? 怎 么 现 在 竟 弄 了 一 下 无 关 紧 要 的 事 儿, 哈 哈, 下 面 就 该 设 置 编 码 了, 细 心 的 你 会 发 现 有 一 个 字 符 编 码 的 选 项, 默 认 是 Default, 现 在 我 们 选 择 UTF-8 河 北 工 业 大 学 软 件 工 程 与 理 论 实 验 室 编 辑 : 虾 皮 6
这 样 设 置 完, 重 新 连 接, 就 换 成 我 们 想 要 的 界 面 了 下 面 是 我 们 刚 才 设 置 之 后 的 界 面 截 图 下 图 是 我 们 重 新 连 接 之 后 的 界 面, 发 现 界 面 颜 色 变 了, 而 且 也 没 有 乱 码 了 好 了, 到 目 前 为 止, 我 们 用 密 码 连 接 Linux 已 经 结 束 了, 现 在 就 可 以 远 程 对 L inux 进 行 操 作 了 下 一 节 我 们 将 进 行 SSH 密 钥 连 接 Linux, 这 样 每 次 连 接 就 不 需 要 进 行 输 入 用 户 名 和 密 码 就 可 以 直 接 进 行 连 接, 而 且 安 全 性 是 最 高 的 河 北 工 业 大 学 软 件 工 程 与 理 论 实 验 室 编 辑 : 虾 皮 7
4 用 SSH登 录 Linux 4.1 SSH 基 础 知 识 我 想 肯 定 有 不 少 朋 友 在 使 用 SecureCRT 做 为 SSH 的 客 户 端 软 件, 但 都 很 少 使 用 他 的 RSA/DSA 加 密 功 能 吧, 怎 么 你 还 不 知 道 RSA 是 什 么? SSH, 特 别 是 OpenSSH, 是 一 个 类 似 于 telnet 或 rsh,ssh 客 户 程 序 也 可 以 用 于 登 录 到 远 程 机 器 我 们 中 有 许 多 人 把 优 秀 的 OpenSSH 用 作 古 老 的 telnet 和 rsh 命 令 的 替 代 品, OpenSSH 不 仅 是 安 全 的 而 且 是 加 密 的 OpenSSH 更 加 吸 引 人 的 特 性 之 一 是 它 能 够 使 用 基 于 一 对 互 补 的 数 字 式 密 钥 的 RSA 和 DSA 认 证 协 议 来 认 证 用 户 RSA 和 DSA 认 证 承 诺 不 必 提 供 密 码 就 能 够 同 远 程 系 统 建 立 连 接, 这 是 它 的 主 要 魅 力 之 一 虽 然 这 非 常 吸 引 人, 但 是 OpenSSH 的 新 用 户 们 常 常 以 一 种 快 速 却 不 完 善 的 方 式 配 置 RSA/DSA, 结 果 虽 然 实 现 了 无 密 码 登 录, 却 也 在 此 过 程 中 开 了 一 个 很 大 的 安 全 漏 洞 什 么 是 RSA/DSA 认 证? SSH, 特 别 是 OpenSSH( 完 全 免 费 的 SSH 的 实 现 ), 是 一 个 不 可 思 议 的 工 具 类 似 于 telne t 或 rsh,ssh 客 户 程 序 也 可 以 用 于 登 录 到 远 程 机 器 所 要 求 的 只 是 该 远 程 机 器 正 在 运 行 sshd, 即 ssh 服 务 器 进 程 但 是, 与 telnet 不 同 的 是,ssh 协 议 非 常 安 全 加 密 数 据 流, 确 保 数 据 流 的 完 整 性, 甚 至 安 全 可 靠 的 进 行 认 证 它 都 使 用 了 专 门 的 算 法 然 而, 虽 然 ssh 的 确 很 棒, 但 还 是 有 一 个 ssh 功 能 组 件 常 常 被 忽 略 被 危 险 的 误 用 或 者 简 直 就 是 被 误 解 这 个 组 件 就 是 OpenSSH 的 RSA/DSA 密 钥 认 证 系 统, 它 可 以 代 替 OpenSSH 缺 省 使 用 的 标 准 安 全 密 码 认 证 系 统 OpenSSH 的 RSA 和 DSA 认 证 协 议 的 基 础 是 一 对 专 门 生 成 的 密 钥, 分 别 叫 做 专 用 密 钥 和 公 用 密 钥 使 用 这 些 基 于 密 钥 的 认 证 系 统 的 优 势 在 于 : 在 许 多 情 况 下, 有 可 能 不 必 手 工 输 入 密 码 就 能 建 立 起 安 全 的 连 接 两 项 注 意 事 项 关 于 RSA 和 DSA 认 证 有 两 项 重 要 的 注 意 事 项 第 一 项 是 我 们 的 确 只 需 要 生 成 一 对 密 钥 然 后 我 们 可 以 把 我 们 的 公 用 密 钥 拷 贝 到 想 要 访 问 的 那 些 远 程 机 器 上, 它 们 都 会 根 据 我 们 的 那 把 专 用 密 钥 进 行 恰 当 的 认 证 换 句 话 说, 我 们 并 不 需 要 为 想 要 访 问 的 每 个 系 统 都 准 备 一 对 密 钥 只 要 一 对 就 足 够 了 另 一 项 注 意 事 项 是 专 用 密 钥 不 应 落 入 其 它 人 手 中 正 是 专 用 密 钥 授 权 我 们 访 问 远 程 系 统, 任 何 拥 有 我 们 的 专 用 密 钥 的 人 都 会 被 授 予 和 我 们 完 全 相 同 的 特 权 如 同 我 们 不 想 让 陌 生 人 有 我 们 的 住 处 的 钥 匙 一 样, 我 们 应 该 保 护 我 们 的 专 用 密 钥 以 防 未 授 权 的 使 用 在 比 特 和 字 节 的 世 界 里, 这 意 味 着 没 有 人 是 本 来 就 应 该 能 读 取 或 是 拷 贝 我 们 的 专 用 密 钥 的 4.2 创 建 公 钥 了 解 了 SSH 的 基 本 知 识 后, 我 们 开 始 进 行 本 小 节 的 SSH 登 录 Linux, 首 先 在 SecureCRT 软 件 的 菜 单 栏 中 : 工 具 创 建 公 钥 河 北 工 业 大 学 软 件 工 程 与 理 论 实 验 室 编 辑 : 虾 皮 8
点 击 创 建 公 钥 之 后 出 现 下 图, 并 借 着 点 击 下 一 步 即 可 选 择 非 对 称 加 密 方 式 RSA, 然 后 点 击 下 一 步 通 行 短 语 是 可 选 的, 如 果 设 置 了, 在 连 接 上 服 务 器 的 时 候 需 要 输 入 例 如 : 我 这 里 设 置 了 通 行 短 语 myhadoop, 并 且 下 面 的 注 释 写 为 虾 皮 工 作 室 @Linux 河 北 工 业 大 学 软 件 工 程 与 理 论 实 验 室 编 辑 : 虾 皮 9
下 一 步, 密 钥 长 度, 默 认 即 可,2048 也 行, 越 长 越 安 全 我 们 在 这 里 就 保 持 默 认 即 可, 如 果 选 择 的 越 大, 生 成 密 钥 生 成 的 时 间 也 就 越 长 下 一 步, 生 成 密 钥, 请 耐 心 等 待 完 成 后 下 一 步, 这 里 保 存 了 私 钥 地 址 和 文 件 名 建 议 将 这 个 名 字 改 一 改, 因 为 生 成 多 个 用 户 的 密 钥 的 时 候 方 便 识 别, 而 且 放 在 U 盘 里 随 身 携 带 的 时 候 也 好 认 识, 例 如 把 原 来 的 河 北 工 业 大 学 软 件 工 程 与 理 论 实 验 室 编 辑 : 虾 皮 10
Identity 改 写 成 PubKey_TMaster_Hadoop 到 此 为 止, 使 用 客 户 端 SecureCRT 生 成 密 钥 已 经 完 成 接 下 来, 就 是 要 将 密 钥 文 件 上 传 至 服 务 器 端, 并 在 服 务 器 端 导 入 密 钥 4.3 SSH 服 务 器 设 置 第 一 步 : 在 需 要 配 置 的 用 户 根 目 录 下 创 建.ssh 目 录 并 设 置 一 定 的 权 限 本 次 在 一 般 用 户 (hadoop) 下 面 进 行 河 北 工 业 大 学 软 件 工 程 与 理 论 实 验 室 编 辑 : 虾 皮 11
如 上 图 所 示 通 过 下 面 命 令 建 立 了.ssh 目 录, 并 且 修 改 了 其 权 限 # mkdir /root/.ssh # chmod 700 /root/.ssh 第 二 步 : 采 用 Hadoop 集 群 建 立 VSFTP 服 务 器, 通 过 FTP 把 我 们 的 公 钥 上 传 上 去, 当 然 你 可 以 通 过 U 盘 把 公 钥 拷 贝 到 服 务 器 上 此 次 我 们 采 用 FTP 的 方 式 然 后 通 过 SecureCRT 查 看 文 件 是 否 已 经 上 传 从 上 图 中 我 们 知 道 已 经 上 传 了 第 三 步 : 用 上 传 的 公 钥 生 成 authorized_keys 文 件 并 设 置 文 件 的 权 限, 将 SSH2 兼 容 格 式 的 公 钥 转 换 成 为 Openssh 兼 容 格 式 上 图 中 遇 到 的 命 令 如 下 所 示 : 河 北 工 业 大 学 软 件 工 程 与 理 论 实 验 室 编 辑 : 虾 皮 12
# ssh-keygen -i -f /home/hadoop/.ssh/pubkey_tmaster_hadoop.pub >>/home/hadoop/.ssh /authorized_keys # chmod 600 /home/hadoop/.ssh/authorized_keys 上 面 命 令 红 色 标 注 的 部 分 是 根 据 实 际 情 况 变 化 的, 比 如 这 是 从 网 上 找 的 一 个 例 子, 他 是 这 样 设 置 的 # ssh-keygen -i -f Identity.pub >> /root/.ssh/authorized_keys # chmod 600 /root/.ssh/authorized_keys 上 面 蓝 色 标 注 的 部 分 是 两 个 命 令 的 共 同 点 第 四 步 : 设 置 ssh 配 置 文 件, 为 了 安 全 建 议 只 使 用 密 钥 登 录, 去 掉 默 认 的 密 码 登 录 一 般 用 户 无 法 修 改 /etc/ssh/sshd_config 文 件, 所 以 必 须 切 换 到 root 最 高 权 限 用 户 下 进 行 修 改 使 用 下 面 命 令 Protocol 2 # 使 用 SSH2 协 议 RSAAuthentication yes # 启 用 RSA 认 证 PubkeyAuthentication yes # 启 用 公 钥 私 钥 配 对 认 证 方 式 AuthorizedKeysFile.ssh/authorized_keys # 公 钥 文 件 路 径 ( 和 上 面 生 成 的 文 件 同 ) PasswordAuthentication no # 禁 止 密 码 验 证 登 陆 ( 根 据 需 要, 不 过 一 般 启 用 了 密 钥, 就 不 用 密 码 了 ) 第 五 步 : 重 启 Linux 服 务 器 的 ssh 服 务 # service sshd restart 4.4 SSH 连 接 服 务 器 在 用 密 码 登 陆 Linux 小 节 中, 我 们 讲 到 过 用 两 种 方 式 打 开 连 接 界 面, 然 后 选 择 快 速 连 接 河 北 工 业 大 学 软 件 工 程 与 理 论 实 验 室 编 辑 : 虾 皮 13
点 击 完 快 速 连 接 会 弹 出 下 面 界 面 : 按 照 上 面 的 步 骤 进 行, 步 骤 1 是 默 认 就 选 择 SSH2 协 议 的, 步 骤 2 和 步 骤 3 是 根 据 实 际 情 况 填 写 的 比 如 我 上 面 要 连 接 远 程 Linux 的 IP 为 192.168.1.10 且 一 般 账 户 为 hadoop 的 机 器 步 骤 4 只 需 要 勾 上 公 钥 和 键 盘 交 互, 然 后 选 中 公 钥, 点 击 其 属 性 按 钮, 及 图 中 标 注 的 步 骤 5 通 过 浏 览 选 择 我 们 刚 才 生 成 的 证 书, 点 击 确 定, 回 到 快 速 连 接 界 面 点 击 连 接 按 钮, 然 后 弹 出 一 个 窗 口, 然 填 写 我 们 的 通 行 短 语 把 我 们 刚 才 设 置 的 通 行 短 语 myhadoop 输 入 进 去, 就 可 以 了 点 击 确 定, 就 可 以 实 现 SSH 无 密 码 连 接 了 河 北 工 业 大 学 软 件 工 程 与 理 论 实 验 室 编 辑 : 虾 皮 14
编 者 简 介 基 本 信 息 姓 名 : 解 耀 伟 性 别 : 男 笔 名 : 虾 皮 民 族 : 汉 学 历 : 研 究 生 专 业 : 计 算 机 应 用 技 术 电 子 信 箱 : xieyaowei1986@163.com 学 校 : 河 北 工 业 大 学 (211 工 程 ) 求 职 意 向 希 望 在 IT 行 业 从 事 软 件 研 发 等 工 作 编 程 语 言 Java C# C ExtJS Flex 汇 编 PHP VB, 熟 练 程 度 由 左 到 右 逐 级 减 弱 个 人 经 历 大 学 期 间 1) 担 任 职 务 : 学 生 会 生 活 部 部 长 生 活 委 员 团 支 书 2) 获 得 奖 项 : 二 等 奖 学 金 (2 次 ) 三 好 学 生 (1 次 ) 研 究 生 期 间 1) 担 任 职 务 : 班 长 2) 获 得 奖 项 : 优 秀 班 干 部 (1 次 ) 工 作 经 历 实 验 室 项 目 : 国 家 863 计 划 项 目 1 项 ; 国 家 技 术 基 础 专 项 2 项 ; 河 北 省 技 术 专 项 1 项 研 究 生 课 题 : 基 于 Hadoop 分 布 式 搜 索 引 擎 研 究 个 人 评 价 性 格 开 朗, 善 于 与 人 沟 通, 上 进 心 强, 品 德 优 秀, 吃 苦 耐 劳, 喜 欢 团 队 合 作, 能 积 极 服 从 上 级 的 安 排 寄 言 相 信 您 的 信 任 与 我 的 能 力 将 为 我 们 带 来 共 同 的 成 功
参 考 文 献 感 谢 以 下 文 章 的 编 写 作 者, 没 有 你 们 的 铺 路, 我 或 许 会 走 得 很 艰 难, 参 考 不 分 先 后, 贡 献 同 等 珍 贵 1 Linux 下 SSH 配 合 SecureCRT 的 密 匙 完 美 使 用 方 法 地 址 :http://linkboy.blog.51cto.com/821152/297512 2 SecureCRT 使 用 证 书 管 理 linux 地 址 :http://wenku.baidu.com/view/e116ba33a32d7375a4178039.html 3 SecureCRT 密 钥 远 程 登 录 Linux 地 址 :http://edges.blog.51cto.com/705035/581346 4 Linux 新 建 SSH 登 陆 用 户 以 及 Putty 和 SecureCRT 设 置 地 址 :http://hi.baidu.com/luosiyong/blog/item/e5e1980fb7ddfef3ab6457f7.html