细细品味 Hadoop Hadoop 集群 ( 第 5 期副刊 ) 精华集锦 csaxp 年 2 月 29 日

Size: px

Start display at page:

Download "细细品味 Hadoop Hadoop 集群 ( 第 5 期副刊 ) 精华集锦 csaxp 年 2 月 29 日"

池币熊
5 years ago
Views:

1 细细品味 Hadoop Hadoop 集群 ( 第 5 期副刊 ) 精华集锦 csaxp 年 2 月 29 日

2 目录 1 本期内容 Linux 配置 java 环境变量解压安装 jdk 需要配置的环境变量三种配置环境变量的方法测试 jdk 卸载 jdk 配置 OpenSSH 无密码登陆文章序言确认系统已经安装好 OpenSSH 的 server 和 client 确认本机 sshd 的配置文件 (root) 如果修改了配置文件需要重启 sshd 服务 (root) ssh 登陆系统后执行测试命令生成证书公私钥的步骤测试登陆 ssh localhost 一般调试步骤认证登陆远程服务器参考文献打赏小编中国北京虾皮工作室 ( 编辑 : 虾皮 1

3 Hadoop 集群 ( 第 5 期副刊 ) JDK 和 SSH 无密码配置 1 本期内容 1.1 Linux 配置 java 环境变量解压安装 jdk 在 shell 终端下进入 jdk-6u14-linux-i586.bin 文件所在目录, 执行命令./jdk-6u14-linux-i586.bin 这时会出现一段协议, 连继敲回车, 当询问是否同意的时候, 输入 yes, 回车之后会在当前目录下生成一个 jdk1.6.0_14 目录, 你可以将它复制到任何一个目录下需要配置的环境变量 1)PATH 环境变量作用是指定命令搜索路径, 在 shell 下面执行命令时, 它会到 PATH 变量所指定的路径中查找看是否能找到相应的命令程序我们需要把 jdk 安装目录下的 bin 目录增加到现有的 PATH 变量中,bin 目录中包含经常要用到的可执行文件如 javac/java/javadoc 等待, 设置好 PATH 变量后, 就可以在任何目录下执行 javac/java 等工具了 2)CLASSPATH 环境变量作用是指定类搜索路径, 要使用已经编写好的类, 前提当然是能够找到它们了,JVM 就是通过 CLASSPTH 来寻找类的我们需要把 jdk 安装目录下的 lib 子目录中的 dt.jar 和 tools.jar 设置到 CLASSPATH 中, 当然, 当前目录. 也必须加入到该变量中 3)JAVA_HOME 环境变量它指向 jdk 的安装目录,Eclipse/NetBeans/Tomcat 等软件就是通过搜索 JAVA_HOME 变量来找到并使用安装好的 jdk 三种配置环境变量的方法 1) 修改 /etc/profile 文件如果你的计算机仅仅作为开发使用时推荐使用这种方法, 因为所有用户的 shell 都有权使用这些环境变量, 可能会给系统带来安全性问题用文本编辑器打开 /etc/profile 在 profile 文件末尾加入 : export JAVA_HOME=/usr/share/jdk1.6.0_14 中国北京虾皮工作室 ( 编辑 : 虾皮 2

4 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 重新登录注解 a. 你要将 /usr/share/jdk1.6.0_14 改为你的 jdk 安装目录 b. linux 下用冒号 : 来分隔路径 c. $PATH / $CLASSPATH / $JAVA_HOME 是用来引用原来的环境变量的值在设置环境变量时特别要注意不能把原来的值给覆盖掉了, 这是一种常见的错误 d. CLASSPATH 中当前目录. 不能丢, 把当前目录丢掉也是常见的错误 e. export 是把这三个变量导出为全局变量 f. 大小写必须严格区分 2) 修改.bash_profile 文件这种方法更为安全, 它可以把使用这些环境变量的权限控制到用户级别, 如果你需要给某个用户权限使用这些环境变量, 你只需要修改其个人用户主目录下的.bash_profile 文件就可以了用文本编辑器打开用户目录下的.bash_profile 文件在.bash_profile 文件末尾加入 : export JAVA_HOME=/usr/share/jdk1.6.0_14 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 重新登录 3) 直接在 shell 下设置变量不赞成使用这种方法, 因为换个 shell, 你的设置就无效了, 因此这种方法仅仅是临时使用, 以后要使用的时候又要重新设置, 比较麻烦只需在 shell 终端执行下列命令 : export JAVA_HOME=/usr/share/jdk1.6.0_14 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 测试 jdk 1) 用文本编辑器新建一个 Test.java 文件, 在其中输入以下代码并保存 : 中国北京虾皮工作室 ( 编辑 : 虾皮 3

5 public class test { public static void main(string args[]) { System.out.println("A new jdk test!"); } } 2) 编译 : 在 shell 终端执行命令 javac Test.java 3) 运行 : 在 shell 终端执行命令 java Test 当 shell 下出现 A new jdk test! 字样则 jdk 运行正常卸载 jdk 找到 jdk 安装目录的 _uninst 子目录在 shell 终端执行命令./uninstall.sh 即可卸载 jdk 1.2 配置 OpenSSH 无密码登陆文章序言最近在搭建 Hadoop 环境需要设置无密码登陆, 所谓无密码登陆其实是指通过证书认证的方式登陆, 使用一种被称为 " 公私钥 " 认证的方式来进行 ssh 登录在 linux 系统中,ssh 是远程登录的默认工具, 因为该工具的协议使用了 RSA/DSA 的加密算法. 该工具做 linux 系统的远程管理是非常安全的 telnet, 因为其不安全性, 在 linux 系统中被搁置使用了 " 公私钥 " 认证方式简单的解释 : 首先在客户端上创建一对公私钥 ( 公钥文件 : ~/.ssh/id_rsa.pub ; 私钥文件 : ~/.ssh/id_rsa ) 然后把公钥放到服务器上 (~/.ssh/authorized_keys), 自己保留好私钥. 在使用 ssh 登录时,ssh 程序会发送私钥去和服务器上的公钥做匹配. 如果匹配成功就可以登录了在 Ubuntu 和 Cygwin 配置都很顺利, 而在 Centos 系统中配置时遇到了很多问题故此文以 Centos(Centos5 ) 为例详细讲解如何配置证书验证登陆, 具体操作步骤如下 : 确认系统已经安装好 OpenSSH 的 server 和 client 安装步骤这里不再讲述, 不是本文的重点中国北京虾皮工作室 ( 编辑 : 虾皮 4

6 1.2.3 确认本机 sshd 的配置文件 (root) $ vi /etc/ssh/sshd_config 找到以下内容, 并去掉注释符 # RSAAuthentication yes PubkeyAuthentication yes AuthorizedKeysFile.ssh/authorized_keys 如果修改了配置文件需要重启 sshd 服务 (root) $ vi /sbin/service sshd restart ssh 登陆系统后执行测试命令 $ ssh localhost 回车会提示你输入密码, 因为此时我们还没有生成证书生成证书公私钥的步骤 $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 测试登陆 ssh localhost $ ssh localhost 正常情况下会登陆成功, 显示一些成功登陆信息, 如果失败请看下面的一般调试步骤中国北京虾皮工作室 ( 编辑 : 虾皮 5

7 1.2.8 一般调试步骤本人在配置时就失败了, 按照以上步骤依旧提示要输入密码于是用 ssh -v 显示详细的登陆信息查找原因 : $ ssh -v localhost 回车显示了详细的登陆信息如下 : 省略 debug1: Authentications that can continue: publickey,gssapi-with-mic,password debug1: Next authentication method: gssapi-with-mic debug1: Unspecified GSS failure. Minor code may provide more information Unknown code krb5 195 debug1: Unspecified GSS failure. Minor code may provide more information Unknown code krb5 195 debug1: Unspecified GSS failure. Minor code may provide more information Unknown code krb5 195 debug1: Next authentication method: publickey debug1: Trying private key: /home/huaxia/.ssh/identity debug1: Trying private key: /home/huaxia/.ssh/id_rsa debug1: Offering public key: /home/huaxia/.ssh/id_dsa debug1: Authentications that can continue: publickey,gssapi-with-mic,password debug1: Next authentication method: password huaxia@localhost's password: 同时用 root 用户登陆查看系统的日志文件 : $tail /var/log/secure -n 20 省略 Jul 13 11:21:05 shnap sshd[3955]: Accepted password for huaxia from port ssh2 Jul 13 11:21:05 shnap sshd[3955]: pam_unix(sshd:session): session opened for user huaxia by (uid=0) Jul 13 11:21:47 shnap sshd[4024]: Connection closed by Jul 13 11:25:28 shnap sshd[4150]: Authentication refused: bad ownership or modes for file /home/huaxia/.ssh/authorized_keys Jul 13 11:25:28 shnap sshd[4150]: Authentication refused: bad ownership or modes for file /home/huaxia/.ssh/authorized_keys Jul 13 11:26:30 shnap sshd[4151]: Connection closed by 省略中国北京虾皮工作室 ( 编辑 : 虾皮 6

8 从上面的日志信息中可知文件 /home/huaxia/.ssh/authorized_keys 的权限有问题查看 /home/huaxia/.ssh/ 下文件的详细信息如下 : $ ls -lh ~/.ssh/ 总计 16K -rw-rw-r-- 1 huaxia huaxia :22 authorized_keys -rw huaxia huaxia :22 id_dsa -rw-r--r-- 1 huaxia huaxia :22 id_dsa.pub -rw-r--r-- 1 huaxia huaxia :21 known_hosts 修改文件 authorized_keys 的权限 ( 权限的设置非常重要, 因为不安全的设置安全设置, 会让你不能使用 RSA 功能 ): $ chmod 600 ~/.ssh/authorized_keys 再次测试登陆如下 : $ ssh localhost Last login: Wed Jul 13 14:04: from 看到这样的信息表示已经成功实现了本机的无密码登陆认证登陆远程服务器备注 : 远程服务器 OpenSSH 的服务当然要启动拷贝本地生产的 key 到远程服务器端 ( 两种方法 ) 1) 方法一 : $cat ~/.ssh/id_rsa.pub ssh 远程服务器 ip 'cat - >> ~/.ssh/authorized_keys' 2) 方法二 : 在本机上执行 : $ scp ~/.ssh/id_dsa.pub michael@ :/home/michael/ 登陆远程服务器 michael@ 后执行 : $ cat id_dsa.pub >> ~/.ssh/authorized_keys 本机远程登陆的测试 : 中国北京虾皮工作室 ( 编辑 : 虾皮 7

9 $ssh Linux michael-virtualbox generic #33-Ubuntu SMP Sun Sep 19 20:34:50 UTC 2010 i686 GNU/Linux Ubuntu Welcome to Ubuntu! * Documentation: packages can be updated. 71 updates are security updates. New release 'natty' available. Run 'do-release-upgrade' to upgrade to it. Last login: Wed Jul 13 14:46: from michael-virtualbox michael@michael-virtualbox:~$ 可见已经成功登陆如果登陆测试不成功, 需要修改远程服务器上的文件 authorized_keys 的权限 ( 权限的设置非常重要, 因为不安全的设置安全设置, 会让你不能使用 RSA 功能 ) chmod 600 ~/.ssh/authorized_keys 中国北京虾皮工作室 ( 编辑 : 虾皮 8

10 2 参考文献感谢以下文章的编写作者, 没有你们的铺路, 我或许会走得很艰难, 参考不分先后, 贡献同等珍贵 1) 2) 中国北京虾皮工作室 ( 编辑 : 虾皮 9

3 打赏小编编辑简介 : 高级软件工程师 (T5), 河北工业大学硕士研究生, 现在就职于百度在线网络技术 ( 北京 ) 有限公司

解耀伟笔名 : 虾皮扣扣 :461052034 网站 :www.xiapistudio.com 博客 :http://www.cnblogs.

com 从高考复习开始养成了总结的习惯, 习惯于在学习的过程中, 把相关的文章融会贯通, 并加以实践, 结合自己的实际情况把相关的内容整理成册, 便于学习和总结

11 3 打赏小编编辑简介 : 高级软件工程师 (T5), 河北工业大学硕士研究生, 现在就职于百度在线网络技术 ( 北京 ) 有限公司专注于大数据以及其相关研究, 在离线计算和实时计算方面有较为深入的研究, 积累了丰富的实战经验热衷于知识分享, 其细细品味系列教程深受网友喜爱姓名 : 解耀伟笔名 : 虾皮扣扣 : 网站 : 博客 : 邮箱 :xieyaowei1986@163.com 从高考复习开始养成了总结的习惯, 习惯于在学习的过程中, 把相关的文章融会贯通, 并加以实践, 结合自己的实际情况把相关的内容整理成册, 便于学习和总结在这几年里陆陆续续分享了很多细细品味系列文章每一期文章都耗费了不少的心血, 很多时候都是在星期天业余的时间完成, 现在也建立了自己独立的网站 : 需要一些资金来维持, 同时也可以鼓励我写更多的好东西来分享如果你看了本文章对自己有用, 可以通过支付宝的形式来进行打赏,1 元 2 元 10 元皆可, 多少并不重要, 只要你感觉文章使你受益即可温馨提示 : 在转账时, 可以写明打赏虾皮或者打赏虾皮工作室我的支付宝已经进行实名认证, 支付宝是的个人头像, 请认准后再支付中国北京虾皮工作室 ( 编辑 : 虾皮 10

内容提要将 JAVA 开发环境迁移到 Linux 系统上是现在很多公司的现实想法, 而在 Linux 上配置 JAVA 开发环境是步入 Linux 下 JAVA 程序开发的第一步, 本文图文并茂地全程指

内容提要将 JAVA 开发环境迁移到 Linux 系统上是现在很多公司的现实想法, 而在 Linux 上配置 JAVA 开发环境是步入 Linux 下 JAVA 程序开发的第一步, 本文图文并茂地全程指内容提要将 JAVA 开发环境迁移到 Linux 系统上是现在很多公司的现实想法, 而在 Linux 上配置 JAVA 开发环境是步入 Linux 下 JAVA 程序开发的第一步, 本文图文并茂地全程指导你搭建 Linux 平台下的 JAVA 开发环境, 包括 JDK 以及集