幻灯片 1

Size: px

Start display at page:

Download "幻灯片 1"

立糊赵
5 years ago
Views:

1 并行机群调试曙光信息产业 ( 北京 ) 有限公司技术支持中心

2 系统常用命令 chkconfig : 开启服务 chkconfig level 35 xfs on;chkconfig --list Rcp:rsh 自带远程拷贝 rcp nodex:/etc/hosts ( 本地 )/etc/ rcp nodex:/etc/hosts nodey:/etc/ Scp:ssh 自带远程拷贝 scp nodex:/etc/hosts ( 本地 )/etc/ Useradd: 添加用户 userdel 删除用户 useradd u( 用户 ID) 1000 g( 组 ID) 1000 d( 用户目录 ) /home/xx xx Groupadd: 添加组 groupdel 删除组 Groupadd g( 组 ID) 1000 yy Chmod: 设置目录文件权限 chmod a(ll)-rwx,u(ser)+rw,g(roup)+r file r(4) w(2) x(1) chmod R( 更改所有目录权限 ) 777 /public/test Chown: 更改目录文件所属组 chown R( 用户目录内所有文件 ) 用户 : 组用户

3 系统常用命令 dd : 拷贝 dd if=/dev/sda( 源盘 ) of=/dev/sdb( 目标盘 ) bs=4096 Fsck 文件修复进入单用户, 执行 fsck y /dev/sdax( 坏的分区 ) Rpm : 安装 *.rpm 文件 rpm ivh *.rpm Tar: 安装 *.tar/*.tar.gz 文件 tar xvf(zxvf) *.tar(*.tar.gz) Top : 查看系统 CPU 内存使用率 Fdisk: 分区工具 fdisk /dev/sdb Mkfs : 做文件系统 mkfs j(-t ext3) /dev/sdb1 Mount: 加载介质 U 盘使用 fdisk l 看 U 盘盘符假设为 /dev/sdb1 mount t vfat /dev/sdb1 /mnt/floppy 若 U 盘盘符显示为很多分区, 则执行 mount /dev/sdb /mnt/floppy

4 系统硬件安装 RAID 卡驱动安装 : 在相应 RAID 卡驱动网站下载 xx.img 驱动文件使用 rawwritewin.exe 软件将 xx.img 解压到软盘系统使用光盘启动, 出现 boot 时输入 linux dd #boot linux dd 回车, 按默认安装即可

5 系统硬件安装网卡驱动安装下载相应压缩包 xx.tar.gz 压缩包解压 :tar zxvf xx.tar.gz 进入压缩包 src 目录 :cd xx/src 执行 make;make install Make install 完成后执行 insmod xx.ko 编辑 /etc/modprobe.conf 添加 alias eth0 xx alias eth1 xx

6 并行机群系统调试

7 RSH 的配置配置启动文件开启 rlogin rsh rexec 服务 Chkconfig -level 35 rlogin on Chkconfig -level 35 rsh on Chkconfig -level 35 rexec on

8 RSH 的配置 #vi /etc/hosts 把第一行的主机名删掉并加入曙光服务器的所有节点 IP 地址和主机名如 : 原文件为 : node1 localhost.localdomain localhost 修改后应为 : localhost node node x nodex #vi /root/.rhosts 把机器的所有节点的主机名加入如 :node1 node2 nodex X: 为节点的数量

9 RSH 的配置 Cat /root/.rhosts >/etc/hosts.equiv 机群中每台机器需要三个相同的文件 /etc/hosts vi /etc/securetty 添加 rsh rlogin rexec 执行 rsh nodex(x 为节点号 ) /etc/hosts.equiv /root/.rhosts ls l 测试

10 SSH 的配置在系统中执行 ssh nodex, 在当前用户目录生成.ssh/ 目录, 执行 ssh-keygen, 一路默认回车, 生成 id_rsa.pub 文件 cat id_rsa.pub >>authorized_keys 将机群中每个机器生成的 id_rsa.pub 中内容全部 cat 到 authorized_keys 文件中, 然后保证每台都有同一个 authorized_keys 文件, 即可互相 ssh 不用认证 ( 密码 )

11 MPI 的安装安装 : #tar -xzvf mpich tar.gz #cd mpich #./configure --with-device=ch_p4 --prefix=/usr/local/mpich #make #make install 环境变量设置 #vi /etc/profile 加入下面的行 export MPI_ROOT=/usr/local/mpich export PATH=$MPI_ROOT/bin:$PATH export MANPATH=$MPI_ROOT/man:$MANPATH #source /etc/profile

12 MPI 的使用 mpirun 的基本格式为 : mpirun [mpirun-options ] <progname> [options ] 其中 [mpirun-options ], 主要选项如下 : -np <np> 要加载的进程个数, 系统读 machines.linux 的内容 -p4pg <p4file> 按照 p4file 文件中的要求加载用户进程 -machinefile 按照 machinesfile 文件中的节点名个数加载进程 p4file 文件该文件的格式为 : 第一行 :< 结点名 > <0> < 用户要加载的进程 -- 允许使用绝对路径 > 第二行 :< 结点名 > <1> < 用户要加载的进程 -- 允许使用绝对路径 >... 第 n 行 :< 结点名 > <1> < 用户要加载的进程 -- 允许使用绝对路径 > 其中 n 为用户要加载进程的个数结点名可以相同, 也可以不同且用户使用此选项后, -np 选项无效 machines.linux 文件和 machinefile 文件内容 : nodex:y.. nodez:w X-Z: 机群节点名 ( 系统名字 ) 比如节点 1-20 Y W 节点名对应的 CPU 个数

13 MPI 使用简例最简单的运行一个 MPI 应用程序的例子是 : #mpirun -np 4 a.out, #mpirun machinefile machinefile a.out #mpirun p4pg./p4file a.out 它将在并行机上加载 4 个用户执行程序一般情况下最好用 -p4pg 选项,p4file 文件包含有关进程在哪些节点上运行的信息如你已登录到节点 node1, 并用 4 个节点执行你的并行程序 a.out, 执行文件的全路径 /public/user1/example/a.out, 则 p4file 内容如下 : node1 0 /public/user1/example/a.out node2 1 /public/user1/example/a.out node3 1 /public/user1/example/a.out node4 1 /public/user1/example/a.out 执行命令为 : # mpirun -p4pg./p4file a.out

14 Open MPI for Infiniband Open MPI project was formed by the developers of FT-MPI, LA-MPI, and LAM/MPI. Use a modular component architecture 3 main components OMPI The MPI API ORTE The open run-time environment Support for different backend runtime systems» rsh/ssh, slurm, bproc, etc OPAL The open portal access layer Utility code used by the previous 2 layers» Mainly OS dependant stuff (locks, memory/processor affinity, etc)

15 Installation 3 ways to install Open MPI: Use the OFED installer Easiest install Might not be the latest version of OMPI. For example is currently included with OFED 1.1, but is available. Open MPI release tarball Moderate install, but allows more control. configure options --prefix=/opt/openmpi --with-openib=/usr/local/ofed --with-mvapi=/usr/local/ibgd Build and install directly from source code Complicated, should only be done for development purposes. svn co ompi-trunk

16 Running MPI Applications Make sure path is correct PATH=/opt/openmpi/bin:$PATH LD_LIBRARY_PATH=/opt/openmpi/lib mpirun mpirun <option 1> <option 2>./my_app Available options: --hostfile: specifies a hostfile that indicate which hosts to start the mpi jobs on. --host: specify a host or list of hosts on the command line (comma delimited). --np: specify the number of processes to start --mca: set mca parameters --x: list of environment variables to export to the parallel application (comma delimited).

17 Configuration MCA Parameters mpirun --mca <name> <value> mpirun --mca btl openib,self Environment Variable export OMPI_MCA_<name>=<value> File $HOME/.openmpi/mca-params.conf /etc/openmpi-mca-params.conf ompi_info Tells *everything* about the OMPI installation See ompi_info.txt Great for debugging Can look up specific components ompi_info --param <framework> <component> See ompi_info-all.txt ompi_info param btl openib

18 Debugging The Open MPI FAQ Memory pinning If you are seeing memory registration errors: /etc/security/limits.conf soft memlock <number of bytes> hard memlock <number of bytes> ulimit l

19 机群常用服务配置

20 NFS 服务 NFS(network file system) NFS 配置 : 服务端 server 配置 1. 开启 nfs 服务 :chkconfig level 35 nfs on /etc/init.d/nfs start 2. 编辑 /etc/exports 假设将 /public 共享给网络 /public *< 不限制用户 >(rw,no_root_squash 信任客户端,async 先写入内存 ) 3. 执行 exportfs -a 执行 exportfs, 可以看到 /public <world> 客户端配置 : 1. 建 /public 目录 mkdir /public 2. 添加 mount server:/public /public 到 /etc/rc.local 3. 执行 /etc/rc.local 4.Df 命令看 mount 情况

21 NIS NIS : Network Information Services 对系统信息进行集中管理服务端配置启动 NIS 服务 Chkconfig level 35 ypserv on Chkconfig level 35 yppasswdd on Chkconfig level 35 ypxfrd on 编辑 /etc/sysconfig/network 添加 NISDOMAIN=cluster( 这里可以用你喜欢的域名 ) 立刻使上述设置生效, 运行 :# domainname cluster 编辑 /var/yp/makefile 找到 all: passwd group... 这一行, 修改如下 : all: passwd group 启动 ypserv 服务 # service ypserv start 初始化 NIS 数据库, 运行 : #/usr/lib/yp/ypinit -m 注意 :1) 若以上配置有问题, 会显示出错 2) 提示增加 hosts, 按 [CTRL-D]

22 NIS 若上部没有错误, 重新起动 ypserv # service ypserv restart 启动密码进程 : # service yppasswdd start 检查进程是否真的运行, 运行 : # ps auxf grep yp 检查日志, 确定 NIS 服务是否真的正常, 运行 : # tail /var/log/messages 将用户目录 /home 做 NFS 网络输出 #Vi /etc/exports 添加 /home *(rw,no_root_squash,async) #exportfs -a

23 NIS NIS 客户端开启 NIS 服务 : #Chkconfig level 35 yppasswdd on #Chkconfig level 35 ypbind on 编辑 /etc/sysconfig/network 添加 NISDOMAIN=cluster( 与服务端一致 ) 编辑 /etc/nsswitch.conf 启动客户端 #/etc/init.d/yppasswdd start #/etc/init.d/ypbind start Mount 服务端用户目录 #mount server:/home /home 添加 mount server:/home /home 到客户端 /etc/rc.local 文件中

24 NIS NIS 测试运行 # ypcat passwd 看服务器提供了哪些用户在 NIS Server 上新增一用户 useradd test passwd test cd /var/yp 执行 make 命令在客户机上用 test 用户登录注意事项 : 1.NIS Server 的自启动 : 先启动 NIS 服务端, 后启动客户端一定要注意让它自启动, 否则下次开机 nis server 不能启动的话, 客户端查询不到 nis server, 将不能登录 2. 每增加一个用户, 或者用户修改了密码等, 要在服务器端的 var/yp 下执行一下 make 命令 3. 新增用户和修改密码一定要在 NIS Server 上进行, 这样所有的客户端就会自动更新

25 FTP FTP 服务开启 : #Chkconfig --level 35 vsftpd on #/etc/init.d/vsftpd restart 增加 download 用户 #useradd download #passwd download ( 输入用户密码 ) 设置用户权限为 777( 权限全部放开 ) #chmod 777 /home/download 客户端登陆 : ftp server 用户名 download, 输入相应密码即可

26 常用编译器的安装

27 PGI 下载 PGI 软件 PGI60.tar.gz 解压软件 #tar zxvf pgi60.tar.gz 进入 PGI 目录 #cd pgi60 执行 install Do you accept these terms? [accept,decline] accept Install the ACML? [y/n] n Installation directory? [/usr/pgi] [Press Enter key] Create an evaluation license? [y/n] n Do you want the files in the install directory to be read-only? [y,n] y 拷贝 license.dat #cp license.dat /usr/pgi/.

28 PGI 设置环境变量 #vi /etc/profile #For PGI Compiler export PGI=/usr/pgi export PATH=/usr/pgi/linux86-64/6.0/bin:$PATH export MANPATH=$MANPATH:/usr/pgi/linux86/man export LM_LICENSE_FILE=/usr/pgi/license.dat:$LM_LICENSE_FILE 使环境变量生效 #source /etc/profile 设置库函数路径 # vi /etc/ld.so.conf /usr/pgi/linux86/5.1/lib 使库函数设置生效 # /sbin/ldconfig

29 MPI for PGI 下载 mpich.tar.gz 解压 tar zxvf mpich.tar.gz 进入 mpich 目录执行 : #export CFLAGS="-fast" #export CXXFLAGS="-fast" #export FFLAGS="-fast" #export F90FLAGS="-fast #export LDFLAGS="-fast" #export OPTFLAGS="-fast" #export CC="pgcc" #export CXX="pgCC" #export F90="pgf90" #export FC="pgf77" #export CPP="pgCC -E #./configure --prefix=/usr/local/mpich-pgi #make #make install

30 MPI for PGI 设置环境变量 #vi /etc/profile 加入下面的行 export MPI_ROOT=/usr/local/mpich-pgi export PATH=$MPI_ROOT/bin:$PATH export MANPATH=$MPI_ROOT/man:$MANPATH #source /etc/profile

31 Intel Compiler 获取 Intel Compiler 的安装包 C/C++ Compiler 为 :l_cc_*.tar.gz Fortran Compiler 为 :l_fc_*.tar.gz tar 解压 tar xzvf l_cc_*.tar.gz (l_fc_*.tar.gz) 进入相应的解压目录执行./install.sh, 并根据提示信息选择相应选项 1.license 绝对路径, 回车 2. 选择 1.Intel(R)C++Compilerfor-bitapplications,Version9.0 回车 3. 根据英文内容, 按回车然后按提示输入 accept, 安装到默认的目录 : /opt/intel_cc_90 即可 4. 安装完毕后按提示输入 x 即可退出安装环境设置环境变量 #vi /etc/profile 添加 :export PATH= /opt/intel_fc_90/bin$path export PATH= /opt/intel_cc_90/bin$path( 以上两个路径根据安装设置的路径定 ) 设置库环境变量 :vi /etc/ld.so.conf, 添加 intel 库绝对路径, 然后执行 ldconfig

32 MPI for intel Compiler 将 mpich 解压后, 进入 mpich 目录执行 : #./configure --with-device=ch_p4 --prefix=/usr/local/mpichintel cc=icc fc=ifort c++=icpc f90=ifort #make #make install 设置环境变量相关 #vi profile 添加 : export MPICH_ROOT=/usr/local/mpich-intel export $PATH=$MPICH_ROOT/bin:$PATH export $MANPATH=$MPICH_ROOT/man:$MANPATH 执行 #source /etc/profile 即可

05_資源分享-NFS及NIS.doc

05_資源分享-NFS及NIS.doc 5 NFS NFS Server NFS Client NIS NIS 5-0 (Network File System, NFS) Unix NFS mount NFS... Network Information Service NIS Linux NIS NIS NIS / / /etc/passwd /etc/group NFS NIS 5-1 NFS 5-1-1 NFS NFS Network