针对生物信息学分析的 Linux系统操作培训

Size: px

Start display at page:

Download "针对生物信息学分析的 Linux系统操作培训"

冰虎韩
6 years ago
Views:

1 针对生物信息学分析的 Linux 系统使用介绍沈伟

2 提纲 Linux 介绍介绍安装与配置建议常用 Shell 命令 Shell 介绍文件管理 (cd, ls, mkdir, rm, ln, glob) 文本文件处理 (vim, cat, more, sed, awk, cut, grep) 压缩文件 (tar, gzip, unzip) IO (stdin, stdout, pipe) 系统状态查看 (top, free) 危险操作 (rm, 覆盖 ) 效率提高 (for, parallel, xargs) 任务提交 (screen, easy_qsub) 实例 ( 表格文件, 交集并集,fasta/q 文件 ) 常见软件安装方法环境变量配置源码安装, 预编译安装,Python,Perl 类软件包安装代理设置

3 应用广泛 Linux 操作系统嵌入设备个人电脑, 超级计算机特点低成本稳定, 高效多用户支持广泛生物信息领域大多软件运行在 Linux 系统

4 Linux 操作系统常见发行版 Debian/Ubuntu/Linux Mint RHEL/Centos/fedora OpenSUSE 常见桌面环境 GNOME/Cinnamon/Mate/Unity KDE

5 准备能通过 SSH 客户端连接 Linux 操作系统不限发行版 / 桌面环境不限运行环境 ( 服务器 /PC/ 虚拟机 ) 不限有无 ROOT 权限

6 安装与配置建议初学者在 Windows 系统安装虚拟机 (VirtualBox) 安装分区 / /boot swap /usr/local /home 配置建议软件安装于 home 中, 修改私有环境变量

7 常用 Shell 命令

8 Shell Shell 介绍 Unix/Linux 操作系统下用户和计算机的交互界面控制系统的脚本语言 (bash,csh ) 获取 Shell 命令的使用说明官方文档 man COMMAND COMMAND -h/-help/--help

9 Shell 快捷键 Tab 补全命令光标键向上向下翻阅历史命令 Ctrl+R 搜索历史命令 Ctrl+A 光标移动到命令开头 Ctrl+E 光标移动到命令结尾 Ctrl+U 清空光标前输入命令 Ctrl+C 取消当前任务

10 文件属性严格的权限控制

11 查看目录 ls lha 文件 / 目录操作改变目录 cd dir, cd -, cd ~ 创建文件 (touch)/ 目录 (mkdir) mkdir -p level1/devel2 mkdir dir{a,b,c} 软连接 ( 快捷方式 ) ln s /file/path [name] rm name 删除文件 / 目录 rm file, rm -rf dir 复制文件 / 目录 cp [-r] file targetdir 移动 / 重命名文件 / 目录 mv file newfile 目录大小 du -lh dir

12 通配符假设一个文件夹 a1.txt a4.txt ac1.txt b.txt.gz * 匹配 0 或多个字符 ls *.txt : a1.txt a4.txt ac1.txt? 有且只有一个字符 ls a?.txt : a1.txt a4.txt [abc]/[!abc]/[0-9]/[a-z] {abc,123,asf}

13 文本文件处理编辑 vim/nano 查看 cat / more / head -n 10 / tail -n 10 sed, sed 简明教程 sed 's/abc/123/g' data.txt > file2 sed 1d table > table_without_title awk, awk 简明教程 awk '$3==0 && $6== LISTEN ' file awk -F: '{print $1,$3,$6}' OFS="\t" /etc/passwd grep -c '^>' seq.fa wc -l

14 压缩文件解压 tar -zxvf test.tar.gz unzip test.zip gzip -d test.gz 压缩 / 打包 tar -zcvf test.tar.gz dir zip -r dir test.gzip gzip -c test > test.gz 只打包不压缩 zip -r -0 test.zip test

15 IO 与 pipe 标准 stdin, stdout, stderr 重定向 cat < file cat file > newfile cat file >> newfile 管道 ( 流水线 ) zcat seq.fa.gz grep -c '^>' 命名管道 ( 减少磁盘 IO, 更快 ) gzip d *.gz; cat 1 2 > outputfile cat <(zcat 1.gz) <(zcat 2.gz) > outputfile 命名管道 2( 某些程序需要操作文件路径 ) mkfifo seq.fa zcat seq.fa.gz > seq.fa & command seq.fa

16 系统状态任务管理 top/htop 进程查看 ps au, 结束进程 kill PID 内存状态 free -g 分区状态 df -lh

17 永久删除 rm -rf / 危险操作使用回收站 trash-cli 少壮不备份, 老大徒伤悲请认真备份数据覆盖文件 mv file1 file2

18 提高效率 for for f in *.fa; do script.pl $f; done xargs - build and execute command lines from standard input find. -name "*.o" xargs rm -rf parallel - build and execute shell command lines from standard input in parallel ls *.fa parallel -j 8 'cat {} grep -c "^>" > {.}.num ' crun - Run workflow crun -t 4 -s job1 -c job2 -c job3 -c job4 -s job5 -s job6

19 提交任务后台运行,more screen -dms job; screen -r job # do some thing ctrl+a+d qsub/qstat/qdel/qalter easy_qsub easy_qsub -n 8 -m 2GB 'mkdir -p QC/{%^.fq.gz}.fastqc; zcat {} fastqc -o QC/{%^.fq.gz}.fastqc stdin' *.fq.gz

20 交集 / 并集 / 差集 / 重复并集, 重复的只保留一份记录 cat a b sort uniq 交集, 只留下同时存在于两个文件中的记录 cat a b sort uniq -d 删除交集, 留下其他 cat a b sort uniq -u 差集 (a 中有,b 中没有 ) Grep F f b a grep -F -f b -v a

21 例子 - 表格文件按年龄从大到小, 再按照姓名排序 sed 1d staff sort -k4,4nr -k2,2 按浮点数排序 sed 1d staff sort -k5,5g 筛选年龄大于 20 的人 cat staff sed 1d awk '$4>20' cut -f 2 合并两个表 (csvkit) csvjoin -t -c name staff passwd 查询

22 用 id2 来查询根据 id 过滤表格

23 fasta2tab - tab2fasta Fasta/q 文件操作

24 Fasta/q 文件操作 fasta_extract_by_pattern.pl

25 软件安装

26 可执行程序文件权限具有可执行权限的文件路径 which 依赖动态编译程序依赖于动态库

27 环境变量配置配置文件 ~/.bashrc, ~/.profile, /etc/bashrc, /etc/profile 环境变量 export PATH=~/local/bin:$PATH( 可执行程序搜索目录 ) export LD_LIBRARY_PATH=~/local/lib:$LD_LIBRARY_PAT H 别名 alias export ll='ls -lh color=auto' 生效配置 source ~/.bashrc

28 软件安装 (1) - 预编译程序方法 1. 下载与操作系统对应版本 amd64/i 将可执行文件所在目录加入环境变量 PATH 例 (NCBI BLAST+) 1. wget ftp://ftp.ncbi.nlm.nih.gov/blast/executables/blas t+/latest/ncbi-blast x64-linux.tar.gz 2. tar -zxvf ncbi-blast x64-linux.tar.gz 3. mv ncbi-blast ~/local/app/blast 4. echo "export PATH=/db/home/shenwei/local/app/blast/bin:\$PATH" >> ~/.bashrc 5. source ~/.bashrc

29 软件安装 (2) - 源码安装 (C/C++) 编译器安装 sudo apt-get install build-essential sudo yum groupinstall "Development tools" 三部曲 1. configure, 根据提示安装缺失的库 ( 下页 ) 2. make 3. make install 例 (samtools) wget wnload/1.2/samtools-1.2.tar.bz2 tar jxvf samtools-1.2.tar.bz2 cd samtools-1.2 make j 4 cp samtools ~/local/bin 谨遵 INSTALL/README

30 软件安装 (2) lib not found 有 root 权限 apt-get/yum 安装 ***-devel 包 [ 运行 sudo ldconfig] 无 root 权限, more 1. 源码安装库 2. 将其 lib 目录加入环境变量 LD_LIBRARY_PATH 3. include 目录加入 C_INCLUDE_PATH 和 CPLUS_INCLUDE_PATH 例 (libevent) 1. wget t-2.0/libevent stable.tar.gz 2. tar -zxvf libevent stable.tar.gz 3. cd libevent stable 4../configure --prefix=/home/shenwei/local/ 5. make 6. make install 7. echo "export LD_LIBRARY_PATH =/home/shenwei/local/lib:\$ LD_LIBRARY_PATH " >> ~/.bashrc 8. echo "export C_INCLUDE_PATH =/home/shenwei/local/include:\$ C_INCLUDE_PATH " >> ~/.bashrc 9. echo "export CPLUS_INCLUDE_PATH =/home/shenwei/local/include:\$ CPLUS_INCLUDE_PATH " >> ~/.bashrc 10. source ~/.bashrc

31 软件安装 (3) - Python 安装 pip pip install app Python 程序,detail 1. python setup.py [--prefix] [--user] 2. make 3. make install

32 软件安装 (4) - Perl 下载运行, 查看是否有错误提示 Can't locate abc.pm (you may need to install the abc module) (@INC contains: /usr/local/lib64/perl5 /usr/local/share/perl5 /usr/lib64/perl5/vendor_perl /usr/share/perl5/vendor_perl /usr/lib64/perl5 /usr/share/perl5.). BEGIN failed--compilation aborted. cpan 安装缺失的包 1. cpan 2. 第一次需根据提示配置, 3. search.cpan.org 或 i /bioperl/ 搜索 4. install BioUtil

33 代理设置 user vim ~/.bashrc export http_proxy= export ftp_proxy= apt-get vim /etc/apt/apt.conf.d/00aptitude Acquire:: " Acquire::ftp::proxy "ftp:// :2121"; yum sudo vim /etc/yum.conf proxy= cpan cpan o conf init /proxy/ Linux configuration memo

34 多 Google, 多实践结束语感谢 Bioinformatcis* 中国的群友

Microsoft Word - linux命令及建议.doc

Microsoft Word - linux命令及建议.doc Linux 操作系统命令集 1 基本命令查看系统信息 : uname -a 修改密码 : passwd 退出 : logout(exit) 获取帮助 : man commands 2 文件和目录命令显示当前工作目录 : pwd 改变所在目录 : cd cd - 切换到上一次使用的目录 cd 切换