使用方法 :hadoop fs -chmod [-R] <MODE[,MODE]... OCTALMODE> URI [URI ] 改变文件的权限使用 -R 将使改变在目录结构下递归进行命令的使用者必须是文件的所有者或者超级用户更多的信息请参见 HDFS 权限用户指南 chown 使用方法 :

Size: px

Start display at page:

Download "使用方法 :hadoop fs -chmod [-R] <MODE[,MODE]... OCTALMODE> URI [URI ] 改变文件的权限使用 -R 将使改变在目录结构下递归进行命令的使用者必须是文件的所有者或者超级用户更多的信息请参见 HDFS 权限用户指南 chown 使用方法 :"

眼萧
5 years ago
Views:

1 Hadoop Shell 命令 FS Shell 调用文件系统 (FS)Shell 命令应使用 bin/hadoop fs <args> 的形式所有的的 FS shell 命令使用 URI 路径作为参数 URI 格式是 scheme://authority/path 对 HDFS 文件系统,scheme 是 hdfs, 对本地文件系统,scheme 是 file 其中 scheme 和 authority 参数都是可选的, 如果未加指定, 就会使用配置中指定的默认 scheme 一个 HDFS 文件或目录比如 /parent/child 可以表示成 hdfs://namenode:namenodeport/parent/child, 或者更简单的 /parent/child( 假设你配置文件中的默认值是 namenode:namenodeport) 大多数 FS Shell 命令的行为和对应的 Unix Shell 命令类似, 不同之处会在下面介绍各命令使用详情时指出出错信息会输出到 stderr, 其他信息输出到 stdout cat 使用方法 :hadoop fs -cat URI [URI ] 将路径指定文件的内容输出到 stdout hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2 hadoop fs -cat file:///file3 /user/hadoop/file4 chgrp 使用方法 :hadoop fs -chgrp [-R] GROUP URI [URI ] Change group association of files. With -R, make the change recursively through the directory structure. The user must be the owner of files, or else a super-user. Additional information is in the Permissions User Guide. --> 改变文件所属的组使用 -R 将使改变在目录结构下递归进行命令的使用者必须是文件的所有者或者超级用户更多的信息请参见 HDFS 权限用户指南 chmod

2 使用方法 :hadoop fs -chmod [-R] <MODE[,MODE]... OCTALMODE> URI [URI ] 改变文件的权限使用 -R 将使改变在目录结构下递归进行命令的使用者必须是文件的所有者或者超级用户更多的信息请参见 HDFS 权限用户指南 chown 使用方法 :hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ] 改变文件的拥有者使用 -R 将使改变在目录结构下递归进行命令的使用者必须是超级用户更多的信息请参见 HDFS 权限用户指南 copyfromlocal 使用方法 :hadoop fs -copyfromlocal <localsrc> URI 除了限定源路径是一个本地文件外, 和 put 命令相似 copytolocal 使用方法 :hadoop fs -copytolocal [-ignorecrc] [-crc] URI <localdst> 除了限定目标路径是一个本地文件外, 和 get 命令类似 cp 使用方法 :hadoop fs -cp URI [URI ] <dest> 将文件从源路径复制到目标路径这个命令允许有多个源路径, 此时目标路径必须是一个目录 hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir

3 du 使用方法 :hadoop fs -du URI [URI ] 显示目录中所有文件的大小, 或者当只指定一个文件时, 显示此文件的大小 hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://host:port/user/hadoop/dir1 成功返回 0, 失败返回 -1 dus 使用方法 :hadoop fs -dus <args> 显示文件的大小 expunge 使用方法 :hadoop fs -expunge 清空回收站请参考 HDFS 设计文档以获取更多关于回收站特性的信息 get 使用方法 :hadoop fs -get [-ignorecrc] [-crc] <src> <localdst> 复制文件到本地文件系统可用 -ignorecrc 选项复制 CRC 校验失败的文件使用 -crc 选项复制文件以及 CRC 信息 hadoop fs -get /user/hadoop/file localfile hadoop fs -get hdfs://host:port/user/hadoop/file localfile getmerge

4 使用方法 :hadoop fs -getmerge <src> <localdst> [addnl] 接受一个源目录和一个目标文件作为输入, 并且将源目录中所有的文件连接成本地目标文件 addnl 是可选的, 用于指定在每个文件结尾添加一个换行符 ls 使用方法 :hadoop fs -ls <args> 如果是文件, 则按照如下格式返回文件信息 : 文件名 < 副本数 > 文件大小修改日期修改时间权限用户 ID 组 ID 如果是目录, 则返回它直接子文件的一个列表, 就像在 Unix 中一样目录返回列表的信息如下 : 目录名 <dir> 修改日期修改时间权限用户 ID 组 ID hadoop fs -ls /user/hadoop/file1 /user/hadoop/file2 hdfs://host:port/user/hadoop/dir1 /nonexistentfile 成功返回 0, 失败返回 -1 lsr 使用方法 :hadoop fs -lsr <args> ls 命令的递归版本类似于 Unix 中的 ls -R mkdir 使用方法 :hadoop fs -mkdir <paths> 接受路径指定的 uri 作为参数, 创建这些目录其行为类似于 Unix 的 mkdir -p, 它会创建路径中的各级父目录 hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2 hadoop fs -mkdir hdfs://host1:port1/user/hadoop/dir hdfs://host2:port2/user/hadoop/dir

5 movefromlocal 使用方法 :dfs -movefromlocal <src> <dst> 输出一个 not implemented 信息 mv 使用方法 :hadoop fs -mv URI [URI ] <dest> 将文件从源路径移动到目标路径这个命令允许有多个源路径, 此时目标路径必须是一个目录不允许在不同的文件系统间移动文件 hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2 hadoop fs -mv hdfs://host:port/file1 hdfs://host:port/file2 hdfs://host:port/file3 hdfs://host:port/dir1 put 使用方法 :hadoop fs -put <localsrc>... <dst> 从本地文件系统中复制单个或多个源路径到目标文件系统也支持从标准输入中读取输入写入目标文件系统 hadoop fs -put localfile /user/hadoop/hadoopfile hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile hadoop fs -put - hdfs://host:port/hadoop/hadoopfile 从标准输入中读取输入

6 rm 使用方法 :hadoop fs -rm URI [URI ] 删除指定的文件只删除非空目录和文件请参考 rmr 命令了解递归删除 hadoop fs -rm hdfs://host:port/file /user/hadoop/emptydir rmr 使用方法 :hadoop fs -rmr URI [URI ] delete 的递归版本 hadoop fs -rmr /user/hadoop/dir hadoop fs -rmr hdfs://host:port/user/hadoop/dir setrep 使用方法 :hadoop fs -setrep [-R] <path> 改变一个文件的副本系数 -R 选项用于递归改变目录下所有文件的副本系数 hadoop fs -setrep -w 3 -R /user/hadoop/dir1

7 stat 使用方法 :hadoop fs -stat URI [URI ] 返回指定路径的统计信息 hadoop fs -stat path tail 使用方法 :hadoop fs -tail [-f] URI 将文件尾部 1K 字节的内容输出到 stdout 支持 -f 选项, 行为和 Unix 中一致 hadoop fs -tail pathname test 使用方法 :hadoop fs -test -[ezd] URI 选项 : -e 检查文件是否存在如果存在则返回 0 -z 检查文件是否是 0 字节如果是则返回 0 -d 如果路径是个目录, 则返回 1, 否则返回 0 hadoop fs -test -e filename text

8 使用方法 :hadoop fs -text <src> 将源文件输出为文本格式允许的格式是 zip 和 TextRecordInputStream touchz 使用方法 :hadoop fs -touchz URI [URI ] 创建一个 0 字节的空文件 hadoop -touchz pathname

Linux服务器构建与运维管理

Linux服务器构建与运维管理 1 Linux 服务器构建与运维管理第 2 章 :Linux 基本命令阮晓龙 13938213680 / rxl@hactcm.edu.cn http://linux.xg.hactcm.edu.cn http://www.51xueweb.cn 河南中医药大学管理科学与工程学科 2018.3 2 提纲目录与文件的操作 mkdir touch mv cp rm rmdir file tree

使用方法 :hadoop fs -chmod [-R] <MODE[,MODE]... OCTALMODE> URI [URI ] 改变文件的权限 使用 -R 将使改变在目录结构下递归进行 命令的使用者必须是文件的所有者或者超级用户 更多的信息请参见 HDFS 权限用户指南 chown 使用方法 :

使用方法 :hadoop fs -chmod [-R] <MODE[,MODE]... OCTALMODE> URI [URI ] 改变文件的权限使用 -R 将使改变在目录结构下递归进行命令的使用者必须是文件的所有者或者超级用户更多的信息请参见 HDFS 权限用户指南 chown 使用方法 :