这篇文章汇总了一些常用的HDFS命令，并提供了示例供参考。

所有HDFS命令均由bin / hdfs脚本调用。运行不带任何参数的hdfs脚本将打印所有命令的描述。

1HDFS命令创建目录

hdfs dfs -mkdir

示例–在/ user目录中创建新目录输入

hdfs dfs -mkdir /user/input

2HDFS命令列出所有文件

hdfs dfs -ls

示例–列出HDFS中根目录的内容

hdfs dfs -ls /

HDFS命令以递归方式列出所有子目录

hdfs dfs -ls -R /

3HDFS命令将文件从本地复制到HDFS

hfds dfs -copyFromLocal

示例–将文件test.txt从本地目录/ usr / test复制到HDFS中的/ user / input目录

hdfs dfs -copyFromLocal /usr/test/aa.txt /user/input/

如果要覆盖现有文件，请使用-f选项

hdfs dfs -copyFromLocal -f /usr/test/aa.txt /user/input/

4put命令还用于将文件从本地复制到HDFS

hfds dfs -put

示例– HDFS命令将整个目录/ usr / test复制到HDFS目录/ user / input

hdfs dfs -put /usr/test /user/input

5要在HDFS中复制文件

hdfs dfs -cp

示例–将HDFS中的文件/user/input/test/aa.txt复制到HDFS中的/ user / output

hdfs dfs -cp /user/input/test/aa.txt /user/output/

6HDFS命令显示可用空间

hdfs dfs -df

示例–使用-h选项以人类可读格式显示输出

hdfs dfs -df -h

7HDFS命令将文件从HDFS复制到本地文件系统

hdfs dfs -copyToLocal

示例–将HDFS位置/ user / output /中的文件part-r-00000复制到/ usr / Test

hdfs dfs -copyToLocal /user/output/part-r-00000 /usr/test

8我们还可以使用get命令将文件从HDFS复制到本地文件系统

hdfs dfs -get

示例–使用-f选项将HDFS位置/ user / output /中的文件part-r-00000复制到/ usr / Test，以覆盖它(如果存在)。

hdfs dfs -get -f /user/output/part-r-00000 /home/theitroad/Documents/test

9HDFS命令删除HDFS中的文件

hdfs dfs -rm

示例–删除/ user / input / test目录中的所有.txt文件

hdfs dfs -rm /user/input/test/*.txt

HDFS命令使用-R(递归)选项递归删除目录/ user / input / test

hdfs dfs -rm -R /user/input/test

10HDFS命令删除目录。

hdfs dfs -rmdir

仅当目录为空时，它才会删除目录。

11在HDFS中查看文件的内容。

hdfs dfs -cat

示例– HDFS命令在目录/ user / input中显示aa.txt文件的内容

hdfs dfs -cat /user/input/test/aa.txt

12更改文件的组关联。

hdfs dfs -chgrp

示例–将/user/input/test/aa.txt文件组更改为acp。

hdfs dfs -chgrp acp /user/input/test/aa.txt

13更改HDFS中文件的权限。

hdfs dfs -chmod

权限与Linux中的权限相同。对用户，组和其他用户的读取，写入和执行权限。如果要为所有人提供读，写和执行权限，则可以使用777作为参数。

hdfs dfs -chmod 777 /user/input/test/aa.txt

我们还可以使用以下命令执行相同的操作。

hdfs dfs -chmod a+rwx /user/input/test/aa.txt

14更改文件的所有者。

hadoop fs -chown

15HDFS命令永久删除文件。

hdfs dfs -expunge

16显示文件和目录的访问控制列表。

hdfs dfs -getfacl

示例–获取/user/input/test/aa.txt文件的所有者，组和权限信息。

hdfs dfs -getfacl /user/input/test/aa.txt

17 – HDFS命令更改文件的复制因子。

hdfs dfs -setrep

示例–将复制因子更改为2.

hdfs dfs -setrep 2 /user/input/test/aa.txt

18获取有关命令的帮助

hdfs dfs -help

19 –运行HDFS文件系统检查实用程序的命令。

hdfs fsck

示例–为路径/ user / input运行fsck

hdfs fsck /user/input

20HDFS命令打印版本。

hdfs version