一、查看分区数据
(一)查看哪些分区有数据
hadoop fs -du hdfs路径
(二)查看数据文件大小(单位:K/M/G,hdfs会有多个备份的数据文件,cos默认没有备份)
hadoop fs -du -h hdfs路径
二、查看路径
hadoop fs -ls hdfs路径
三、新增路径
hadoop fs -mkdir hdfs路径
# 在HDFS创建文件夹(-p 多级创建)
hadoop fs -mkdir -p /attachment
四、删除路径
hadoop fs -rm -R hdfs路径
# 删除文件夹
hadoop fs -rm -r /attachment
五、文件操作
# 创建文件
hadoop fs -touch /test.txt
# 删除文件
hadoop fs -rm /test.txt
# 从HDFS里递归拷贝attachment文件夹到本地指定目录temp下
hadoop dfs -get /attachment /home/temp/
# 从HDFS里递归拷贝文件到本地指定目录temp下
1.hadoop fs -get <HDFS file path> <Local system directory path>
2.hadoop fs -copyToLocal <HDFS file path> <Local system directory path>
例如:
hadoop fs -get /hdfs/source/test.text /localfs/destination/path/
hadoop fs -copyToLocal /hdfs/source/test.text /localfs/destination/path/
# 从本地导入文件夹至HDFS指定目录(-f 覆盖)
hadoop dfs -put -f /home/attachment/2021 /attachment/
# 从本地导入文件至HDFS指定目录(-f 覆盖)
1.hadoop fs -put -f <Local system file path> <HDFS directory path>
2.hadoop fs -copyFromLocal -f <Local system file path> <HDFS directory path>
举例:
hadoop fs -put -f weblog_entries.txt /data/weblogs1
hadoop fs -copyFromLocal -f weblog_entries.txt /data/weblogs1
六、更改属组
hadoop fs -chown -R 属组名 hdfs路径
七、强行停止job
hadoop job -kill job_xxx
注意:本文归作者所有,未经作者允许,不得转载