Hadoop常用命令

wylc123 10月前 ⋅ 409 阅读
一、查看分区数据
(一)查看哪些分区有数据
hadoop fs -du hdfs路径
(二)查看数据文件大小(单位:K/M/G,hdfs会有多个备份的数据文件,cos默认没有备份)
hadoop fs -du -h hdfs路径

二、查看路径
hadoop fs -ls hdfs路径

三、新增路径
hadoop fs -mkdir hdfs路径

# 在HDFS创建文件夹(-p 多级创建)
hadoop fs -mkdir -p /attachment

四、删除路径
hadoop fs -rm -R hdfs路径
# 删除文件夹
hadoop fs -rm -r /attachment

五、文件操作
# 创建文件
hadoop fs -touch /test.txt

# 删除文件
hadoop fs -rm /test.txt

# 从HDFS里递归拷贝attachment文件夹到本地指定目录temp下
hadoop dfs -get /attachment /home/temp/

# 从HDFS里递归拷贝文件到本地指定目录temp下
1.hadoop fs -get <HDFS file path> <Local system directory path>
2.hadoop fs -copyToLocal <HDFS file path> <Local system directory path>
例如:
hadoop fs -get /hdfs/source/test.text /localfs/destination/path/
hadoop fs -copyToLocal /hdfs/source/test.text /localfs/destination/path/


# 从本地导入文件夹至HDFS指定目录(-f 覆盖)
hadoop dfs -put -f /home/attachment/2021 /attachment/

# 从本地导入文件至HDFS指定目录(-f 覆盖)
1.hadoop fs -put -f <Local system file path> <HDFS directory path>
2.hadoop fs -copyFromLocal -f <Local system file path> <HDFS directory path>
举例:
hadoop fs -put -f weblog_entries.txt /data/weblogs1
hadoop fs -copyFromLocal -f weblog_entries.txt /data/weblogs1

六、更改属组
hadoop fs -chown -R 属组名 hdfs路径

七、强行停止job
hadoop job -kill job_xxx


相关文章推荐

全部评论: 0

    我有话说: