首页 > 编程知识 正文

hadoopfs命令详解,hadoop查看文件命令

时间:2023-05-04 18:07:39 阅读:56680 作者:3879

首选项参考链接:

3359 blog.csdn.net/u 011596455/article/details/53115410

一. hadoop所在目录cd usr/local/hadoop

二、hadoop bash ./starth.sh %运行开始- DFS.sh %运行开始- yarn.sh运行

启动dfs并在浏览器中显示:

172.16.31.17:50070

启动脚本并在浏览器中显示:

172.16.31.17:8088

停止脚本:

bash ./stoph.sh三、常用命令参考链接:

33559 www.cn blogs.com/lhworldblog/p/8514994.html

1.显示hadoop目录结构

hdfs dfs -ls -R /

2.在hadoop指定目录内创建新目录

hdfs dfs -mkdir /xrpdlc

3.将本地文件夹存储至hadoop

hdfs dfs -put [本地目录] [hadoop目录]

4.将本地文件存储至hadoop

hdfs dfs -put [本地地址] [hadoop目录]

5.查看指定目录下内容

hdfs dfs -ls [文件目录]

6.打开某个已存在文件

hdfs dfs -cat [file_path]

7.在hadoop指定目录下新建一个空文件

HD fsdfs-touchz/xrp DLC/test 03.txt

8.将hadoop上某个文件重命名

HD fsdfs-mv/xrp DLC/test 03.txt/xrp DLC/test.txt

9.将hadoop上某个文件down至本地已有目录下

hdfs dfs -get [文件目录] [本地目录]

10.将hadoop指定目录下所有内容保存为一个文件,同时down至本地

HD fsdfs-get merge/xrp DLC/Hadoop-file/home/spark/Hadoop-file/test.txt

11.删除hadoop上指定文件

hdfs dfs -rm [文件地址]

12.删除hadoop上指定文件夹(包含子目录等)

hdfs dfs -rm -r [目录地址]hdfs dfs -rmr [目录地址]

13.将正在运行的hadoop作业kill掉

Hadoop job-kill [ jo B- id ] http://www.Sina.com /

hdfs dfs -help四、安全模式14.查看帮助

NameNode在启动时自动进入安全模式。 安全模式为NameNode状态,在此阶段不允许更改文件系统。

显示Name node in safe mode,指示系统处于安全模式。 在这种情况下,等待几十秒钟,或者使用以下命令退出安全模式:

/usr/local/Hadoop $ bin/hadoopdfsadmin-safe mode leave

1.退出安全模式

如果需要,可以使用以下命令将HDFS置于安全模式:

/usr/local/Hadoop $ bin/hadoopdfsadmin-safe mode enter

五.补充hdfs操作的命令格式为hdfs dfs

1.1 -ls表示hdfs子目录1.2 -lsr表示hdfs目录递归表示1.3 -mkdir创建目录1.4 -put将文件从Linux上传到hdfs1.5 -get,从hdfs上传到Linux 1.5-get 在1.7 -rm中显示文件内容1.7 -rm意味着删除文件递归删除文件2.hdfs在对数据存储进行块分割时,如果文件大小超过块,则以块大小进行分割; 比block size差的是被分割成一个块,且是实际的数据大小。

3.hadoop常规命令:

显示HDFSDFSHadoopHDFS支持的所有命令HDFSDFS-ls目录和文件信息列表显示HDFSDFS-LSR目录、子目录和文件信息列表显示HD fsdfs-tail/user test.txt查看最后1KB内容HD fsdfs将文件从copyfromlocaltest.txt/user/sunlight cs/test.txt本地文件系统复制到HDFS文件系统,然后单击PPS sunlightcs/test.txttest.txt等效于将文件从HDFS文件系统复制到本地文件系统。 get命令HD fsdfschgrp [-r ]/user/sunlightcshdfs与更改系统中/user/sunlightcs目录所属的组相同,-r选项是递归运行的与linux命令类似,更改HD fsdfschown [-r ]/user/sunlightcshdfs系统的/user/sunlightcs目录所有者。 可选- RH dfsdfs递归运行chmod [-r ] mode/user/sunlight cs以更改HDFS系统的/user/sunlightcs目录权限。 mode可以是适当权限的3位或/-{rwx}。 选项- RH dfsdfscount [-q ]递归运行path以显示path目录下。 子目录数、文件数、文件大小、文件名/目录名HD fsdfscpsrc [ src…] DST将文件从src复制到dst。 如果指定了多个src,DST必须为目录HD fsdfsdu path显示目录中每个文件或目录的大小。 高清fsdfsdus path类似于du。 如果path是一个目录,则目录的总大小HD fsdfsexp unge将清空回收站;如果文件被删除,则首先将其移动到临时目录. Trash/。 在延迟时间结束之前,HD fsdfsgetmergesrc [ src…] local dst [ add nl ]会检索src中指定的所有文件,将其合并为一个文件,并将其合并为本地文件系统的loccal 选项addnl在每个文件末尾添加换行符HD fsdfstest[ ezd ] path,以检查path是否存在。 如果-e PATH存在,则返回0;如果不存在,则返回1。 -z文件是否为空。 长度为0时返回0,否则返回1; -d是否为目录。 如果PATH是目录,则返回0;否则,返回1 HD fsdfstextpath以显示文件的内容。 如果文件是文本文件,则与cat相同。 如果文件为压缩格式(gzip和hadoop二进制序列文件格式),请解压缩HD fsdfshelp ls以显示“ls”命令的帮助文档

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。