首页 > 编程知识 正文

job执行太长hadoop,hadoop上传文件命令

时间:2023-05-06 06:00:13 阅读:56667 作者:2576

hadoop命令行中的作业相关:

命令行工具

1 .查看作业信息:

Hadoop作业列表

2 .杀死作业:

Hadoop jobkill job _ id

3 .按指定路径显示历史记录日志摘要:

Hadoop作业历史输出- dir

4 .工作详情:

Hadoop job-history所有输出- dir

5 .打印map和reduce完成百分比和所有计数器:

Hadoop jobstatus job _ id

6 .杀死任务。 被杀的任务并不不利于失败的尝试:

hadoop jab -kill-task

7 .使任务失败。 失败的任务不利于失败的尝试:

硬件作业故障任务

*文件操作

*查看目录文件

* $ hadoop dfs -ls /user/cl

*

*创建文件目录

* $ hadoop dfs -mkdir /user/cl/temp

*

删除文件

* $ Hadoop DFS-RM/user/cl/temp/a.txt

*

*删除目录和目录中的所有文件

* $ hadoop dfs -rmr /user/cl/temp

*

*上传文件

将本地/home/cl/local.txt上传到hdfs的/user/cl/temp目录

* $ Hadoop DFS-put/home/cl/local.txt/user/cl/temp

*

*下载文件

将hdfs的/user/cl/temp目录中的hdfs.txt文件下载到本地/home/cl/

* $ Hadoop DFS-get/user/cl/temp/HDFS.txt/home/cl

*

*查看文件

* $ Hadoop DFScat/home/cl/HDFS.txt

*

*作业操作

*提交映射作业。 Hadoop中的所有MapReducejob都是jar包

* $ hadoop jar

* $ hadoopjarsandbox-mapred-0.0.20.jar sandbox.mapred.word count job/user/cl/input.dat/user/cl/output

*

*杀死正在运行的作业

将Job_Id设为job_201207121738_0001

* $ Hadoop job-kill job _ 201207121738 _ 0001

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。