文章目录一、hdfs命令二、yarn相关命令三、yarn相关参数调整
另一方面，hdfs命令显示文件内容，并结合more:Hadoop fs-cat/in/Hadoop-Hadoop-NameNode-h71.log|more统计hdfs中文件的行数： hadfs Hadoop-Hadoop-more wc -l输出：显示16509HDFS中文件的前n行： Hadoop fs-text file|head-n 100显示HDFS中文件的后n行： hadop fs-text tail -n 100显示配置的fs.default.name名称： hdfsgetconf-confkeyfs.default.name显示子目录占用的存储大小： HDFS ://avic namespault
第一列指示该目录的总文件大小
第二列显示此目录下所有文件在群集上的总存储大小与您的副本数相关。 我的拷贝数是3，所以第二列是第一列的3倍。 第2列的内容=文件大小*副本数)
第三列表示你查询的目录
更改所有者：授予Hadoop fs-chown-r root 3360 root/tmp权限：获取Hadoop fs-chmod 777/work/username node节点的HA状态： hadoopfshadmin--
二. yarn相关命令
查看任务列表：
[root@node01~~]# yarn application-list warning : yarn _ optshasbeenreplacedbyhadoop _ opts.usingvalueofyarn _ opts 115336005:56 info cliofo ionhistoryserveratnode 02/110.110.110.11033601020021/11033602021 15:05336056 info client.configuredrmfailoverproxyprovider : failingovertorm2totalnumberofapplications (应用程序360 [已提交，已接受， 运行] and tags : [ ] ) 33602应用程序- id应用程序-名称应用程序-类型用户queuestatefinal-stateprogresstracking-URL应用程序_ 16155555 running undefined 10http://node 02336045335 application _ 161725690277 _ 0001 ATS-hbbs running undefined 100 % n/a查看任务日志： yarn lon
杀死APP:yarn APP-kill APP _ 1625729683563 _ 0015
乔：杀Hadoop job-kill jobid
批量kill (接受是状态值，可以更改) yarn的无用任务：
fori in ` yarn应用程序- list ' ' grep-waccepted ' { print $1} ' ' _ `； do yarn application -kill $i； done三、yarn相关参数调整问题1:hive任务卡位于tezsessionhasn ' tbeencreatedyet.opening session
解决方案：参考： Kerberos实战
众所周知，一些大数据服务的执行需要调度yarn资源，因此在使用平台服务之前，检查yarn的配置，在执行任务时不会因为资源分配问题而挂起任务
假设群集由三台计算机组成，三台计算机的内存为8G，则这里需要调整两个位置。
Yarn容器分配的内存大小资源调度容量的最大百分比。 默认值为0.2。 Web UI -- Yarn配置----基本配置--- memoryallocatedforallyarncontainersonanode，内存建议更大。
之后，我把这里改为500GB。
Web UI -- Yarn配置- -高级配置--scheduler-- -更改yarn.scheduler.capacity.maximum-am-resource-percent中的值，然后单击百分比
如果分配给YARN的资源过少，则存在妨碍集群任务执行的问题。 保存更改后的配置，然后重新启动YARN服务。
2:yarn资源不足的时候两个都是Standby，任务可能不会被杀。 通常是活动的和标准的。
解决方案：将参数yarn.resource manager.ZK-time out-ms的值从10000增大到60000。
参考：
ZooKeeper节点数据量限制导致的Hadoop yarn资源管理器崩溃原因分析(2) )。
资源管理器正在持续准备更换