首页 > 编程知识 正文

cdhhadoop文档,cdhhadoopeclipse

时间:2023-05-04 19:03:40 阅读:56644 作者:1073

要求:从Hadoop-2.0.0-cdh4.1.2升级到hadoop-2.7.2

升级前准备:

将新的hadoop-2.7.2部署到每个群集服务器

配置新环境变量的备用

开始升级:

停止hive、hbase、zookeeper等相关服务

2 .检查文件(如果文件太多,需要太长时间的话可以不做)。

Hadoop DFS管理员安全模式输入器

元数据块(过滤以小点开头的所有行) :

Hadoop fsck/- files-blocks-locations|grep-v-e ' ^. ' old-fsck.log

Hadoop DFS管理安全模式leave

关闭hadoop群集

$HADOOP_HOME/舒适的画笔/stop-all.sh

4 .修改环境变量

source /etc/profile在每个群集上运行

echo $HADOOP_HOME看到了它是否是新的hadoop目录

5 .开始升级

使用Hadoop-daemon.shstartnamenode-upgrade启动namenode升级

hadoop-daemons.sh start datanode启动各个数据节点

如果打开日志文件以观察错误并报告内存溢出,则为hadoop-env.sh文件中的export HADOOP_HEAPSIZE、HADOOP_CLIENT_OPTS参数值和yarn--

打开50070端口网页并观察升级过程

所有数据节点升级完成后,检查数据的完整性。 此过程必须等待一段时间,具体取决于群集数量。

hadoop fsck /

有问题的回滚命令:

Hadoop-daemon.shstartnamenode-roll back

Hadoop-daemons.shstartdatanode-roll back

6 .提交升级

运行一段时间后,观察没有问题,可以提出升级

HDFS DFS管理升级

您可能也喜欢下面关于Hadoop的文章,请看:

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。