首页 > 编程知识 正文

windows格式化hadoop,hadoop环境配置

时间:2023-05-05 19:28:28 阅读:153779 作者:837

参考

3359 www.cn blogs.com/caiyi Shuai/p/12392070.html

3359 blog.csdn.net/QQ _ 35535690/article/details/81976032

3359 blog.csdn.net/wangaz 521/article/details/79717177

1 .首先下载hadoop2.7.1和hadooponwindows-master.zip

链接: https://pan.Baidu.com/s/1m2i8prhepfoirog _ eiyhjw

抽屉代码: acif

下载并解压缩到了本地。 我把它放进了D盘里

2 .原始的Hadoop不支持Windows系统。 必须更改配置,以便于在Windows上运行。 hadooponwindows-master.zip解压后

将解压缩的狠基准和etc文件复制到hadoop-2.7.1文件,并替换原始的狠基准和etc文件。

或Hadoop :https://archive.Apache.org/dist/Hadoop/common /

3 .下载设置JAVA_HOME并检查是否成功

配置HADOOP_HOME并将%HADOOP_HOME%冷酷的工作台添加到环境变量path中

5 .使用编辑器打开d :HadoopHadoop-2.7.1etcHadoopHadoop-env.cmd

更改JAVA_HOME的路径

将set JAVA_HOME更改为jdk位置

将tmp文件夹添加到D:hadoophadoop-2.7.1目录

将data和namenode、datanode子文件夹添加到D:hadoophadoop-2.7.1

7 .打开d :/Hadoop/Hadoop-2.7.1/etc/Hadoop/HDFS-site.XML

将路径更改为hadoop下的namenode和datanode

D:hadoophadoop-2.7.1在冷酷的长椅下将hadoop.dll复制到C:WindowsSystem32。 否则,在window平台上使用MapReduce测试时将报告错误

9 .以管理员身份打开命令提示符

键入hdfs namenode -format,可以看到format成功,如下所示

10.Hadoop-2.7.1s移动到狠毒的基准文件下

键入start-all以启动hadoop群集

D:hadoophadoop-2.7.1s狠毒的工作台开始-全部以下四个窗口指示hadoop群集已成功引导

11 .输入jps。 可以显示正在运行的所有节点

12.3358访问localhost :50070并访问Hadoop web界面

进入http://localhost:8088,进入yarn的web界面,即可显示成功

停止运行的所有节点的命令stop-all

13 .上传测试

根据core-site.xml的配置,可以在hdfs://localhost:9000上操作hdfs。

输入目录c :windowssystem32 Hadoop fs-mkdirhdfs ://localhost 33609000/user/c : windows 要创建的system32 Hadoop fs-mkdirhdfs ://localhost :9000/user/WC input目录c :windowssystem32 Hadoop fs-pup

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。