Hadoop安装教程Mac版1，JDK环境安装JDK1.8 Oracle官网下载JDK1.8版
按照系统的指示安装
2 .在设置JDK环境变量的terminal中键入3358www.Sina.com/，然后按vi ~/.bash_profile进入编辑模式。
Java _ home=/library/Java/javavirtualmachines/JDK1.8.0_ 281.JDK/contents/homeexportpath=$ path 3360 $ dddd
在terminal中输入i以启用设置的环境变量。
二. Hadoop安装1 .设置ssh免密码登录。 因为Hadoop是分布式平台，所以需要多台机器之间的合作。 设置ssh无密码登录可以减少每次登录时向主机输入密码的繁琐过程。 1 )在Mac上的esc上打开远程登录：
2 )在terminal中输入:wq生成rsa公钥，然后按回车键或输入y即可。
3 )在terminal中键入source ~/.bash_profile，将公钥内容写入authorized_keys文件。
4 )在terminal中输入系统偏好设置共享，无需密码即可登录，设置成功。
2. Hadoop下载与配置1 )如何下载Hadoop http://www.Sina.com /
方法下载Hadoop官方网站
方法三：百度网盘下载(链接：https://pan.Baidu.com/s/19 jouu _ gtxblqpevab 51 nya提取代码： 74vc ) ) ) ) )。
Note (推荐方法3，将Hadoop文件解压到ssh-keygen -t rsa文件夹，获得与笔者结构相同的效果。
2 )在设置Hadoop环境变量的terminal中输入cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys，按ssh localhost进入编辑模式。
Hadoop _ home=/library/Hadoop/Hadoop-3.2.2 export path=$ path : $ Hadoop _ home/s /自觉的绿草： $ Hadoop
在terminal中输入brew install hadoop以启用设置的环境变量。
3 )修改Hadoop配置文件以打开/Library/Hadoop文件夹：
配置vi ~/.bash_profile文件
configurationpropertynamefs.default fs/namevaluehdfs 3360//0.0.033609000/value/property！ 运行hadoop时生成的文件的存储路径- -指定property name Hadoop.tmp.dir/name。 放在hadoop目录下的temp文件夹中--- value/library/Hadoop/Hadoop-3.2.2/tmp/value/property/configuration b .配置33
配置属性！ 指定hdfs保存的数据副本数。 包括自己在内，默认为3----！ -伪方差模式。 此值必须为1-- named fs.replication/name value1/value/property
<property> <name>dfs.namenode.name.dir</name> <!-- name node 存放 name table 的目录 --> <value>file:/Library/Hadoop/hadoop-3.2.2/tmp/hdfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <!-- data node 存放数据 block 的目录 --> <value>file:/Library/Hadoop/hadoop-3.2.2/tmp/hdfs/data</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>localhost:9001</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property></configuration>c. 配置 mapred-site.xml 文件
<configuration> <property><!--指定mapreduce运行在yarn上--> <name>mapreduce.framework.name</name> <value>yarn</value> </property></configuration>d. 配置 yarn-site.xml 文件
<configuration> <property><name>yarn.resourcemanager.hostname</name><value>localhost</value> </property> <property><!--NodeManager获取数据的方式--><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value> </property> <property> <name>yarn.application.classpath</name> <value>/Library/Hadoop/hadoop-3.2.2/etc/hadoop:/Library/Hadoop/hadoop-3.2.2/share/hadoop/common/lib/*:/Library/Hadoop/hadoop-3.2.2/share/hadoop/common/*:/Library/Hadoop/hadoop-3.2.2/share/hadoop/hdfs:/Library/Hadoop/hadoop-3.2.2/share/hadoop/hdfs/lib/*:/Library/Hadoop/hadoop-3.2.2/share/hadoop/hdfs/*:/Library/Hadoop/hadoop-3.2.2/share/hadoop/mapreduce/lib/*:/Library/Hadoop/hadoop-3.2.2/share/hadoop/mapreduce/*:/Library/Hadoop/hadoop-3.2.2/share/hadoop/yarn:/Library/Hadoop/hadoop-3.2.2/share/hadoop/yarn/lib/*:/Library/Hadoop/hadoop-3.2.2/share/hadoop/yarn/*</value> </property></configuration> 3. 启动Hadoop 1) 初始化在terminal输入 hdfs namenode -format
（只初次启动需要）
在terminal输入 start-all.sh （或者分别输入 start-dfs.sh 和 start-yarn.sh）
使用 jps (JavaVirtualMachineProcessStatus) 命令查看Hadoop是否已启动，运行的java进程中应包含以下几种：
访问 http://localhost:9870/dfshealth.html#tab-overview
访问 http://localhost:8088/cluster
a. 新建一个 word.txt 文件并输入几个单词
b. 在hdfs文件系统上创建input文件夹 hdfs dfs -mkdir /input
c. 将word.txt放入input文件夹 hdfs dfs -put words.txt /input
d. 查看是否已放入文件 hdfs dfs -ls /input
e. 运行wordcount程序 hadoop jar /Library/Hadoop/hadoop-3.2.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar wordcount /input /output
（Note：输出目录必须是一个不存在的目录，输出结果无法存放在已有目录中）
f. 查看程序输出 hdfs dfs -ls /output
g. 打开输出文件 hdfs dfs -cat /output/part-r-00000
在terminal输入 stop-all.sh
三、Spark安装 1. 安装Scala 1) 下载Scala方法一：Scala官网下载
方法二：百度网盘下载（链接: https://pan.baidu.com/s/19JoUU_GTxBlqpEvaB51nyA 提取码: 74vc）
将Scala文件解压，并移动到 /usr/local/scala 文件夹下
在terminal中输入 vi ~/.bash_profile ，按 i 进入编辑模式：
SCALA_HOME=/usr/local/scalaexport PATH=$PATH:$SCALA_HOME/自觉的绿草按 esc 退出编辑，输入 :wq 保存并退出。
在terminal中输入 source ~/.bash_profile ，使配置的环境变量生效。
方法一：brew install apache-spark
方法二：Spark官网下载
方法三：百度网盘下载（链接: https://pan.baidu.com/s/19JoUU_GTxBlqpEvaB51nyA 提取码: 74vc）
Note：推荐使用方法三，并将Spark文件解压到 /Library/Hadoop 文件夹下，以达到和笔者配置相同的效果。
在terminal中输入 vi ~/.bash_profile ，按 i 进入编辑模式：
SPARK_HOME=/Library/Hadoop/spark-3.1.1-自觉的绿草-hadoop3.2export PATH=$PATH:$SPARK_HOME/自觉的绿草按 esc 退出编辑，输入 :wq 保存并退出。
在terminal中输入 source ~/.bash_profile ，使配置的环境变量生效。
首先启动Hadoop集群 start-all.sh
1) 启动master在terminal输入 cd $SPARK_HOME 进入Spark文件夹
./s自觉的绿草/start-master.sh
访问 http://localhost:8080，获取master的URL信息。
复制上图红框圈出的URL，替换下面命令的URL部分（spark://—）
./s自觉的绿草/start-worker.sh spark://—
使用以下命令可以同时启动master和slave
./s自觉的绿草/start-all.sh
使用 jps 命令查看Spark是否已启动，运行的java进程中应包含以下几种：
./s自觉的绿草/stop-all.sh