文章目录交通数据分析系统:导入1、实验说明2、实验环境3、相关技能4、知识点5、效果图6、实验步骤7、总结
交通数据分析系统:安装配置1、实验说明出租车数据分析实验环境安装配置2、实验环境虚拟机数量: 1系统版本: Centos 7.5Spark版本:2.1.1 3、相关技能熟悉Linux操作系统Spark环境ii
6、实验步骤6.1Spark环境安装部署
6.1.1解压缩spark压缩包
6.1.1.1打开Linux命令行终端(在桌面上单击鼠标右键并选择“打开终端”) ) ) ) ) ) ) )。
6.1.1.2在命令行终端上,切换到spark压缩包所在的目录/home/zkpk/tgz/spark
[ zkpk @ master~]将$ CD/home/zkpk/tgz/spark6.1.1.3spark压缩包解压缩到用户的根目录
[ zkpk @ master spark ] $ tar-xzvf spark-2.1.1-cmdst-Hadoop 2.7.tgz-c/home/zkpk6.1. 2查看解压缩的spark目录的内容
6.1.2.1返回用户希望的目录
进入[zkpk@master spark]$ cd 6.1.2.2解压缩的spark目录
[ zkpk @ master~] $ CD spark-2.1.1-cmdst-Hadoop 2.7/6.1.2.3查看此目录的内容
[ zkpk @ master spark-2.1.1-cmdst-Hadoop 2.7 ] $ ll
6.1.3环境变量的配置
6.1.3.1返回用户路由
[ zkpk @ master spark-2.1.1-cmdst-Hadoop 2.7 ] $ CD6.1.3.2vim编辑. bash_profile文件
添加[ zkpk @ master~] $ vim.bash _ profile6.1.3. 3以下两行
exports park _ home=/home/zkpk/spark-2.1.1-cmdst-Hadoop 2.7导出路径=$ spark _ home/cmdst 3360 $ spark
确保[ zkpk @ master~] $ source.bash _ profile6.1.4spark安装有效
6.1.4.1运行spark-shell
[ zkpk @ master~~ ] $ CD spark-2.1.1-cmdst-Hadoop 2.7 [ zkpk @ master spark-2.1.1-cmdst-Hadoop 2.7 ] $ cmdst
7、总结完成本实验,手动安装Spark运行环境,可为以后的Spark算法预计出租车相关问题的实验准备环境基础。