首页 > 编程知识 正文

hadoop和hdfs的区别,怎么看hadoop环境配置成功没

时间:2023-05-04 15:49:41 阅读:153775 作者:902

穆码人8056858

在Linux上安装Hadoop之前,必须安装版本1. JDK 1.6或更高版本的两个程序。 2. SSH )安全外壳协议(建议安装OpenSSH )。 简单说明安装这两个程序的理由。 1. Hadoop是用Java开发的,编译和运行Hadoop需要JDK。 2 .由于Hadoop需要通过SSH启动salve列表中每台主机的守护程序,因此即使安装了伪分布式版本,也必须安装SSH (因为Hadoop不区分群集和伪分布式)。 对于伪分布式,Hadoop采用与群集相同的处理方式。 这意味着按顺序启动主机上文件conf/slaves中列出的进程。 但是,对于伪方差,salve和SSH一样是必需的,因为在伪方差中salve是localhost自身。 一、安装JDK 1.6安装JDK的过程很简单。 以Ubuntu为例。 )1)确保可以下载并安装JDK以连接到internet,然后键入命令。 可以在sudo apt-getinstallsun-Java6- JDK中输入并确认密码,然后安装JDK。 本节首先介绍sudo和apt这两个命令。 sudo命令允许普通用户执行部分或全部需要root权限的命令。 提供详细的日志,以记录每个用户使用此命令执行的操作。 此外,sudo还提供了一种灵活的管理方法,可以限制用户使用命令。 sudo的配置文件为/etc/sudoers。 所有的apt都被称为高级打包工具,是Debian计划的一部分,是Ubuntu的软件包管理软件。 通过apt安装软件可以在不考虑软件依赖关系的情况下直接安装所需的软件,apt自动下载依赖关系的软件包并按顺序安装,在Ubuntu上安装apt的图形界面)2)配置环境变量输入命令:输入sudo gedit /etc/profile密码,打开profile文件。 在文件的底部输入以下内容: # setjavaenvironmentexportjava _ home=(一般为/usr/lib/JVM/Java-6-sun (export class path='. $ Java _ home lib3360$classpath'exportpath=)3)确保JDK安装成功(java -version查看信息) Java版本'1.6.0 1 )确认已连接互联网,输入命令sudo apt-get install ssh2),设定为无需密码即可登录本机。 首先,检查u用户下是否有. ssh文件夹。 (请注意,ssh前面有“.”。 这是隐藏文件夹。 )输入命令。 ls -a /home/u通常,安装ssh时会自动在当前用户下创建此隐藏文件夹。 如果没有,可以手动创建。 然后输入命令。 ssh-keygen-tdsa-p '-f~~/. ssh/id _ DSA说明。 ssh-keygen表示生成密钥。 -t (注意区分大小写)意味着指定要生成的密钥的类型。 dsa是dsa密钥认证的意思,是密钥类型; p用于提供密码短语-f指定生成的密钥文件。 (关于私钥的知识在此不详细介绍。 包含有关SSH的知识。 如果读者感兴趣,请自己参考资料。 )在Ubuntu中,~表示当前用户文件夹,此处为/home/u。 此命令在. ssh文件夹下创建两个文件id_dsa和id_dsa.pub。 这是ssh的私钥和公钥对,类似于密钥和密钥,用于将id_dsa.pub (公钥)添加到授权key中。 命令: cat~~/. ssh/id _ DSA.pub~~/. ssh/authorized _ keys此词的含义是将公钥添加到用于验证的公钥文件中。 此处的authorized_keys是用于认证的公钥文件。 这样,无需密码即可登录本机的设定就完成了。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。