Kafka集群的构建和配置
准备工作
安装java环境
zookeeper集群的构建
构建kafka集群
1 .准备工作
1.1软件包的安装
1.2至少准备三台主机(ubuntu系统)
如果没有物理机，也可以得到三台虚拟机。 如果不能安装ubuntu系统，自己百度也可以哦。 这里不详细说明。
作者使用的是虚拟机，接下来是三台电脑的配置
主机名
IP地址
硬件配置
kafka-1
192.168.1.42
4CPU、4G内存、128G存储
kafka-2
192.168.1.41
4CPU、4G内存、128G存储
kafka-3
192.168.1.47
4CPU、4G内存、128G存储
安装JAVA环境
在每台主机下执行以下步骤：
将安装软件包移动到/usr/local目录中
mv JDK-8u 162-Linux-x64.tar.gz/usr/local
解压缩文件
tar-zxvf JDK-8u 162-Linux-x64.tar.gz
将文件夹重命名为java
mv jdk-8u162-linux-x64 java
在vim中打开/etc/profile文件(在Linux上设置系统环境变量的文件)
vim/etc /配置文件
按I进入编辑模式，在文件末尾添加以下JAVA环境变量
导出Java _ home=/usr/local/Java
export JRE _ home=/usr/local/Java/JRE
导出类路径=. $ class path : $ Java _ home/lib 3360 $ JRE _ home/lib
导出路径=$ path : $ Java _ home/fzdz : $ JRE _ home/fzdz
添加环境变量后，按esc键退出编辑模式，输入： wq以回车保存结果，如下图所示(也可以按shift zz键保存)。
设置环境变量
最后，必须启用此环境变量并执行以下代码：
源/etc /配置文件
验证是否成功安装了JAVA
echo $JAVA_HOME； #检查变量值
Java -版本；
java；
javac；
如果设置正确，java -version将输出java的版本信息，java和javac将输出命令的使用方法。
构建zookeeper群集
在每台主机上执行以下步骤：
将安装软件包移动到/usr/local目录中
mv zookeeper-3.4.12.tar/usr/local
解压缩文件
tar -zxvf zookeeper-3.4.12.tar
将文件夹重命名为zookeeper
mv zookeeper-3.4.12 zookeeper
设置zookeeper环境变量，然后首先打开配置文件
vim/etc /配置文件
按I键进入编辑模式，在文件末尾添加zookeeper环境变量
# set zookeeper环境
export ZK _ home=/usr/local/zookeeper
导出路径=$ ZK _ home/fzdz : $ path
保存文件后，启用此环境变量
源/etc /配置文件
打开zookeeper配置文件
CP/usr/local/zookeeper/conf/zoo _ sample.CFG/usr/local/zookeeper/conf/zoo.CFG
vim/usr/local/zookeeper/conf/zoo.CFG
修改zookeeper配置文件
#更改数据文件夹的路径
datadir=/usr/local/zookeeper/data
#添加到文件末尾
server.1=192.168.1.42336028833603888
server.2=192.168.1.41:28833603888
server.3=192.168.1.47:28833603888
#其他不变
创建数据文件夹(dataDir中指定的路径) ) ) )。
mkdir /usr/local/zookeeper/data
在此文件夹中创建myid文件，并将本机添加到myid文件中
server ID，在本例中对应关系如下主机名
IP地址
zookeeper
myid
kafka-1
192.168.1.42
server.1
1
kafka-2
192.168.1.41
server.2
2
kafka-3
192.168.1.47
server.3
3
所以，在kafka-1中执行下面命令
echo "1" > /usr/local/zookeeper/data/myid #kafka-1主机myid
在kafka-2中执行下面命令
echo "2" > /usr/local/zookeeper/data/myid #kafka-2主机myid
在kafka-3中执行下面命令
echo "3" > /usr/local/zookeeper/data/myid #kafka-3主机myid
在每台电脑上启动zookeeper
/usr/local/zookeeper/fzdz/zkServer.sh start
全部启动后，查看启动结果
/usr/local/zookeeper/fzdz/zkServer.sh status
kafka-1启动结果
kafka-2启动结果
kafka-3启动结果
如果启动失败就关闭防火墙再启动
4. 搭建kafka集群
在每台主机上执行下面步骤：
将安装包移到/usr/local目录下
mv kafka_2.11-2.0.0 .tgz /usr/local
解压文件
tar -zxvf kafka_2.11-2.0.0 .tgz
重命名文件夹为kafka
mv kafka_2.11-2.0.0 kafka
配置kafka环境变量，首先打开profile文件
vim /etc/profile
按i进入编辑模式，在文件末尾添加kafka环境变量
#set kafka environment
export KAFKA_HOME=/usr/local/kafka
PATH=${KAFKA_HOME}/fzdz:$PATH
保存文件后，让该环境变量生效
source /etc/profile
在kafka-1主机中修改server.properties配置文件
打开配置文件
vim /usr/local/kafka/config/server.properties
修改配置如下(IP地址应该根据实际情况填写)
broker.id=1
listeners=PLAINTEXT://192.168.1.42:9092 # 新增
zookeeper.connect=192.168.1.41:2181,192.168.1.42:2181,192.168.1.47:2181 # 新增
在kafka-2主机中修改server.properties配置文件
打开配置文件
vim /usr/local/kafka/config/server.properties
修改配置如下(IP地址应该根据实际情况填写)
broker.id=2
listeners=PLAINTEXT://192.168.1.41:9092 #新增
zookeeper.connect=192.168.1.41:2181,192.168.1.42:2181,192.168.1.47:2181 #新增
在kafka-3主机中修改server.properties配置文件
打开配置文件
vim /usr/local/kafka/config/server.properties
修改配置如下(IP地址应该根据实际情况填写)
broker.id=3
listeners=PLAINTEXT://192.168.1.47:9092 #新增
zookeeper.connect=192.168.1.41:2181,192.168.1.42:2181,192.168.1.47:2181 #新增
启动kafka(要确保zookeeper已启动)
在每台主机上分别启动kafka
/usr/local/kafka/fzdz/kafka-server-start.sh -daemon config/server.properties
4.测试kafka集群：
在其中一台虚拟机(192.168.1.47)创建topic
/usr/local/kafka/fzdz/kafka-topics.sh --create --zookeeper 192.168.1.47:2181 --replication-factor 3 --partitions 1 --topic test-topic
查看创建的topic信息
/usr/local/kafka/fzdz/kafka-topics.sh --describe --zookeeper 192.168.1.47:2181 --topic test-topic
结果如下图所示：
topic信息
搭建成功啦