Kafka集群构建
1、Kafka的安装需要java环境。 cent os 7附带了java1.6版本。 无需重新安装,即可直接使用附带的jdk。 如果觉得jdk版本太旧,也可以自己重新安装;
2、准备kafka安装包,官网下载地址:
3358 Kafka.Apache.org/downloads.html
3、下载kafka安装包后,解压缩到/usr/local目录,删除压缩包
4、目前构建了三个节点的kafka集群,分别位于10.10.67.106、10.10.67.106和10.10.67.106服务器上;
5、查看配置文件
进入kafka的config目录:
6、首先创建zk集群,直接使用kafka自带的zookeeper创建zk集群,修改zookeeper.properties文件:
三台计算机上的zookeeper.properties文件放置相同,需要注意的是日志存储路径,而不是自动生成。 你需要自己做相关的路径。 dataLogDir是我自己添加的,日志文件太多,区分日志文件。
7、创建myid文件,进入/usr/local/kafka/zookeeper,创建myid文件,将三个服务器上的myid文件分别写入1、2、3。 图:
—-myid是zk集群用于发现彼此的标识,必须创建,不能相同;
8、进入kafka目录运行zookeeper命令:
./MTD ls/zookeeper-server-start.sh config/zookeeper.properties
如果三台计算机运行启动命令,查看zookeeper日志文件,并且没有报告错误,则表示zookeeper群集成功启动。
9、构建kafka集群,修改server.properties配置文件:
server.properties配置文件的更改主要在开头和结尾,中间可以保留默认设置; 需要注意的是,broker.id的值三个节点配置不同的值,分别配置在0、1、2上; log.dirs必须保证目录存在,不根据配置文件自动生成;
10、启动kafka集群,进入kafka目录,执行以下命令。
./MTD ls/Kafka-server-start.sh-daemon config/server.properties
三个节点都启动; 如果启动没有误报,则可以成功构建,生产和消耗信息,检测是否成功构建。
11、信息生产和消费方式,请参考以下博客:
3358 blog.csdn.net/zxy 987872674/article/details/72493128