kafka3.1.0集群部署(zookeeper模式)
1
集群环境：
2 节点名 ip地址 OS版本 部署服务broker信息
3 kafka01 192.168.96.10 CentOS Linux release 7.9.2009 (Core) jdk、zookeeper、kafka
broker : 0
4 kafka02 192.168.96.11 CentOS Linux release 7.9.2009 (Core) jdk、zookeeper、kafka
broker : 1
5 kafka03 192.168.96.12 CentOS Linux release 7.9.2009 (Core) jdk、zookeeper、kafka
broker : 2
6 软件版本：
7 jdk 1.8 版本： https://www.oracle.com/java/technologies/downloads/#java8
8 zookeeper 3.7.0 版本: https://dlcdn.apache.org/zookeeper/zookeeper-3.7.0/apache-
zookeeper-3.7.0-bin.tar.gz
9 kafka 2.13-3.1.0 版本: https://dlcdn.apache.org/kafka/3.1.0/kafka_2.13-3.1.0.tgz
10 开始部署：
11 一、部署jdk
12 解压并重命名服务
13 cd /opt/software/
14 tar -zxvf jdk-8u321-linux-x64.tar.gz
15 mv jdk1.8.0_321 /usr/local/jdk1.8.0
16
17 添加环境变量
18 vi /etc/profile
19
20
21 # 在文件尾部追加以下内容
22
23 export JAVA_HOME=/usr/local/jdk1.8.0
24 export JRE_HOME=${JAVA_HOME}/jre
25 export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
26 export PATH=${JAVA_HOME}/bin:$PATH
27
28 重载环境变量，使新配置生效
29 source /etc/profile
30
31 验证
32 java -version
33
34
35
36 继续按照以上方法部署另外2台服务器
37
38 二、部署zookeeper
39 在线下载安装包
40 cd /opt/software/
41 wget https://dlcdn.apache.org/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-
bin.tar.gz --no-check-certificate
42
43 解压并重命名服务
44 tar -zxvf apache-zookeeper-3.7.0-bin.tar.gz
45 mv apache-zookeeper-3.7.0-bin /usr/local/zookeeper-3.7.0
46
47 创建zookeeper服务的data目录
48 mkdir /usr/local/zookeeper-3.7.0/data
49
50 创建myid文件（zookeeper用于惟一标识自己的id）
51 echo 1 > /usr/local/zookeeper-3.7.0/data/myid
52
53 生成zoo.cfg配置文件
54 cp /usr/local/zookeeper-3.7.0/conf/zoo_sample.cfg /usr/local/zookeeper-3.7.0/conf/zoo.cfg
55
56 修改zoo.cfg配置文件
57 vi /usr/local/zookeeper-3.7.0/conf/zoo.cfg
58
59
60 tickTime=2000
61 initLimit=10
62 syncLimit=5
63 dataDir=/usr/local/zookeeper-3.7.0/data
64 clientPort=2181
65
66 server.1=192.168.96.10:2888:3888
67 server.2=192.168.96.11:2888:3888
68 server.3=192.168.96.12:2888:3888
69
70 使用scp同步发送到另外2台服务器
71 scp -r /usr/local/zookeeper-3.7.0 root@192.168.96.11:/usr/local/
72 scp -r /usr/local/zookeeper-3.7.0 root@192.168.96.12:/usr/local/
73
74 配置另外2个节点的myid文件
75 192.168.96.11 服务器
76 echo 2 > /usr/local/zookeeper-3.7.0/data/myid
77
78 192.168.96.12 服务器
79 echo 3 > /usr/local/zookeeper-3.7.0/data/myid
80
81 最后，分别在3台服务器上启动zk服务
82 /usr/local/zookeeper-3.7.0/bin/zkServer.sh start
83
84 验证
85 jps -m
86
87
88
89 三、部署kafka
90 下载软件包并解压、重命名服务
91 cd /opt/software/
92 wget https://dlcdn.apache.org/kafka/3.1.0/kafka_2.13-3.1.0.tgz
93 tar -zxvf kafka_2.13-3.1.0.tgz --no-check-certificate
94 mv kafka_2.13-3.1.0 /usr/local/kafka-2.13
95
96 配置kafka
97 vi /usr/local/kafka-2.13/config/server.properties
98
99 kafka01服务器
100 broker.id=0
101 listeners=PLAINTEXT://192.168.96.10:9092
102 log.dirs=/tmp/kafka-logs
103 zookeeper.connect=192.168.96.10:2181,192.168.96.11:2181,192.168.96.12:2181
104
105 使用scp同步发送到另外2台服务器
106 scp -r /usr/local/kafka-2.13 root@192.168.96.11:/usr/local/
107 scp -r /usr/local/kafka-2.13 root@192.168.96.12:/usr/local/
108
109 分别修改kafka02、kafka03的配置，如下
110 kafka02服务器
111 broker.id=1
112 listeners=PLAINTEXT://192.168.96.11:9092
113
114 kafka03服务器
115 broker.id=2
116 listeners=PLAINTEXT://192.168.96.12:9092
117
118 分别在3台服务器上，启动kafka集群
119 cd /usr/local/kafka-2.13 && bin/kafka-server-start.sh config/server.properties &
120
121 或者
122 ./bin/kafka-server-start.sh -daemon config/server.properties
123
124
125 四、验证测试
126 创建topic
127 bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server
192.168.96.10:9092
128
129 查看topic
130 bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server
192.168.96.10:9092
131
132 生产者：发送消息
133 登录后复制
134 bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server
192.168.96.10:9092
135
136 消费者：处理消息
137 bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-
server 192.168.96.10:9092
138 ![kafka集群部署(最新版本kafka_2.13-3.1.0)_kafka集群_03]
(https://s2.51cto.com/images/20220307/1646659237317495.png?x-oss-
process=image/watermark,size_14,text_QDUxQ1RP
139