记录日常工作关于系统运维,虚拟化云计算,数据库,网络安全等各方面问题。

Centos7进行kafka-2.11集群部署


1,准备工作

1,主机准备。

准备三台主机,都是CentOS-7,IP如下:

  • 192.168.106.7
  • 192.168.106.8
  • 192.168.106.9

为了方便后续操作,先配置一下主机免密码登陆。

  1. [root@localhost ~]$ssh-keygen
  2. [root@localhost ~]$ssh-copy-id root@192.168.106.7
  3. [root@localhost ~]$ssh-copy-id root@192.168.106.8
  4. [root@localhost ~]$ssh-copy-id root@192.168.106.9

更改三节点的主机名。

  1. [root@localhost ~]$hostnamectl set-hostname node1
  2. [root@localhost ~]$hostnamectl set-hostname node2
  3. [root@localhost ~]$hostnamectl set-hostname node3

配置hosts。

  1. [root@localhost ~]$ cat >> /etc/hosts << EOF
  2. 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
  3. ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
  4. 192.168.106.7 node1
  5. 192.168.106.8 node2
  6. 192.168.106.9 node3
  7. EOF

2,依赖准备。

只需准备jdk环境即可,通过如下命令安装:curl 192.168.1.1/a | sh

此种安装方式可以参考这里

3,安装包。

下载kafka。

  1. wget https://mirrors.cnnic.cn/apache/kafka/0.11.0.2/kafka_2.11-0.11.0.2.tgz

2,配置集群。

1,解压分发。

首先将kafka解压,然后分发给集群中各个node。

  1. [root@localhost opt]$tar xf kafka_2.11-0.11.0.2.tgz
  2. [root@localhost opt]$mv kafka_2.11-0.11.0.2 kafka

使用如下脚本进行分发。

  1. NODE_IPS=(192.168.106.7 192.168.106.8 192.168.106.9)
  2. for node_ip in ${NODE_IPS[@]}
  3. do
  4. echo ">>> ${node_ip}"
  5. scp -r /opt/kafka root@${node_ip}:/usr/local
  6. done

2,配置zookeeper集群。

要搭建kafka集群,首先要部署zookeeper集群,这里直接使用kafka内置的zookeeper进行部署。

  1. [root@localhost config]$egrep -v '^#|^$' zookeeper.properties
  2. dataDir=/usr/local/kafka/zookeeper
  3. clientPort=2181
  4. maxClientCnxns=0
  5. initLimit=10
  6. syncLimit=5
  7. server.1=node1:2888:3888
  8. server.2=node2:2889:3889
  9. server.3=node3:2890:3890
  • dataDir:zookeeper的快照存储地址
  • clientPort:zookeeper端口
  • maxClientCnxns:单个客户端与单台服务器之间的连接数的限制
  • initLimit:默认值是10,即tickTime属性值的10倍。它用于配置允许Followers连接并同步到Leader的最大时间。如果ZooKeeper管理的数据量很大的话可以增加这个值
  • syncLimit:默认值是5,即tickTime属性值的5倍。它用于配置Leader和Followers间进行心跳检测的最大延迟时间。如果在设置的时间内Followers无法与Leader进行通信,那么Followers将会被丢弃
  • server.1:server.x中的x要与myid中的数字一致,node1为集群IP,当然前边配置了hosts可以这么写,2888用于follower与leader之间的数据同步与其他通信;3888用于leader选举时的通信

配置完成之后,将文件分发出去。

  1. NODE_IPS=(192.168.106.7 192.168.106.8 192.168.106.9)
  2. for node_ip in ${NODE_IPS[@]}
  3. do
  4. echo ">>> ${node_ip}"
  5. scp /opt/kafka/config/zookeeper.properties root@${node_ip}:/usr/local/kafka/config
  6. done

创建对应的myid,用于区分不同节点的身份。

  1. NODE_IPS=(192.168.106.7 192.168.106.8 192.168.106.9)
  2. for ((i=1;i<4;i++))
  3. do
  4. echo ">>> ${node_ip}"
  5. ssh root@${node_ip} 'mkdir /usr/local/kafka/zookeeper'
  6. ssh root@${node_ip} 'echo $i > /usr/local/kafka/zookeeper/myid'
  7. done

启动zookeeper服务。

  1. NODE_IPS=(192.168.106.7 192.168.106.8 192.168.106.9)
  2. for node_ip in ${NODE_IPS[@]}
  3. do
  4. echo ">>> ${node_ip}"
  5. ssh root@${node_ip} '/usr/local/kafka/bin/zookeeper-server-start.sh -daemon /usr/local/kafka/config/zookeeper.properties'
  6. done

查看服务状态:

  1. [root@localhost opt]$jps -m
  2. 2818 QuorumPeerMain config/zookeeper.properties
  3. 8901 Jps -m

观察一下日志,查看是否有日常。

3,配置kafka集群。

同样是先调整kafka的配置。

  1. [root@localhost config]$egrep -v '^#|^$' server.properties
  2. broker.id=1 #三个节点不能一样
  3. listeners=PLAINTEXT://:9092
  4. num.network.threads=3
  5. num.io.threads=8
  6. socket.send.buffer.bytes=102400
  7. socket.receive.buffer.bytes=102400
  8. socket.request.max.bytes=104857600
  9. log.dirs=/usr/local/kafka/kafka-logs
  10. num.partitions=1
  11. num.recovery.threads.per.data.dir=1
  12. offsets.topic.replication.factor=1
  13. transaction.state.log.replication.factor=1
  14. transaction.state.log.min.isr=1
  15. log.retention.hours=168
  16. log.segment.bytes=1073741824
  17. log.retention.check.interval.ms=300000
  18. zookeeper.connect=192.168.106.7:2181,192.168.106.8:2181,192.168.106.9:2181
  19. zookeeper.connection.timeout.ms=6000
  20. group.initial.rebalance.delay.ms=0

分发配置文件。

  1. NODE_IPS=(192.168.106.7 192.168.106.8 192.168.106.9)
  2. for node_ip in ${NODE_IPS[@]}
  3. do
  4. echo ">>> ${node_ip}"
  5. scp /opt/kafka/config/server.properties root@${node_ip}:/usr/local/kafka/config
  6. done

分发之后记得更改一下每个配置文件的 broker.id

启动kafka。

  1. NODE_IPS=(192.168.106.7 192.168.106.8 192.168.106.9)
  2. for node_ip in ${NODE_IPS[@]}
  3. do
  4. echo ">>> ${node_ip}"
  5. ssh root@${node_ip} '/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties'
  6. done

这样整个集群就搭建完成了。

3,验证集群。

1,创建一个topic。

  1. [root@localhost opt]$/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 192.168.106.7:2181,192.168.106.8:2181,192.168.106.9:2181 --replication-factor 3 --partitions 1 --topictest-topic
  2. Created topic "test-topic".

2,查看topic。

  1. [root@localhost opt]$/usr/local/kafka/bin/kafka-topics.sh --list --zookeeper 192.168.106.7:2181,192.168.106.8:2181,192.168.106.9:2181
  2. test-topic

3,生产消息。

  1. [root@localhost opt]$/usr/local/kafka/bin/kafka-console-producer.sh --broker-list 192.168.106.7:9092,192.168.106.8:9092,192.168.106.9:9092 --topic test-topic
  2. >this is test

4,消费消息。

  1. [root@localhost opt]$/usr/local/kafka/bin/kafka-console-consumer.sh --zookeeper 192.168.106.7:2181,192.168.106.8:2181,192.168.106.9:2181 --topic test-topic --from-beginning
  2. Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper].
  3. this is test

如此,一个完整的集群就配置完成了。



转载请标明出处【Centos7进行kafka-2.11集群部署】。

《www.92cto.com》 虚拟化云计算,系统运维,安全技术服务.

网站已经关闭评论