kafka集群部署

1.简介

kafka:消息队列

官网地址：http://kafka.apache.org

下载地址：kafka_2.12-2.0.0.tgz

版本说明: kafka_2.12-2.0.0.tgz

             │     └─kafka版本

             └─scala版本

2.环境准备

1vim /etc/hosts
2192.168.33.14 node4
3192.168.33.15 node5
4192.168.33.16 node6

3.安装配置

kafka集群依赖zookeeper,因此需要先配置好zookeeper集群，配置参见zookeeper配置章节

 1yum -y install java wget
 2wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.0.0/kafka_2.12-2.0.0.tgz
 3
 4tar xf kafka_2.12-2.0.0.tgz 
 5mv kafka_2.12-2.0.0 /usr/local/kafka
 6
 7# 修改配置文件
 8vim /usr/local/kafka/config/server.properties
 9broker.id=0 # 唯一值
10#zookeeper.connect=localhost:2181
11zookeeper.connect=node4:2181,node5:2181,node6:2181 # zk服务器列表

4.启动集群

1cd /usr/local/kafka
2./bin/kafka-server-start.sh config/server.properties

5.测试集群

创建topic

1bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
2

查看topic

1bin/kafka-topics.sh --list --zookeeper localhost:2181

发送数据测试

1bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

启动消费端

1bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

6.参考文档

kafka快速入门 http://kafka.apache.org/quickstart