曾续缘

切换主题

在Docker中安装和测试Kafka ​

Kafka概览 | January

大家好，我是曾续缘。本教程将分享如何在Docker环境中安装和测试Kafka，包括安装Zookeeper和Kafka，以及验证Kafka的功能是否正常。

1. 安装Zookeeper ​

由于Kafka依赖Zookeeper实现高可用性和一致性，首先需要部署Zookeeper集群。在Docker中，我们将创建并运行一个名为 "zookeeper" 的容器，基于 wurstmeister/zookeeper 镜像。

bash
docker run \
-d \
--name zookeeper \
-p 2181:2181 \
-v /etc/localtime:/etc/localtime wurstmeister/zookeeper

image-20240319125010961

此命令将创建一个后台模式的容器，并将容器内部的2181端口映射到宿主机的2181端口。

2. 安装Kafka ​

接下来，我们将创建并运行一个名为 "kafka" 的容器，基于 wurstmeister/kafka 镜像。

查看代码
bash
docker run \
-d --name kafka \
-p 9092:9092 \
-e KAFKA_BROKER_ID=0 \
-e KAFKA_ZOOKEEPER_CONNECT=192.168.101.101:2181 \
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.101.101:9092 \
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 \
-e KAFKA_ZOOKEEPER_SESSION_TIMEOUT_MS=60000 \
-e KAFKA_ZOOKEEPER_CONNECTION_TIMEOUT_MS=60000 \
-e KAFKA_ZOOKEEPER_SYNC_TIMEOUT_MS=10000 \
-t wurstmeister/kafka

image-20240319125358300

同时，使用 -e 参数来设置环境变量：

  • KAFKA_BROKER_ID=0：指定 Kafka 的 Broker ID 为 0。
  • KAFKA_ZOOKEEPER_CONNECT=192.168.101.101:2181：指定 Kafka 连接的 Zookeeper 地址。
  • KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.101.101:9092：指定 Kafka 广告监听器的地址。
  • KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092：指定 Kafka 监听器的地址。

这些参数的设置可以使得 Kafka 在 Docker 容器中正确地连接到指定的 Zookeeper 实例，并允许外部程序通过指定的地址和端口访问 Kafka 服务。

注意将IP地址替换为你的服务器IP地址。

3. 验证Kafka功能是否正常 ​

Kafka安装完毕后，我们需要进入容器内部启动生产者和消费者，以验证Kafka功能是否正常。

首先，进入容器内部：

bash
docker exec -it kafka /bin/sh

image-20240319125638731

然后，切换到Kafka的执行目录：

bash
cd /opt/kafka/bin

image-20240319125700889

启动生产者：

bash
./kafka-console-producer.sh --broker-list localhost:9092 --topic [你的topic名称]

例如：

bash
./kafka-console-producer.sh --broker-list localhost:9092 --topic cengxuyuan

生产者脚本启动成功后,会有一个">"提示符。

启动消费者：

为了看到生产者和消费者之间的消息传递效果，需要另开一个终端，并进入到容器对应目录：

bash
docker exec -it kafka /bin/sh
cd /opt/kafka/bin

image-20240319125854536

bash
./kafka-console-consumer.sh --bootstrap-server [你的IP地址]:9092 --topic [你的topic名称]

例如：

bash
./kafka-console-consumer.sh --bootstrap-server 192.168.101.101:9092 --topic cengxuyuan

4. 生产者与消费者测试 ​

在生产者终端输入消息，然后在消费者终端观察是否能接收到消息，以验证Kafka功能是否正常。

image-20240319130146071

image-20240319130216523

5. 错误处理 ​

如果在Docker使用过程中遇到任何错误，可以使用以下命令查看日志：

bash
docker logs 容器名称

总结 ​

本教程介绍了如何在Docker中安装和测试Kafka。通过遵循这些步骤，我们就能够在Docker环境中成功运行Kafka了，并进行基本的生产者和消费者测试。