本教程适用于以下操作系统版本
- Ubuntu 22.04(Jammy Jellyfish)
- Ubuntu 18.04(Bionic Beaver)
本页内容
- 前提条件
- 安装 Java OpenJDK
- 安装 Apache Kafka
- 将 Apache Kafka 设置为服务
- Apache Kafka 基本操作
- 使用 Kafka Connect 插件以流方式导入/导出数据
- 总结
Apache Kafka 是一个用于实时处理流式数据的分布式数据存储。它由 Apache Software Foundation 开发,使用 Java 和 Scala 编写。Apache Kafka 用于构建实时流式数据管道以及适应数据流的应用,尤其适用于企业级应用和关键任务应用。它是最受欢迎的数据流平台之一,被数千家公司用于高性能数据管道、流式分析和数据集成。
Apache Kafka 将消息传递、存储和流处理集于一处。允许用户建立高性能且强大的数据流,用于实时收集、处理和流式传输数据。它被用于现代分布式应用中,具备可扩展以处理数十亿流式事件的能力。
在本教程中,你将在 Ubuntu 22.04 服务器上安装 Apache Kafka。你将学习如何从二进制包手动安装 Apache Kafka,其中包括让 Apache 作为服务运行的基本配置,以及使用 Apache Kafka 的基本操作。
前提条件
要完成本教程,你需要满足以下要求:
- 一台至少配备 2GB 或 4GB 内存的 Ubuntu 22.04 服务器。
- 一个具有 root/管理员权限的非 root 用户。
安装 Java OpenJDK
Apache Kafka 是一个使用 Scala 和 Java 编写的流处理和消息代理。要安装 Kafka,你需要在 Ubuntu 系统上安装 Java OpenJDK。在撰写本文时,最新版本的 Kafka v3.2 至少需要 Java OpenJDK v11,该版本在 Ubuntu 软件仓库中默认可用。
首先,运行下面的 apt 命令来更新 Ubuntu 软件仓库并刷新软件包索引。
sudo apt update
使用下面的 apt 命令安装 Java OpenJDK 11。输入 Y 确认安装并按 ENTER,安装随即开始。
sudo apt install default-jdk
Java OpenJDK 现已安装在你的 Ubuntu 系统上。使用下面的 java 命令检查并核实 java 版本。你将看到已安装的 java OpenJDK v11。
java version

安装 Apache Kafka
安装 Java OpenJDK 之后,你将使用二进制包手动开始安装 Apache Kafka。在撰写本文时,Apache Kafka 的最新版本是 v3.2。要安装它,你将创建一个新的系统用户并下载 Kafka 二进制包。
运行以下命令创建一个名为 "kafka" 的新系统用户。该用户的默认主目录为 "/opt/kafka",并禁用 shell 访问。
sudo useradd -r -d /opt/kafka -s /usr/sbin/nologin kafka
使用下面的 curl 命令下载 Apache Kafka 二进制包。你将获得 Apache Kafka 软件包 "kafka_2.13-3.2.0.tgz"。
sudo curl -fsSLo kafka.tgz https://dlcdn.apache.org/kafka/3.2.0/kafka_2.13-3.2.0.tgz
下载完成后,使用 tar 命令解压文件 "kafka_2.13-3.2.0.tgz"。然后,将解压后的目录移动到 "/opt/kafka"。
tar -xzf kafka.tgz
sudo mv kafka_2.13-3.2.0 /opt/kafka
现在将 Kafka 安装目录 " /opt/kafka " 的所有权更改为用户 " kafka "。
sudo chown -R kafka:kafka /opt/kafka
接下来,运行以下命令创建一个新的 " logs " 目录,用于存放 Apache kafka 日志文件。然后,使用 nano 编辑器编辑 Kafka 配置文件 " /opt/kafka/config/server.properties "。
sudo -u kafka mkdir -p /opt/kafka/logs
sudo -u kafka nano /opt/kafka/config/server.properties
将 Apache Kafka 日志的默认位置更改为目录 " /opt/kafka/logs "。
# logs configuration for Apache Kafka log.dirs=/opt/kafka/logs
完成后保存并关闭文件。
将 Apache Kafka 设置为服务
至此,你已完成 Apache Kafka 的基本配置。现在如何在你的系统上运行 Apache Kafka?这里推荐的方式是将 Apache Kafka 作为 systemd 服务运行。这使你可以使用单个命令行 " systemctl " 来启动、停止和重启 Apache Kafka。
要设置 Apache Kafka 服务,你需要先设置 Zookeeper 服务。这里的 Apache Zookeeper 用于集中管理服务,并维护控制器选举、topic 配置、访问控制列表(ACL)以及成员关系(针对 Kafka 集群)。
Zookeeper 默认包含在 Apache Kafka 中。你将为 Zookeeper 设置服务文件,然后为 Kafka 创建另一个服务文件。
运行以下命令为 Zookeeper 创建一个新的 systemd 服务文件 "/etc/systemd/system/zookeeper.service"。
sudo nano /etc/systemd/system/zookeeper.service
将以下配置添加到该文件中。
[Unit] Requires=network.target remote-fs.target After=network.target remote-fs.target [Service] Type=simple User=kafka ExecStart=/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties ExecStop=/opt/kafka/bin/zookeeper-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.target
完成后保存并关闭文件。
接下来,使用下面的命令为 Apache Kafka 创建一个新的服务文件 "/etc/systemd/system/kafka.service"。
sudo nano /etc/systemd/system/kafka.service
将以下配置添加到该文件中。仅当 Zookeeper 服务正在运行时,此 Kafka 服务才会运行。
[Unit] Requires=zookeeper.service After=zookeeper.service [Service] Type=simple User=kafka ExecStart=/bin/sh -c '/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties > /opt/kafka/logs/start-kafka.log 2>&1' ExecStop=/opt/kafka/bin/kafka-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.target
完成后保存并关闭文件。
现在使用下面的命令重新加载 systemd 管理器。此命令将应用你刚刚创建的新 systemd 服务。
sudo systemctl daemon-reload

现在使用下面的命令启动并启用 Zookeeper 服务。
sudo systemctl enable zookeeper
sudo systemctl start zookeeper
然后,使用以下命令启动并启用 Apache Kafka 服务。
sudo systemctl enable kafka
sudo systemctl start kafka
最后,使用下面的命令检查并核实 Zookeeper 和 Apache Kafka 服务。
sudo systemctl status zookeeper
sudo systemctl status kafka
在以下输出中,你可以看到 Zookeeper 服务已启用,并将在系统启动时自动运行。并且 Zookeeper 服务当前的状态为 running 。

Apache Kafka 服务同样已启用,并将在系统启动时自动运行。并且它现在的状态为 " running "。

Apache Kafka 基本操作
你已完成 Apache Kafka 的基本安装,并且它正在运行。现在你将从命令行学习 Apache Kafka 的基本操作。
所有 Apache Kafka 命令行工具都位于 " /opt/kafka/bin " 目录中。
要创建新的 Kafka topic,请使用如下的 " kafka-topics.sh " 脚本。在本示例中,我们将创建一个名为 " TestTopic " 的新 Kafka topic,带有 1 个副本和分区。并且你应该会得到类似 " Created topic TestTopic " 的输出。
sudo -u kafka /opt/kafka/bin/kafka-topics.sh \
--create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic TestTopic
要核实 Kafka 服务器上可用 topic 的列表,请运行以下命令。并且你应该会看到你刚刚创建的 " TestTopic " 已在 Kafka 服务器上可用。
sudo -u kafka /opt/kafka/bin/kafka-topics.sh --list --bootstrap-server localhost:9092

你已经创建了 Kafka topic,现在你可以尝试使用标准的命令行 " kafka-console-producer.sh " 和 " kafka-console-consumer.sh " 在 Apache Kafka 上写入并流式传输数据。
脚本 " kafka-console-producer.sh " 是一个命令行工具,可用于向 Kafka topic 写入数据。而脚本 " kafka-console-consumer.s h" 用于从终端流式传输数据。
在当前的 shell 会话中,运行以下命令启动 Kafka Console Producer。此外,你还需要为此指定 Kafka topic,在本示例中,我们将使用 " TestTopic "。
sudo -u kafka /opt/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic TestTopic
接下来,打开另一个 shell 或终端,并连接到 Apache Kafka 服务器。然后,运行以下命令启动 Apache Kafka Consumer。请务必在此指定 Kafka topic。
sudo -u kafka /opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic TestTopic --from-beginning
现在你可以在 Kafka Console Producer 中输入任意消息,这些消息将自动出现并流式显示在 Kafka Console Consumer 上。

现在你只需按 " Ctrl+c " 即可退出 Kafka Console producer 和 Consumer。
这里你应该了解的另一个 Kafka 基本操作是如何删除 Kafka 上的 topic。这同样可以通过使用 " kafka-topics.sh " 命令行工具来完成。
如果你想删除 topic " TestTopic ",可以使用以下命令。现在 " TestTopic " 将从你的 Kafka 服务器中移除。
sudo -u kafka /opt/kafka/bin/kafka-topics.sh --bootstrap-server localhost:9092 --delete --topic TestTopic
使用 Kafka Connect 插件以流方式导入/导出数据
你已经通过创建 topic、使用 Kafka Console Producer 和 Consumer 流式传输消息学习了 Apache Kafka 的基本操作。现在你将学习如何通过 "Kafka Connect" 插件从文件流式传输消息。该插件在默认的 Kafka 安装中可用,Kafka 的默认插件位于 " /opt/kafka/libs " 目录中。
使用 nano 编辑器编辑配置文件 " /opt/kafka/config/connect-standalone.properties "。
sudo -u kafka nano /opt/kafka/config/connect-standalone.properties
将以下配置添加到该文件中。这将启用位于 "/opt/kafka/libs" 目录中的 Kafka Connect 插件。
plugin.path=libs/connect-file-3.2.0.jar
完成后保存并关闭文件。
接下来,创建一个新的示例文件,你将把它导入并流式传输到 Kafka。根据 Apache Kafka 配置文件,你必须在 Kafka 安装目录 " /opt/kafka " 下创建文件 " test.txt "。
运行下面的命令创建一个新文件 " /opt/kafka/test.txt "。
sudo -u kafka echo -e "Test message from file\nTest using Kafka connect from file" > /opt/kafka/test.txt
在 " /opt/kafka " 工作目录中,运行以下命令以 standalone 模式启动 kafka connector。
此外,我们在这里额外添加了三个配置文件作为参数。所有这些文件都包含基本配置,说明数据将存储在何处、存储在哪个 topic 上,以及将处理哪个文件。这些配置的默认值是:数据将在 topic "connect-test" 上可用,源文件为你刚刚创建的 "test.txt"。
你将看到来自 Kafka 的大量输出消息。
cd /opt/kafka
sudo -u kafka /opt/kafka/bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties
现在打开另一个终端 shell/会话,并运行以下命令启动 Kafka Console Consumer。在本示例中,数据流将在 topic " connect-test " 上可用。
现在你将看到文件 " test.txt " 上的数据被流式传输到你当前的 Console Consumer shell 中。
sudo -u kafka /opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic connect-test --from-beginning
如果你尝试向文件 " test.txt " 添加另一条消息,你将看到该消息会自动流式传输到 Kafka Console Consumer 上。
sudo -u kafka echo "Another test message from file test.txt" >> test.txt

总结
在本教程中,你已经学习了如何在 Ubuntu 22.04 系统上安装用于流处理和消息代理的 Apache Kafka。你还学习了 Kafka 在 Ubuntu 系统上的基本配置。此外,你还学习了使用 Apache Kafka Producer 和 Consumer 的基本操作。最后,你还学习了如何将消息或事件从文件流式传输到 Apache Kafka。