本页内容

  • 准备工作
  • 安装 Java OpenJDK
  • 下载 Apache Kafka
  • 将 Kafka 作为 Systemd 服务运行
  • 使用 Kafka 控制台生产者和消费者进行基本操作
  • 使用 Kafka Connect 插件流式传输数据
  • 总结

Apache Kafka 是一个用于实时处理流式数据的分布式数据存储。它由 Apache 软件基金会开发,使用 Java 和 Scala 编写。Apache Kafka 用于构建实时流式数据管道以及能够适应数据流的应用程序,尤其适用于企业级应用程序和关键任务型应用程序。它是数千家公司用于高性能数据管道、流式分析和数据集成的、最流行的数据流平台之一。Apache Kafka 将消息传递、存储和流处理结合在一个平台上。它允许用户构建高性能且强大的数据流,用于实时收集、处理和流式传输数据。它被用于现代分布式应用程序中,具备可扩展以处理数十亿条流式事件的能力。

在本教程中,我们将在 Rocky Linux 服务器上安装 Apache Kafka,并学习将 Kafka 作为消息代理、通过 Kafka 插件流式传输数据的基本用法。

准备工作

要跟随本教程,你需要满足以下要求:

  • 一台 Rocky Linux 服务器 - 你可以使用 Rocky Linux v8 或 v9。
  • 一个具有 sudo root 权限的非 root 用户。

安装 Java OpenJDK

Apache Kafka 是一个基于 Java 的应用程序。要安装 Kafka,你需要先在系统上安装 Java。在撰写本文时,最新版本的 Apache Kafka 至少需要 Java OpenJDK v11。

在第一步中,你将通过 Rocky Linux 官方软件仓库安装 Java OpenJDK 11。

运行以下 dnf 命令,在你的 Rocky Linux 系统上安装 Java OpenJDK 11。

sudo dnf install java-11-openjdk

当提示确认安装时,输入 y 并按 ENTER 继续。

如何在 Rocky Linux 上安装 Apache Kafka 消息队列服务

Java 安装完成后,使用以下命令验证 Java 版本。你将看到 Java OpenJDK 11 已安装在你的 Rocky Linux 系统上。

java version

如何在 Rocky Linux 上安装 Apache Kafka 消息队列服务

现在 Java 已安装完成,接下来你将开始 Apache Kafka 的安装。

下载 Apache Kafka

Apache Kafka 为包括 Linux/Unix 在内的多种操作系统提供了多个二进制软件包。在这一步中,你将创建一个专用于 Kafka 的新系统用户,下载 Kafka 二进制软件包,并配置 Apache Kafka 安装。

运行以下命令,创建一个名为 'kafka' 的新系统用户。这将为 Kafka 创建一个默认家目录为 '/opt/kafka' 的新系统用户,该目录将用作 Kafka 的安装目录。

sudo useradd -r -d /opt/kafka -s /usr/sbin/nologin kafka

现在将工作目录切换到 '/opt'。然后,通过下面的 curl 命令下载 Apache Kafka 二进制软件包。你将看到文件 'kafka.tar.gz'。

cd /opt
sudo curl -fsSLo kafka.tgz https://downloads.apache.org/kafka/3.3.1/kafka_2.12-3.3.1.tgz

如何在 Rocky Linux 上安装 Apache Kafka 消息队列服务

通过 tar 命令解压文件 'kafka.tar.gz',并将解压出来的目录重命名为 '/opt/kafka'。

tar -xzf kafka.tgz
sudo mv kafka_2.12-3.3.1 /opt/kafka

接下来,通过下面的 chmod 命令将 '/opt/kafka' 目录的所有权更改为 'kafka' 用户。

sudo chown -R kafka:kafka /opt/kafka

之后,为 Apache Kafka 创建一个新的日志目录。然后,通过 nano 编辑器编辑默认配置 'server.properties'。

sudo -u kafka mkdir -p /opt/kafka/logs
sudo -u kafka nano /opt/kafka/config/server.properties

Kafka 日志目录将用于存储 Apache Kafka 日志,你必须在 Kakfka 配置 sertver.properties 中定义日志目录。

取消注释 'log.dirs' 选项,并将其值更改为 '/opt/kafka/logs'。

# logs configuration for Apache Kafka
log.dirs=/opt/kafka/logs

完成后保存文件并退出编辑器。

如何在 Rocky Linux 上安装 Apache Kafka 消息队列服务

你现在已完成 Apache Kafka 的基本安装和配置。接下来,你将把 Apache Kafka 设置为 systemd 服务并运行它。

将 Kafka 作为 Systemd 服务运行

Apache Kafka 软件包还包含另一个名为 Zookeeper 的应用程序,它用于集中服务,并维护 Kafka 控制器选举、主题配置以及 Apache Kafka 集群的 ACL(访问控制列表)。

要运行 Apache Kafka,你必须先在系统上运行 Zookeeper。在这一步中,你将分别为 Zookeeper 和 Apache Kafka 创建一个新的 systemd 服务文件。这两个服务也都将在同一个 'kafka' 用户下运行。

使用以下命令为 Zookeeper 创建一个新的服务文件 '/etc/systemd/system/zookeeper.service'。

sudo nano /etc/systemd/system/zookeeper.service

将配置添加到文件中。

[Unit]
Requires=network.target remote-fs.target
After=network.target remote-fs.target
[Service]
Type=simple
User=kafka
ExecStart=/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties
ExecStop=/opt/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal
[Install]
WantedBy=multi-user.target

完成后保存文件并退出编辑器。

接下来,使用以下命令为 Apache Kafka 创建一个新的服务文件 '/etc/systemd/system/kafka.service'。

sudo nano /etc/systemd/system/kafka.service

将以下配置添加到文件中。你可以在 '[Unit]' 部分看到,Kafka 服务依赖于 'zookeeper.service' 先运行,并且它始终在 'zookeeper.service' 之后运行。

[Unit]
Requires=zookeeper.service
After=zookeeper.service
[Service]
Type=simple
User=kafka
ExecStart=/bin/sh -c '/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties > /opt/kafka/logs/start-kafka.log 2>&1'
ExecStop=/opt/kafka/bin/kafka-server-stop.sh
Restart=on-abnormal
[Install]
WantedBy=multi-user.target

完成后保存文件并退出编辑器。

如何在 Rocky Linux 上安装 Apache Kafka 消息队列服务

接下来,运行以下 systemctl 命令以重新加载 systemd 管理器并应用新的服务。

sudo systemctl daemon-reload

现在使用以下命令启动 zookeeper 和 kafka 服务。

sudo systemctl start zookeeper
sudo systemctl start kafka

通过以下 systemctl 命令,启用 kafka 和 zookeeper 服务,使其在系统启动时自动运行。

sudo systemctl enable zookeeper
sudo systemctl enable kafka

最后,使用以下命令验证 zookeeper 和 kafka 服务。

sudo systemctl status zookeeper
sudo systemctl status kafka

在下面的输出中,你可以看到 zookeeper 服务当前的状态为正在运行,并且已设置为开机启用。

如何在 Rocky Linux 上安装 Apache Kafka 消息队列服务

以下是 kafka 服务的状态,它正在运行,并且服务也已启用。

如何在 Rocky Linux 上安装 Apache Kafka 消息队列服务

现在你已经完成了 Apache Kafka 的安装,它已启动并正在运行。接下来,你将学习 Apache Kafka 作为消息代理来生产消息的基本用法,同时你还将学习如何使用 Kafka 插件实时流式传输数据。

使用 Kafka 控制台生产者和消费者进行基本操作

在开始之前,本示例将使用的所有命令都由位于 '/opt/kafka/bin' 目录下的 Kafka 软件包提供。

在这一步中,你将学习如何创建和列出 Kafka 主题、启动生产者并插入数据、通过消费者脚本流式传输数据,最后你将通过删除 Kafka 主题来清理你的环境。

运行以下命令创建一个新 Kafka 主题。你将使用脚本 'kafka-topics.sh' 创建一个名为 'TestTopic'、包含一个副本和分区的新主题。

sudo -u kafka /opt/kafka/bin/kafka-topics.sh \
--create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic TestTopic

现在运行以下命令验证 Kafka 上的主题列表。你应该能看到 'TestTopic' 已在你的 Kafka 服务器上创建。

sudo -u kafka /opt/kafka/bin/kafka-topics.sh --list --bootstrap-server localhost:9092

如何在 Rocky Linux 上安装 Apache Kafka 消息队列服务

接下来,要生产消息,你可以使用脚本 'kafka-console-producser.sh',然后插入将被处理的数据。

运行以下命令启动 Kafka 控制台生产者,并将主题指定为 'TestTopic'。

sudo -u kafka /opt/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic TestTopic

启动 Kafka 控制台生产者后,输入任意将被处理的消息。

接下来,打开一个新的终端会话并登录到服务器。然后通过脚本 'kafka-conosle-consumer.sh' 打开 Kafka 控制台消费者。

运行以下命令启动 Kafka 控制台消费者,并将主题指定为 'TestTopic'。

sudo -u kafka /opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic TestTopic --from-beginning

在下面的截图中,你可以看到来自 Kafka 控制台生产者的所有消息都被处理到了消费者控制台。你也可以在控制台生产者上输入其他消息,该消息将自动被处理并显示在控制台消费者屏幕上。

如何在 Rocky Linux 上安装 Apache Kafka 消息队列服务

现在按 Ctrl+c 退出 Kafka 控制台生产者和 Kafka 控制台消费者。

要清理你的 Kafka 环境,你可以通过以下命令删除并移除 'TestTopic'。

sudo -u kafka /opt/kafka/bin/kafka-topics.sh --bootstrap-server localhost:9092 --delete --topic TestTopic

使用 Kafka Connect 插件流式传输数据

Apache Kafka 提供了多个可用于从多个来源流式传输数据的插件。额外的 Kafka 库插件默认位于 '/opt/kafka/libs' 目录,你必须通过配置文件 '/opt/kafka/config/connect-standalone.properties' 启用 Kafka 插件。这里针对的是 Kafka 单机模式。

运行以下命令编辑 Kafka 配置文件 '/opt/kafka/config/connect-standalone.properties'。

sudo -u kafka nano /opt/kafka/config/connect-standalone.properties

取消注释 'plugin.path' 行,并将其值更改为插件的库目录 '/opt/kakfa/libs'。

plugin.path=/opt/kafka/libs

完成后保存文件并退出编辑器。

接下来,运行以下命令创建一个新文件 '/opt/kafka/test.txt',它将用作 Kafka 流的数据源。

sudo -u kafka echo -e "Test message from file\nTest using Kafka connect from file" > /opt/kafka/test.txt

现在运行以下命令,以单机模式启动 Kafka 消费者,并使用配置文件 'connect-file-source.properties' 和 'connect-file-sink.properties'。

此命令和配置是你刚刚创建的源文件 'test.txt' 的 Kafka 数据流默认示例。此示例还会自动创建一个新主题 'connect-test',你可以通过 Kafka 控制台消费者访问它。

cd /opt/kafka
sudo -u kafka /opt/kafka/bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties

现在,打开另一个终端会话并运行以下命令启动 Kafka 控制台消费者。同时,将主题指定为 'connect-test'。你将看到来自文件 'test.txt' 的消息。

sudo -u kafka /opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic connect-test --from-beginning

现在你可以更新文件 'test.txt',新消息将自动被处理并流式传输到 Kafka 控制台消费者。

运行以下命令,用新消息更新文件 'test.txt'。

sudo -u kafka echo "Another test message from file test.txt" >> test.txt

在下面的输出中,你可以看到当文件 'test.txt' 发生变化时,新消息会被 Kafka 自动处理。你现在已完成 Kafka connect 插件通过文件流式传输消息的基本用法。

如何在 Rocky Linux 上安装 Apache Kafka 消息队列服务

总结

在本指南中,你学习了如何在 Rocky Linux 系统上安装 Apache Kafka。你还学习了 Kafka 生产者控制台用于生产和消息处理,以及 Kafka 消费者用于接收消息的基本用法。最后,你还学习了如何启用 Kafka 插件,并使用 Kafka Connect 插件从文件实时流式传输消息。