本页内容
- 环境要求
- 安装 Java OpenJDK
- 安装 MongoDB NoSQL 数据库
- 安装 Elasticsearch
- 安装 Graylog Server
- 配置 SELinux
- 创建新的 Graylog Input
- 通过 Ingest Syslog 向 Graylog Server 发送日志
- 总结
Graylog 是一个自由开源的日志管理平台,用于捕获、存储并实现对数据和日志的实时分析。它使用 Java 编写,并构建在 MongoDB 和 Elasticsearch 等其他开源软件之上。Graylog 提供了最高效、快速且灵活的集中式日志管理平台之一。借助 Graylog,你可以发送并分析来自几乎任何数据源的结构化和非结构化数据。
在本教程中,你将在 Rocky Linux 服务器上使用 Graylog 搭建集中式日志管理。本教程包含一些 Graylog 依赖项(例如 Elasticsearch 和 MongoDB)的基础安装。此外,你还将配置 Graylog Input,并通过 Syslog Ingest 将日志从 Linux 机器发送到 Graylog Server。
环境要求
要跟随本教程,你需要满足以下要求:
- 一台运行 Rocky Linux 8 的服务器。
- 一个具有 sudo/管理员权限的非 root 用户。
- 已运行并启用的 firewalld。
安装 Java OpenJDK
Graylog Server 是一个主要使用 Java 编写的应用服务器。要安装 Graylog,你需要在 Rocky Linux 系统上安装 Java OpenJDK。在撰写本文时,Graylog Server 至少需要 Java v8 或更高版本。
在 Rocky Linux 软件仓库中,有多个可安装的 Java OpenJDK 版本。你可以使用以下命令查看所有可用的 OpenJDK 版本。
sudo dnf search openjdk
在本演示中,你将安装并使用 Java OpenJDK v11 作为 Graylog Server。运行以下 dnf 命令,将 java OpenJDK 安装到你的 Rocky Linux 系统。
当提示确认安装时,输入 ' y ' 并按 ENTER 。
sudo dnf install java-11-openjdk-devel
当 java OpenJDK 安装完成后,运行以下 ' java ' 命令来检查并验证 Java OpenJDK 版本。你应该会看到 Rocky Linux 系统上已安装 OpenJDK v11。
java version

安装 MongoDB NoSQL 数据库
你现在将安装 MongoDB NoSQL 数据库作为 Graylog Server 的依赖项。MongoDB 用于存储 Graylog Server 的数据。
要安装 MongoDB,你需要添加 MongoDB 软件仓库。然后,你就可以安装 MongoDB 软件包。
运行以下命令,为 Rocky Linux 系统添加 MongoDB 软件仓库。
cat <<EOF | sudo tee /etc/yum.repos.d/mongodb-org-6.repo
[mongodb-org-6.0]
name=MongoDB Repository
baseurl=https://repo.mongodb.org/yum/redhat/8/mongodb-org/6.0/x86_64/
gpgcheck=1
enabled=1
gpgkey=https://www.mongodb.org/static/pgp/server-6.0.asc
EOF
现在运行以下 dnf 命令,检查并验证系统中可用的软件仓库列表。你应该会看到已添加 " mongodb " 仓库。
sudo dnf repolist

接下来,使用以下 dnf 命令安装 MongoDB 软件包。当询问是否确认安装时,输入 ' y ' 并按 ENTER 继续。
sudo dnf install mongodb-org

此外,你还会被提示确认 MongoDB 仓库的 GPG 密钥。输入 ' y ' 以确认并添加 MongoDB GPG 密钥。

如果 MongoDB 安装完成,运行以下命令重新加载 systemd 管理器并应用新的 MongoDB 服务文件。
sudo systemctl daemon-reload
现在使用以下 system 命令,以 ' mongod ' 的名称启动 MongoDB 服务。然后,启用 ' mongod ' 服务以在系统启动时自动启动。
sudo systemctl enable mongod
sudo systemctl start mongod
最后,运行以下 systemctl 命令检查并验证 ' mongod ' 服务。你应该会看到 MongoDB 服务 ' mongod ' 正在运行,并且已在系统启动时启用。
sudo systemctl status mongod

安装 Elasticsearch
Elasticsearch 负责 Graylog Server 日志管理技术栈的搜索引擎。在撰写本文时,你需要安装 Elasticsearch v7.x。
当前版本的 Graylog Server 仅能与 Elasticsearch v7.x 一起运行。如果你安装最新的 elasticsearch(例如 v8.x 或 v9.x),将会出现错误。
现在运行以下命令,为 Rocky Linux 系统设置 Elasticsearch v7.x 仓库。
cat <<EOF | sudo tee /etc/yum.repos.d/elasticsearch.repo
[elasticsearch-7.x]
name=Elasticsearch repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
EOF
运行以下命令检查并验证系统中的软件仓库列表。你将看到已添加 Elasticsearch v7.x 仓库。
sudo dnf repolist

接下来,使用以下 dnf 命令安装 Elasticsearch 软件包。当提示确认安装时,输入 ' y ' 确认并按 ENTER 。
sudo dnf install elasticsearch

同时,你还会被提示将 GPG 密钥添加到 Elasticsearch 仓库。输入 ' y ' 以添加 GPG 密钥。随后安装将完成。

接下来,你需要为基础安装配置 Elasticsearch 服务器,该服务器将被 Graylog Server 使用。
使用以下命令编辑默认的 Elasticsearch 配置文件 ' /etc/elasticsearch/elasticsearch.yml '。
sudo nano /etc/elasticsearch/elasticsearch.yml
添加并取消注释以下基础 Elasticsearch 配置。
cluster.name: graylog-rocky8 action.auto_create_index: false
完成后保存并关闭文件。
此外,你还可以通过使用以下命令编辑文件 ' /etc/elasticsearch/jvm.options ',为 Elasticsearch 服务器设置最大内存分配。
sudo nano /etc/elasticsearch/jvm.options
取消注释并按如下方式修改默认配置。你可以在此处将最大内存分配改为你的服务器的最大内存。
-Xms1g -Xmx1g
完成后保存并关闭文件。
现在运行以下 systemctl 命令重新加载 systemd 管理器,并为 Elasticsearch 服务器应用新的服务文件。
sudo systemctl daemon-reload
接下来,使用以下命令启动并启用 Elasticsearch 服务器。Elasticsearch 服务将在系统启动时自动运行,当前 Elasticsearch 的状态现在应为正在运行。
sudo systemctl start elasticsearch
sudo systemctl enable elasticsearch

最后,运行以下命令检查 Elasticsearch 服务,确保服务正在运行。你应该会看到 Elasticsearch 服务正在运行且已启用的输出。
sudo systemctl status ealsticsearch

此外,你也可以通过以下 curl 命令访问你的 Elasticsearch 服务器。你应该获得关于你的 Elasticsearch 服务器的基本信息输出,包括集群名称、集群 uuid、Elasticsearch 版本以及 Lucene 版本(Elasticsearch 的核心)。
curl localhost:9200

安装 Graylog Server
在安装了 Java OpenJDK、MongoDB 和 Elasticsearch 之后,你现在要安装 Graylog Server。在此之前,你需要在 Rocky Linux 服务器上设置 Graylog 仓库。然后,你可以开始配置 Graylog Server,包括配置 Graylog 的密码认证,以及设置 Graylog Server 将使用的 http_bind_address。
在撰写本文时,Graylog Server 的最新版本为 v4.3 。运行以下命令将 Graylog 仓库添加到你的服务器。
sudo rpm -Uvh https://packages.graylog2.org/repo/packages/graylog-4.3-repository_latest.rpm
使用以下命令查看 Graylog Server 的软件仓库列表。你应该会看到已添加 Graylog Server 仓库。
sudo dnf repolist

接下来,运行以下 dnf 命令安装 Graylog Server 软件包。当提示确认安装时,输入 ' y ' 确认并按 ENTER 。
sudo dnf install graylog-server graylog-integrations-plugins

同时,你还会被提示将 GPG 密钥添加到 Graylog Server 仓库。输入 ' y ' 将 GPG 密钥添加到你的系统并按 ENTER 。随后 Graylog Server 安装将完成。

现在你将进行 Graylog Server 的基础设置。在此之前,运行以下 dnf 命令安装 ' pwgen ' 软件包。当提示确认安装时输入 ' y ' 并按 ENTER 。
pwgen 软件包提供了一个用于生成密钥和密码的命令行工具,这些将被用于设置 Graylog Server。
sudo dnf install pwgen

接下来,运行以下 pwgen 命令生成 Graylog Server 的 ' password_secret '。请务必将生成的密钥复制到你的笔记中。
sudo pwgen -N 1 -s 96
现在运行以下命令,生成 Graylog Server 的 ' root_password_sha2 ' 的 sha256 哈希密码。该密码将用于登录 Graylog Server 仪表盘。请务必使用强密码,并将生成的 sha256 哈希密码复制到你的笔记中。
echo -n "Enter Password: " && head -1 </dev/stdin | tr -d '\n' | sha256sum | cut -d" " -f1

接下来,使用以下命令编辑 Graylog Server 配置文件 '/etc/graylog/server/server.conf '。
sudo nano /etc/graylog/server/server.conf
将选项 ' password_secret ' 和 ' root_password_sha2 ' 的值替换为你生成的密码。此外,你还可以在选项 ' graylog_username ' 上修改用于登录 Graylog Server 的默认用户名。
password_secret = R8zwuO2NDewUcwRFQ0QDm07tn6AppmwThty0aagxOoqMDWNqPJLwrffpz7DdQyQVY1uHq54QwgYMNkZnBLuXQf3B1giq5RKX root_password_sha2 = a7fdfe53e2a13cb602def10146388c65051c67e60ee55c051668a1c709449111
现在将 'http_bind_address' 选项改为你的服务器的内部 IP 地址。另外,Graylog Server 的默认端口为 TCP '9000'。
http_bind_address = 0.0.0.0:9000
完成后保存并关闭文件。

现在运行以下 systemctl 命令重新加载 systemd 管理器并应用 Graylog Server 服务文件。
sudo systemctl daemon-reload
使用以下 systemctl 命令启动并启用 ' graylog-server' 服务。Graylog Server 现在应该正在运行并已启用,将在系统启动时自动启动。
sudo systemctl enable graylog-server
sudo systemctl start graylog-server

使用以下命令检查并验证 ' graylog-server ' 服务。你应该会看到 Graylog Server 当前状态为正在运行的输出,并且它已启用并将在启动时自动运行。
sudo systemctl status graylog-server
最后,你需要将 Graylog Server 使用的端口 ' 9000 ' 添加到 firewalld。
运行以下 firewall-cmd 命令将端口 ' 9000 ' 添加到 firewalld。然后,重新加载 firewalld 规则以应用新更改。
sudo firewall-cmd --add-port=9000/tcp --permanent
sudo firewall-cmd --reload
配置 SELinux
如果你在 SELinux 处于 'enforcing' 模式下运行 Graylog Server,你将需要为 Graylog Server 设置 SELinux 规则。
在管理 SELinux 之前,运行以下 dnf 命令安装用于管理 SELinux 的命令行工具。当提示确认安装时,输入 ' y ' 并按 ENTER 。
sudo dnf install policycoreutils policycoreutils-python-utils

接下来,运行以下命令为 Graylog Server、Elasticsearch 和 MongoDB 添加 SELinux 规则。
sudo setsebool -P httpd_can_network_connect 1
sudo semanage port -a -t http_port_t -p tcp 9000
sudo semanage port -a -t http_port_t -p tcp 9200
sudo semanage port -a -t mongod_port_t -p tcp 27017
现在你可以访问你的 Graylog Server 了。
创建新的 Graylog Input
为了能够接收来自你的应用程序或客户端机器的日志,你需要在 Graylog Server 上设置一个 input。Graylog 有多种类型的 input 可供使用,详细信息请参阅 Graylog 文档。Graylog input 将运行在 TCP/UDP 协议上,并能够以 Syslog、GELF、CEF 或 RAW 等多种格式接收日志。此外,你还可以通过 TCP/HTTPS 协议安全地接收日志。
在本演示中,你将创建一个 Graylog input,用于接收来自 Linux 机器客户端的日志。该 input 将使用 "Syslog UDP",并通过 UDP 协议从客户端机器接收日志消息。
打开你的网页浏览器,访问服务器 IP 地址加上 Graylog Server 端口 '9000'(即 http://192.168.5.100:9000/ )。你将看到你的 Graylog Server 安装程序的登录页面。
要登录 Graylog Server 仪表盘,输入你的用户名和密码。然后,点击 ' Sign In '。

现在你应该会看到 Graylog Server 管理仪表盘的新窗口。

要创建新的 Graylog Input,点击菜单 " System " 并选择 " Inputs "。

选择 input 的类型并点击 " Launch new input "。在本示例中,你将创建一个新 input 类型 " Syslog UDP "。所有 Linux 客户端机器都将通过 Syslog UDP 协议向该 input 发送日志。

现在按如下方式输入新 input 的详细信息:
- 标题:我们将使用标题 ' syslog-udp-input '。
- 绑定地址:输入你的 Graylog Server 的内部 IP 地址,如果你处于内部网络中,也可以使用 ' 0.0.0.0 '。
- 端口:在本示例中,我们将为该 input 使用 UDP 端口 ' 5142 '。
现在点击 " Save " 添加该 input。

现在你应该会看到你的 Graylog input 的状态为 " running "。在底部,你应该会看到关于你的 Graylog input 的详细信息。

最后,返回你的 Graylog Server 并运行以下 firewall-cmd 命令,添加 ' syslog-udp-input ' 将使用的 UDP 端口 ' 5142 '。
sudo firewall-cmd --add-port=5142/udp --permanent
sudo firewall-cmd --reload
通过 Ingest Syslog 向 Graylog Server 发送日志
你已在 Graylog Server 上创建了 Graylog Syslog UDP Input。现在你将设置一台 Linux 机器,使用 Rsyslog 向 Graylog Server 发送日志。在本示例中,我们将使用主机名为 " linux-host1 " 的 Rocky Linux 客户端机器,Graylog Server 的 IP 地址为 ' 192.168.5.100 '。
连接到你的 Linux 客户端机器,并运行以下命令检查 linux 机器上的 'rsyslog' 服务。你应该获得 'rsyslog' 服务正在运行的输出。
sudo systemctl status rsyslog

接下来,创建一个新的附加 rsyslog 配置文件,用于将日志发送到 Graylog Server。运行以下命令创建新文件 ' /etc/rsyslog.d/graylog.conf '。
sudo nano /etc/rsyslog.d/graylog.conf
向文件中添加以下配置。通过该配置,' linux-host1 ' 上的 rsyslog 服务将把日志发送到运行在服务器 IP 地址 ' 192.168.5.100 '、使用 UDP 端口 ' 5142 ' 的 Graylog Server Input。
*.*@192.168.5.100:5142;RSYSLOG_SyslogProtocol23Format
完成后保存并关闭文件。
现在运行以下 systemctl 命令重启 ' rsyslog ' 服务,并应用配置文件中的新更改。rsyslog 服务将开始向 Graylog Server 发送系统日志,你可以等待几分钟。
sudo systemctl restart rsyslog
接下来,返回 Graylog Server 管理仪表盘。然后,点击 " Search " 菜单。现在你应该会看到来自 ' linux-host1 ' 机器的日志,并且它已在 Graylog Server 上可用。

总结
通过本教程,你学习了如何在 Rocky Linux 服务器上安装 Graylog Server。这包括安装一些依赖项,如 Java OpenJDK、Elasticsearch 和 MongoDB。此外,你还在开启了 enforcing 模式的 SELinux 以及启用了 firewalld 的 Rocky Linux 上配置了 Graylog Server。
最后,你现在已学习如何设置类型为 "Syslog UDP" 的 Graylog Input,它可用作 Linux 机器的集中式日志管理系统。此外,你还学习了如何通过 Rsyslog 服务将日志从 Linux 机器发送到 Graylog Server。你现在也可以为你的应用程序设置更多 input,或向 Graylog Server 添加新 Linux 机器。