本页内容
- 前置条件
- 开始之前
- 安装 Filebeat
- 配置 Filebeat
- 启用 Filebeat System 模块
- 在 Elasticsearch 中加载索引模板
- 测试 Elasticsearch 数据接收
- 在 Kibana 上添加索引
Elastic Stack 是由 Elasticsearch、Logstash、Kibana 和 Beats 四个主要组件组合而成的。Filebeat 是这一家族中最著名的成员之一,它收集、转发并集中事件日志数据到 Elasticsearch 或 Logstash 进行索引。Filebeat 拥有许多模块,包括 Apache、Nginx、System、MySQL、auditd 等,可将常见日志格式的可视化简化为单条命令。
在本教程中,我们将向您展示如何在 Ubuntu 18.04 上安装并配置 Filebeat,以将事件日志、SSH 认证事件转发到 Logstash。
前置条件
- 一台运行 Ubuntu 18.04 且已安装并配置 Elasticsearch、Kibana 和 Logstash 的服务器。
- 服务器上已配置 root 密码。
开始之前
在开始之前,请将您的系统更新到最新版本。您可以通过运行以下命令来完成:
apt-get update -y
apt-get upgrade -y
系统更新完成后,请重启系统以使更改生效。
安装 Filebeat
默认情况下,Ubuntu 18.04 的默认软件仓库中不包含 Filebeat。因此,您需要在系统中添加 Elastic Stack 7 APT 仓库。
首先,使用以下命令安装所需的软件包:
apt-get install apt-transport-https -y
接下来,使用以下命令下载并添加 Elastic Stack 密钥:
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | apt-key add -
接下来,使用以下命令添加 Elastic Stack 7 Apt 仓库:
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | tee /etc/apt/sources.list.d/elastic-7.x.list
接下来,使用以下命令更新仓库并安装 Filebeat:
apt-get update -y
apt-get install filebeat -y
安装完成后,您可以继续进行下一步。
配置 Filebeat
默认情况下,Filebeat 被配置为将事件数据发送到 Elasticsearch。这里,我们将配置 Filebeat 将事件数据发送到 Logstash。您可以通过编辑 /etc/filebeat/filebeat.yml 文件来完成:
nano /etc/filebeat/filebeat.yml
注释掉 elasticsearch 输出,并取消注释 Logstash 输出,如下所示:
#-------------------------- Elasticsearch output ------------------------------ # output.elasticsearch: # Array of hosts to connect to. # hosts: ["localhost:9200"] #----------------------------- Logstash output -------------------------------- output.logstash: # The Logstash hosts hosts: ["localhost:5044"]
完成后,您可以继续进行下一步。
启用 Filebeat System 模块
默认情况下,Filebeat 自带许多模块。您可以使用以下命令列出所有模块:
filebeat modules list
您应该会看到如下输出:
Enabled: Disabled: apache auditd aws cef cisco coredns elasticsearch envoyproxy googlecloud haproxy ibmmq icinga iis iptables kafka kibana logstash mongodb mssql mysql nats netflow nginx osquery panw postgresql rabbitmq redis santa suricata system traefik zeek
默认情况下,所有模块都处于禁用状态。因此,您需要启用 system 模块来收集和解析系统日志服务创建的日志。您可以使用以下命令启用 system 模块:
filebeat modules enable system
接下来,您可以使用以下命令验证 system 模块:
filebeat modules list
您应该会看到 system 模块现已启用:
Enabled: system
接下来,您需要将 system 模块配置为只读取认证日志。您可以通过编辑 /etc/filebeat/modules.d/system.yml 文件来完成:
nano /etc/filebeat/modules.d/system.yml
修改以下行:
- module: system
# Syslog
syslog:
enabled: false
...
# Authorization logs
auth:
enabled: true
# Set custom paths for the log files. If left empty,
# Filebeat will choose the paths depending on your OS.
var.paths: ["/var/log/auth.log"]
完成后,保存并关闭文件。
在 Elasticsearch 中加载索引模板
接下来,您需要手动将模板加载到 Elasticsearch 中。您可以使用以下命令完成:
filebeat setup --index-management -E output.logstash.enabled=false -E 'output.elasticsearch.hosts=["localhost:9200"]'
您应该会看到如下输出:
Index setup finished.
接下来,使用以下命令生成索引模板并将其安装到 Elastic Stack 服务器上:
filebeat export template > filebeat.template.json
curl -XPUT -H 'Content-Type: application/json' http://localhost:9200/_template/filebeat-7.0.1
[email protected]
最后,使用以下命令启动 Filebeat 服务并使其在系统重启后自动启动:
systemctl start filebeat
systemctl enable filebeat
您可以使用以下命令检查 Filebeat 的状态:
systemctl status filebeat
您应该会看到如下输出:
? filebeat.service - Filebeat sends log files to Logstash or directly to Elasticsearch.
Loaded: loaded (/lib/systemd/system/filebeat.service; disabled; vendor preset: enabled)
Active: active (running) since Tue 2019-11-26 06:45:18 UTC; 14s ago
Docs: https://www.elastic.co/products/beats/filebeat
Main PID: 13059 (filebeat)
Tasks: 28 (limit: 463975)
CGroup: /system.slice/filebeat.service
??13059 /usr/share/filebeat/bin/filebeat -e -c /etc/filebeat/filebeat.yml -path.home /usr/share/filebeat -path.config /etc/filebeat
Nov 26 06:45:18 ubuntu filebeat[13059]: 2019-11-26T06:45:18.528Z INFO log/harvester.go:251 Harvester started for file: /va
Nov 26 06:45:18 ubuntu filebeat[13059]: 2019-11-26T06:45:18.528Z INFO log/harvester.go:251 Harvester started for file: /va
Nov 26 06:45:18 ubuntu filebeat[13059]: 2019-11-26T06:45:18.529Z INFO log/harvester.go:251 Harvester started for file: /va
Nov 26 06:45:18 ubuntu filebeat[13059]: 2019-11-26T06:45:18.529Z INFO log/harvester.go:251 Harvester started for file: /va
Nov 26 06:45:18 ubuntu filebeat[13059]: 2019-11-26T06:45:18.530Z INFO log/harvester.go:251 Harvester started for file: /va
Nov 26 06:45:18 ubuntu filebeat[13059]: 2019-11-26T06:45:18.530Z INFO log/harvester.go:251 Harvester started for file: /va
Nov 26 06:45:21 ubuntu filebeat[13059]: 2019-11-26T06:45:21.485Z INFO add_cloud_metadata/add_cloud_metadata.go:87 add_clou
Nov 26 06:45:21 ubuntu filebeat[13059]: 2019-11-26T06:45:21.486Z INFO log/harvester.go:251 Harvester started for file: /va
Nov 26 06:45:22 ubuntu filebeat[13059]: 2019-11-26T06:45:22.485Z INFO pipeline/output.go:95 Connecting to backoff(async(tc
Nov 26 06:45:22 ubuntu filebeat[13059]: 2019-11-26T06:45:22.487Z INFO pipeline/output.go:105 Connection to backoff(async(t
测试 Elasticsearch 数据接收
现在,使用以下命令验证 Elasticsearch 是否正在接收数据:
curl -X GET localhost:9200/_cat/indices?v
您应该会看到如下输出:
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size green open .kibana_task_manager_1 fpHT_GhXT3i_w_0Ob1bmrA 1 0 2 0 46.1kb 46.1kb yellow open ssh_auth-2019.11 mtyIxhUFTp65WqVoriFvGA 1 1 15154 0 5.7mb 5.7mb yellow open filebeat-7.4.2-2019.11.26-000001 MXSpQH4MSZywzA5cEMk0ww 1 1 0 0 283b 283b green open .apm-agent-configuration Ft_kn1XXR16twRhcZE4xdQ 1 0 0 0 283b 283b green open .kibana_1 79FslznfTw6LfTLc60vAqA 1 0 8 0 31.9kb 31.9kb
您还可以使用以下命令验证 ssh_auth-2019.05 索引:
curl -X GET localhost:9200/ssh_auth-*/_search?pretty
您应该会看到如下输出:
{
"took" : 1,
"timed_out" : false,
"_shards" : {
"total" : 1,
"successful" : 1,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : {
"value" : 10000,
"relation" : "gte"
},
"max_score" : 1.0,
"hits" : [
{
"_index" : "ssh_auth-2019.11",
"_type" : "_doc",
"_id" : "g7OXpm4Bi50dVWRYAyK4",
"_score" : 1.0,
"_source" : {
"log" : {
"offset" : 479086,
"file" : {
"path" : "/var/log/elasticsearch/gc.log"
}
},
"event" : {
"timezone" : "+00:00",
"dataset" : "elasticsearch.server",
"module" : "elasticsearch"
},
在 Kibana 上添加索引
现在,登录到您的 Kibana 仪表盘并点击 Index Patterns。您应该会看到如下页面:

现在,点击 Create index pattern。您应该会看到如下页面:

添加 ssh_auth-* 索引并点击 Next step 按钮。您应该会看到如下页面:

现在,选择 @timestamp 并点击 Create index pattern 按钮。您应该会看到如下页面:

现在,点击左侧面板的 Discover 选项卡。您应该能够在以下界面中看到您的数据:

恭喜!您已成功安装并配置 Filebeat,将事件数据发送到 Logstash。在接收完所有数据后,您现在可以继续创建 Kibana 仪表盘了。