本页内容

  • 前置条件
  • 开始之前
  • 安装 Filebeat
  • 配置 Filebeat
  • 启用 Filebeat System 模块
  • 在 Elasticsearch 中加载索引模板
  • 测试 Elasticsearch 数据接收
  • 在 Kibana 上添加索引

Elastic Stack 是由 Elasticsearch、Logstash、Kibana 和 Beats 四个主要组件组合而成的。Filebeat 是这一家族中最著名的成员之一,它收集、转发并集中事件日志数据到 Elasticsearch 或 Logstash 进行索引。Filebeat 拥有许多模块,包括 Apache、Nginx、System、MySQL、auditd 等,可将常见日志格式的可视化简化为单条命令。

在本教程中,我们将向您展示如何在 Ubuntu 18.04 上安装并配置 Filebeat,以将事件日志、SSH 认证事件转发到 Logstash。

前置条件

  • 一台运行 Ubuntu 18.04 且已安装并配置 Elasticsearch、Kibana 和 Logstash 的服务器。
  • 服务器上已配置 root 密码。

开始之前

在开始之前,请将您的系统更新到最新版本。您可以通过运行以下命令来完成:

apt-get update -y
apt-get upgrade -y

系统更新完成后,请重启系统以使更改生效。

安装 Filebeat

默认情况下,Ubuntu 18.04 的默认软件仓库中不包含 Filebeat。因此,您需要在系统中添加 Elastic Stack 7 APT 仓库。

首先,使用以下命令安装所需的软件包:

apt-get install apt-transport-https -y

接下来,使用以下命令下载并添加 Elastic Stack 密钥:

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | apt-key add -

接下来,使用以下命令添加 Elastic Stack 7 Apt 仓库:

echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | tee /etc/apt/sources.list.d/elastic-7.x.list

接下来,使用以下命令更新仓库并安装 Filebeat:

apt-get update -y
apt-get install filebeat -y

安装完成后,您可以继续进行下一步。

配置 Filebeat

默认情况下,Filebeat 被配置为将事件数据发送到 Elasticsearch。这里,我们将配置 Filebeat 将事件数据发送到 Logstash。您可以通过编辑 /etc/filebeat/filebeat.yml 文件来完成:

nano /etc/filebeat/filebeat.yml

注释掉 elasticsearch 输出,并取消注释 Logstash 输出,如下所示:

#-------------------------- Elasticsearch output ------------------------------

# output.elasticsearch:
  # Array of hosts to connect to.
  # hosts: ["localhost:9200"]

#----------------------------- Logstash output --------------------------------

output.logstash:
  # The Logstash hosts
  hosts: ["localhost:5044"]

完成后,您可以继续进行下一步。

启用 Filebeat System 模块

默认情况下,Filebeat 自带许多模块。您可以使用以下命令列出所有模块:

filebeat modules list

您应该会看到如下输出:

Enabled:

Disabled:
apache
auditd
aws
cef
cisco
coredns
elasticsearch
envoyproxy
googlecloud
haproxy
ibmmq
icinga
iis
iptables
kafka
kibana
logstash
mongodb
mssql
mysql
nats
netflow
nginx
osquery
panw
postgresql
rabbitmq
redis
santa
suricata
system
traefik
zeek

默认情况下,所有模块都处于禁用状态。因此,您需要启用 system 模块来收集和解析系统日志服务创建的日志。您可以使用以下命令启用 system 模块:

filebeat modules enable system

接下来,您可以使用以下命令验证 system 模块:

filebeat modules list

您应该会看到 system 模块现已启用:

Enabled:
system

接下来,您需要将 system 模块配置为只读取认证日志。您可以通过编辑 /etc/filebeat/modules.d/system.yml 文件来完成:

nano /etc/filebeat/modules.d/system.yml

修改以下行:

- module: system
  # Syslog
  syslog:
    enabled: false
...
  # Authorization logs
  auth:
    enabled: true

    # Set custom paths for the log files. If left empty,
    # Filebeat will choose the paths depending on your OS.
    var.paths: ["/var/log/auth.log"]

完成后,保存并关闭文件。

在 Elasticsearch 中加载索引模板

接下来,您需要手动将模板加载到 Elasticsearch 中。您可以使用以下命令完成:

filebeat setup --index-management -E output.logstash.enabled=false -E 'output.elasticsearch.hosts=["localhost:9200"]'

您应该会看到如下输出:

Index setup finished.

接下来,使用以下命令生成索引模板并将其安装到 Elastic Stack 服务器上:

filebeat export template > filebeat.template.json
curl -XPUT -H 'Content-Type: application/json' http://localhost:9200/_template/filebeat-7.0.1 
[email protected]

最后,使用以下命令启动 Filebeat 服务并使其在系统重启后自动启动:

systemctl start filebeat
systemctl enable filebeat

您可以使用以下命令检查 Filebeat 的状态:

systemctl status filebeat

您应该会看到如下输出:

? filebeat.service - Filebeat sends log files to Logstash or directly to Elasticsearch.
   Loaded: loaded (/lib/systemd/system/filebeat.service; disabled; vendor preset: enabled)
   Active: active (running) since Tue 2019-11-26 06:45:18 UTC; 14s ago
     Docs: https://www.elastic.co/products/beats/filebeat
 Main PID: 13059 (filebeat)
    Tasks: 28 (limit: 463975)
   CGroup: /system.slice/filebeat.service
           ??13059 /usr/share/filebeat/bin/filebeat -e -c /etc/filebeat/filebeat.yml -path.home /usr/share/filebeat -path.config /etc/filebeat 

Nov 26 06:45:18 ubuntu filebeat[13059]: 2019-11-26T06:45:18.528Z        INFO        log/harvester.go:251        Harvester started for file: /va
Nov 26 06:45:18 ubuntu filebeat[13059]: 2019-11-26T06:45:18.528Z        INFO        log/harvester.go:251        Harvester started for file: /va
Nov 26 06:45:18 ubuntu filebeat[13059]: 2019-11-26T06:45:18.529Z        INFO        log/harvester.go:251        Harvester started for file: /va
Nov 26 06:45:18 ubuntu filebeat[13059]: 2019-11-26T06:45:18.529Z        INFO        log/harvester.go:251        Harvester started for file: /va
Nov 26 06:45:18 ubuntu filebeat[13059]: 2019-11-26T06:45:18.530Z        INFO        log/harvester.go:251        Harvester started for file: /va
Nov 26 06:45:18 ubuntu filebeat[13059]: 2019-11-26T06:45:18.530Z        INFO        log/harvester.go:251        Harvester started for file: /va
Nov 26 06:45:21 ubuntu filebeat[13059]: 2019-11-26T06:45:21.485Z        INFO        add_cloud_metadata/add_cloud_metadata.go:87        add_clou
Nov 26 06:45:21 ubuntu filebeat[13059]: 2019-11-26T06:45:21.486Z        INFO        log/harvester.go:251        Harvester started for file: /va
Nov 26 06:45:22 ubuntu filebeat[13059]: 2019-11-26T06:45:22.485Z        INFO        pipeline/output.go:95        Connecting to backoff(async(tc
Nov 26 06:45:22 ubuntu filebeat[13059]: 2019-11-26T06:45:22.487Z        INFO        pipeline/output.go:105        Connection to backoff(async(t

测试 Elasticsearch 数据接收

现在,使用以下命令验证 Elasticsearch 是否正在接收数据:

curl -X GET localhost:9200/_cat/indices?v

您应该会看到如下输出:

health status index                            uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   .kibana_task_manager_1           fpHT_GhXT3i_w_0Ob1bmrA   1   0          2            0     46.1kb         46.1kb
yellow open   ssh_auth-2019.11                 mtyIxhUFTp65WqVoriFvGA   1   1      15154            0      5.7mb          5.7mb
yellow open   filebeat-7.4.2-2019.11.26-000001 MXSpQH4MSZywzA5cEMk0ww   1   1          0            0       283b           283b
green  open   .apm-agent-configuration         Ft_kn1XXR16twRhcZE4xdQ   1   0          0            0       283b           283b
green  open   .kibana_1                        79FslznfTw6LfTLc60vAqA   1   0          8            0     31.9kb         31.9kb

您还可以使用以下命令验证 ssh_auth-2019.05 索引:

curl -X GET localhost:9200/ssh_auth-*/_search?pretty

您应该会看到如下输出:

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 10000,
      "relation" : "gte"
    },
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "ssh_auth-2019.11",
        "_type" : "_doc",
        "_id" : "g7OXpm4Bi50dVWRYAyK4",
        "_score" : 1.0,
        "_source" : {
          "log" : {
            "offset" : 479086,
            "file" : {
              "path" : "/var/log/elasticsearch/gc.log"
            }
          },
          "event" : {
            "timezone" : "+00:00",
            "dataset" : "elasticsearch.server",
            "module" : "elasticsearch"
          },

在 Kibana 上添加索引

现在,登录到您的 Kibana 仪表盘并点击 Index Patterns。您应该会看到如下页面:

在 Ubuntu 系统上安装 Filebeat 日志采集代理完整教程

现在,点击 Create index pattern。您应该会看到如下页面:

在 Ubuntu 系统上安装 Filebeat 日志采集代理完整教程

添加 ssh_auth-* 索引并点击 Next step 按钮。您应该会看到如下页面:

在 Ubuntu 系统上安装 Filebeat 日志采集代理完整教程

现在,选择 @timestamp 并点击 Create index pattern 按钮。您应该会看到如下页面:

在 Ubuntu 系统上安装 Filebeat 日志采集代理完整教程

现在,点击左侧面板的 Discover 选项卡。您应该能够在以下界面中看到您的数据:

在 Ubuntu 系统上安装 Filebeat 日志采集代理完整教程

恭喜!您已成功安装并配置 Filebeat,将事件数据发送到 Logstash。在接收完所有数据后,您现在可以继续创建 Kibana 仪表盘了。