本页内容

  • 先决条件
  • 创建 Malcolm 系统用户
  • 在 Ubuntu 22.04 上安装 Malcolm
  • 配置 Malcolm
  • 创建 Malcolm 管理员账户
  • 拉取 Malcolm Docker 镜像
  • 启动 Malcolm 服务
  • 访问 Malcolm

Malcolm 是一款简单、易用且功能强大的网络流量分析工具。它能够捕获构件(PCAP 文件)和 Zeek 日志。Malcolm 提供了一个相互关联的框架,使其整体效果大于各部分之和。Malcolm 简便灵活的部署方式和强大可靠的工具组合填补了网络安全领域的一项空白,让公共和私营部门的众多用户都能够进行高级网络流量分析。

在本文中,我们将向您展示如何在 Ubuntu 22.04 上安装 Malcolm 网络流量分析工具。

先决条件

  • 一台运行 Ubuntu 22.04 的服务器。
  • 至少 16 GB RAM 和 4 个 CPU 核心。
  • 服务器上已配置 root 密码。

创建 Malcolm 系统用户

首先,您需要创建一个专用用户账户来运行 Malcolm。可以使用以下命令创建:

useradd -m -d /opt/malcolm -s /bin/bash -G sudo malcolm

接下来,使用以下命令设置用户密码:

passwd malcolm

接下来,使用以下命令查看 Malcolm 用户的 UID:

id malcolm

您应该会看到以下输出:

uid=1000(malcolm) gid=1000(malcolm) groups=1000(malcolm),27(sudo)

在 Ubuntu 22.04 上安装 Malcolm

首先,切换到 Malcolm 用户,并使用以下命令下载最新版本的 Malcolm:

su - malcolm
git clone https://github.com/idaholab/Malcolm

下载完成后,切换到下载的目录,并使用以下命令开始安装 Malcolm:

cd Malcolm
sudo ./scripts/install.py

在安装过程中,系统会向您询问若干问题,如下所示:

Installing required packages: ['apache2-utils', 'make', 'openssl', 'python3-dialog']

"docker info" failed, attempt to install Docker? (Y/n): Y

Attempt to install Docker using official repositories? (Y/n): Y
Installing required packages: ['apt-transport-https', 'ca-certificates', 'curl', 'gnupg-agent', 'software-properties-common']


Installing docker packages: ['docker-ce', 'docker-ce-cli', 'containerd.io']
Installation of docker packages apparently succeeded

Add a non-root user to the "docker" group?: Y

Enter user account: malcolm

Add another non-root user to the "docker" group?: n

"docker-compose version" failed, attempt to install docker-compose? (Y/n): Y

Install docker-compose directly from docker github? (Y/n): Y
Download and installation of docker-compose apparently succeeded


fs.file-max increases allowed maximum for file handles
fs.file-max= appears to be missing from /etc/sysctl.conf, append it? (Y/n): Y


fs.inotify.max_user_watches increases allowed maximum for monitored files
fs.inotify.max_user_watches= appears to be missing from /etc/sysctl.conf, append it? (Y/n): Y


fs.inotify.max_queued_events increases queue size for monitored files
fs.inotify.max_queued_events= appears to be missing from /etc/sysctl.conf, append it? (Y/n): Y


fs.inotify.max_user_instances increases allowed maximum monitor file watchers
fs.inotify.max_user_instances= appears to be missing from /etc/sysctl.conf, append it? (Y/n): Y

vm.max_map_count increases allowed maximum for memory segments
vm.max_map_count= appears to be missing from /etc/sysctl.conf, append it? (Y/n): Y


net.core.somaxconn increases allowed maximum for socket connections
net.core.somaxconn= appears to be missing from /etc/sysctl.conf, append it? (Y/n): Y

vm.dirty_background_ratio defines the percentage of system memory fillable with "dirty" pages before flushing
vm.dirty_background_ratio= appears to be missing from /etc/sysctl.conf, append it? (Y/n): Y

vm.dirty_ratio defines the maximum percentage of dirty system memory before committing everything
vm.dirty_ratio= appears to be missing from /etc/sysctl.conf, append it? (Y/n): Y

/etc/security/limits.d/limits.conf increases the allowed maximums for file handles and memlocked segments
/etc/security/limits.d/limits.conf does not exist, create it? (Y/n): Y

Malcolm 安装完成后,即可继续下一步。

配置 Malcolm

安装 Malcolm 后,需要使用以下命令对其进行配置:

sudo ./scripts/install.py --configure

在配置 Malcolm 的过程中,系统会向您询问若干问题。请按如下所示回答所有问题:

  • Malcolm 进程将以 UID 1000 和 GID 1000 运行。是否确认?(Y/n): Y
  • 为 OpenSearch 设置 10g,为 Logstash 设置 3g。是否确认?yes
  • 为 Logstash pipelines 设置 3 个 worker。是否确认?(Y/n): yes
  • 系统或 Docker daemon 重启时是否重启 Malcolm?Yes 然后,选择默认选项 unless-stopped。
  • 选择是否使用 HTTPS 配置 Malcolm:Yes
  • 选择 Malcolm 是否运行在代理之后:No
  • 选择 networking:直接回车接受默认值。选择 LDAP:No
  • 是否在本地 /opt/malcolm/Malcom/opensearch-backup 存储 OpenSearch 索引快照?Yes
  • 选择是否压缩 OpenSearch 索引快照:Yes
  • 当数据库超过一定大小时是否删除最旧的索引:No
  • 是否对日志中的源 IP 地址和目标 IP 地址进行本地反向 DNS 查询:No
  • 是否对 MAC 地址进行硬件厂商 OUI 查询:Yes
  • 是否对某些字段执行字符串随机性评分:yes
  • 是否将 OpenSearch 端口暴露给外部主机:no
  • 是否将 Logstash 端口暴露给外部主机:no
  • 是否将 Logstash 日志转发到外部 OpenSearch 实例:no
  • 是否将 Filebeat TCP 端口暴露给外部主机:no
  • 是否启用 Zeek 的文件提取功能:yes
  • 选择 interesting 作为提取行为。选择文件保留方式:quarantine
  • 是否使用 ClamAV 扫描提取的文件/PE 文件:yes
  • 是否使用 Yara 扫描提取的文件/PE 文件:yes
  • 是否使用 Capa 扫描提取的文件/PE 文件:yes
  • 是否使用 VirusTotal 查询提取文件的哈希:no
  • 是否定期下载更新的扫描器签名:yes
  • Malcolm 是否应将网络流量捕获为 PCAP 文件:yes
  • 指定 Malcolm 用于捕获网络流量的接口(逗号分隔):eth0
  • 是否使用 netsniff-ng 捕获数据包?(Y/n): yes
  • 是否使用 tcpdump 捕获数据包?(y/N): no
  • 捕获过滤器(类 tcpdump 过滤表达式;留空则捕获所有流量)():您可以禁用与 Elasticsearch(端口 9200)、Logstash(5044)、Arkime(8005) 相关的流量:not port 9200 and not port 5044 and not port 8005
  • 是否禁用捕获接口的硬件卸载并调整 ring buffer 大小?(y/N): n

Malcolm 配置完成后,重启系统以应用配置。

sudo reboot

创建 Malcolm 管理员账户

接下来,您需要创建一个管理员账户来访问 Malcolm web 界面。

首先,切换到 Malcolm 用户,并使用以下命令进入 Malcolm 目录:

su - malcolm
cd ~/Malcolm

接下来,运行以下命令创建管理员账户:

./scripts/auth_setup

按如下所示回答所有问题以创建管理员账户:

  • 是否存储用于本地访问 Malcolm 的管理员用户名/密码?yes
  • 设置管理员密码和用户名。
  • 是否为 web 流量 HTTPS (重新)生成自签名 SSL 证书:yes
  • 是否为远程日志转发器 (重新)生成自签名证书:yes
  • 是否存储用于将 Logstash 事件转发到辅助的外部 OpenSearch 实例的用户名/密码:no。是否存储邮件告警发送方账户的用户名/密码:no

拉取 Malcolm Docker 镜像

接下来,您需要从 Docker Hub registry 下载所有必需的 Docker 镜像。可以使用以下命令全部下载:

docker-compose pull

所有镜像下载完成后,使用以下命令查看所有镜像:

docker images

您应该会得到以下输出:

REPOSITORY                        TAG       IMAGE ID       CREATED       SIZE
malcolmnetsec/filebeat-oss        6.2.0     5e9fa4c8ea2d   11 days ago   648MB
malcolmnetsec/arkime              6.2.0     4f4e6025c82d   11 days ago   793MB
malcolmnetsec/zeek                6.2.0     5b117ad2b4bb   11 days ago   1.4GB
malcolmnetsec/dashboards          6.2.0     9dcaff859eec   11 days ago   1.13GB
malcolmnetsec/logstash-oss        6.2.0     cf4d75dcf4af   11 days ago   1.64GB
malcolmnetsec/file-monitor        6.2.0     26227c3c7dc9   11 days ago   589MB
malcolmnetsec/nginx-proxy         6.2.0     3b8b5413b52e   11 days ago   121MB
malcolmnetsec/file-upload         6.2.0     2c704be24433   11 days ago   263MB
malcolmnetsec/api                 6.2.0     90f964b5d728   11 days ago   148MB
malcolmnetsec/suricata            6.2.0     cbdb091d2df4   11 days ago   274MB
malcolmnetsec/htadmin             6.2.0     2b55630700d1   11 days ago   242MB
malcolmnetsec/opensearch          6.2.0     9ccb4665bd6c   11 days ago   1.25GB
malcolmnetsec/pcap-monitor        6.2.0     d957d803bdbb   11 days ago   214MB
malcolmnetsec/freq                6.2.0     3959a9daa952   11 days ago   131MB
malcolmnetsec/dashboards-helper   6.2.0     7da9699a72b3   11 days ago   168MB
malcolmnetsec/pcap-capture        6.2.0     df63e8daa369   11 days ago   121MB
malcolmnetsec/name-map-ui         6.2.0     6bd6c7c58d36   11 days ago   120MB

启动 Malcolm 服务

至此,Malcolm 所需的所有组件都已就绪。现在可以使用以下命令启动 Malcolm 服务:

./scripts/start

等待一段时间以启动所有服务。所有服务启动后,使用以下命令查看所有正在运行的服务:

docker ps -a

您应该在以下输出中看到所有正在运行的容器:

CONTAINER ID   IMAGE                                   COMMAND                  CREATED          STATUS                             PORTS                                                                                            NAMES
840ea2b0e9ad   malcolmnetsec/nginx-proxy:6.2.0         "/usr/local/bin/dock…"   17 minutes ago   Up 17 minutes (unhealthy)          0.0.0.0:443->443/tcp, 127.0.0.1:5601->5601/tcp, 0.0.0.0:488->488/tcp, 127.0.0.1:9200->9200/tcp   malcolm-nginx-proxy-1
dd5c8c63816c   malcolmnetsec/suricata:6.2.0            "/usr/local/bin/dock…"   17 minutes ago   Up 17 minutes (unhealthy)                                                                                                           malcolm-suricata-1
3112e1bd8f73   malcolmnetsec/filebeat-oss:6.2.0        "/usr/local/bin/dock…"   17 minutes ago   Up 17 minutes (unhealthy)          127.0.0.1:5045->5045/tcp                                                                         malcolm-filebeat-1
c93cfe93ad7e   malcolmnetsec/file-upload:6.2.0         "/usr/local/bin/dock…"   17 minutes ago   Up 17 minutes (unhealthy)          80/tcp, 127.0.0.1:8022->22/tcp                                                                   malcolm-upload-1
18ee20b46f3c   malcolmnetsec/dashboards:6.2.0          "/usr/local/bin/dock…"   17 minutes ago   Up 17 minutes (unhealthy)          5601/tcp                                                                                         malcolm-dashboards-1
2c34206c06e4   malcolmnetsec/zeek:6.2.0                "/usr/local/bin/dock…"   17 minutes ago   Up 17 minutes (unhealthy)                                                                                                           malcolm-zeek-1
41103ef99ce1   malcolmnetsec/logstash-oss:6.2.0        "/usr/local/bin/dock…"   17 minutes ago   Up 17 minutes (unhealthy)          9001/tcp, 127.0.0.1:5044->5044/tcp, 9600/tcp                                                     malcolm-logstash-1
0408f42a76c3   malcolmnetsec/dashboards-helper:6.2.0   "/usr/local/bin/dock…"   17 minutes ago   Up 17 minutes (unhealthy)          28991/tcp                                                                                        malcolm-dashboards-helper-1
3e78024620de   malcolmnetsec/arkime:6.2.0              "/usr/local/bin/dock…"   17 minutes ago   Up 17 minutes (unhealthy)          8000/tcp, 8005/tcp, 8081/tcp                                                                     malcolm-arkime-1
58cd869beced   malcolmnetsec/pcap-monitor:6.2.0        "/usr/local/bin/dock…"   17 minutes ago   Up 17 minutes (unhealthy)          30441/tcp                                                                                        malcolm-pcap-monitor-1
1040fa8bd6df   malcolmnetsec/file-monitor:6.2.0        "/usr/local/bin/dock…"   17 minutes ago   Up 17 minutes (unhealthy)          3310/tcp, 8440/tcp                                                                               malcolm-file-monitor-1
25c83f14413d   malcolmnetsec/zeek:6.2.0                "/usr/local/bin/dock…"   17 minutes ago   Up 17 minutes                                                                                                                       malcolm-zeek-live-1
b321a96c0362   malcolmnetsec/api:6.2.0                 "/usr/local/bin/dock…"   17 minutes ago   Up 17 minutes (unhealthy)          5000/tcp                                                                                         malcolm-api-1
0f1f4ac023f9   malcolmnetsec/name-map-ui:6.2.0         "/usr/local/bin/dock…"   17 minutes ago   Up 17 minutes (unhealthy)          8080/tcp                                                                                         malcolm-name-map-ui-1
ba4d553cf6b5   malcolmnetsec/suricata:6.2.0            "/usr/local/bin/dock…"   17 minutes ago   Up 17 minutes                                                                                                                       malcolm-suricata-live-1
e4637d0ec04d   malcolmnetsec/opensearch:6.2.0          "/usr/local/bin/dock…"   17 minutes ago   Up 13 minutes (health: starting)   9200/tcp, 9300/tcp, 9600/tcp, 9650/tcp                                                           malcolm-opensearch-1
ac002e31d9be   malcolmnetsec/htadmin:6.2.0             "/usr/local/bin/dock…"   17 minutes ago   Up 17 minutes (unhealthy)          80/tcp                                                                                           malcolm-htadmin-1
7223d5244a7b   malcolmnetsec/pcap-capture:6.2.0        "/usr/local/bin/dock…"   17 minutes ago   Up 17 minutes                                                                                                                       malcolm-pcap-capture-1
971931b21788   malcolmnetsec/freq:6.2.0                "/usr/local/bin/dock…"   17 minutes ago   Up 17 minutes (unhealthy)          10004/tcp                                                                                        malcolm-freq-1

您也可以使用以下命令查看所有监听端口:

ss -atlnp | grep -i docker

您应该会看到以下输出:

LISTEN 0      65535      127.0.0.1:5601       0.0.0.0:*    users:(("docker-proxy",pid=7480,fd=4))   
LISTEN 0      65535        0.0.0.0:488        0.0.0.0:*    users:(("docker-proxy",pid=7519,fd=4))   
LISTEN 0      65535      127.0.0.1:9200       0.0.0.0:*    users:(("docker-proxy",pid=7443,fd=4))   
LISTEN 0      65535      127.0.0.1:5044       0.0.0.0:*    users:(("docker-proxy",pid=6247,fd=4))   
LISTEN 0      65535      127.0.0.1:5045       0.0.0.0:*    users:(("docker-proxy",pid=7063,fd=4))   
LISTEN 0      65535      127.0.0.1:8022       0.0.0.0:*    users:(("docker-proxy",pid=6826,fd=4))   
LISTEN 0      65535        0.0.0.0:443        0.0.0.0:*    users:(("docker-proxy",pid=7567,fd=4))

访问 Malcolm

现在可以通过 URL https://your-server-ip/dashboards/ 访问 Malcolm OpenSearch dashboard。系统将要求您提供管理员用户名和密码:

在 Ubuntu 22.04 系统上安装 Malcolm 网络流量分析工具完整教程

输入管理员用户名、密码并点击 Sign in 按钮。您应该在随后的界面中看到 OpenSearch dashboard:

在 Ubuntu 22.04 系统上安装 Malcolm 网络流量分析工具完整教程

要访问 Malcolm Capture File and Log Archive Upload 界面,请输入 URL https://your-server-ip/upload/。

在 Ubuntu 22.04 系统上安装 Malcolm 网络流量分析工具完整教程

要访问 Host and subnet name mapping 编辑器,请输入 URL https://your-server-ip/name-map-ui/。

在 Ubuntu 22.04 系统上安装 Malcolm 网络流量分析工具完整教程

要访问 Account Management 界面,请使用 URL https://your-server-ip:488/

在 Ubuntu 22.04 系统上安装 Malcolm 网络流量分析工具完整教程

在 Ubuntu 22.04 系统上安装 Malcolm 网络流量分析工具完整教程

恭喜!您已在 Ubuntu 22.04 上成功安装并配置 Malcolm 网络流量分析工具。