本页内容
- 先决条件
- 创建 Malcolm 系统用户
- 在 Ubuntu 22.04 上安装 Malcolm
- 配置 Malcolm
- 创建 Malcolm 管理员账户
- 拉取 Malcolm Docker 镜像
- 启动 Malcolm 服务
- 访问 Malcolm
Malcolm 是一款简单、易用且功能强大的网络流量分析工具。它能够捕获构件(PCAP 文件)和 Zeek 日志。Malcolm 提供了一个相互关联的框架,使其整体效果大于各部分之和。Malcolm 简便灵活的部署方式和强大可靠的工具组合填补了网络安全领域的一项空白,让公共和私营部门的众多用户都能够进行高级网络流量分析。
在本文中,我们将向您展示如何在 Ubuntu 22.04 上安装 Malcolm 网络流量分析工具。
先决条件
- 一台运行 Ubuntu 22.04 的服务器。
- 至少 16 GB RAM 和 4 个 CPU 核心。
- 服务器上已配置 root 密码。
创建 Malcolm 系统用户
首先,您需要创建一个专用用户账户来运行 Malcolm。可以使用以下命令创建:
useradd -m -d /opt/malcolm -s /bin/bash -G sudo malcolm
接下来,使用以下命令设置用户密码:
passwd malcolm
接下来,使用以下命令查看 Malcolm 用户的 UID:
id malcolm
您应该会看到以下输出:
uid=1000(malcolm) gid=1000(malcolm) groups=1000(malcolm),27(sudo)
在 Ubuntu 22.04 上安装 Malcolm
首先,切换到 Malcolm 用户,并使用以下命令下载最新版本的 Malcolm:
su - malcolm
git clone https://github.com/idaholab/Malcolm
下载完成后,切换到下载的目录,并使用以下命令开始安装 Malcolm:
cd Malcolm
sudo ./scripts/install.py
在安装过程中,系统会向您询问若干问题,如下所示:
Installing required packages: ['apache2-utils', 'make', 'openssl', 'python3-dialog'] "docker info" failed, attempt to install Docker? (Y/n): Y Attempt to install Docker using official repositories? (Y/n): Y Installing required packages: ['apt-transport-https', 'ca-certificates', 'curl', 'gnupg-agent', 'software-properties-common'] Installing docker packages: ['docker-ce', 'docker-ce-cli', 'containerd.io'] Installation of docker packages apparently succeeded Add a non-root user to the "docker" group?: Y Enter user account: malcolm Add another non-root user to the "docker" group?: n "docker-compose version" failed, attempt to install docker-compose? (Y/n): Y Install docker-compose directly from docker github? (Y/n): Y Download and installation of docker-compose apparently succeeded fs.file-max increases allowed maximum for file handles fs.file-max= appears to be missing from /etc/sysctl.conf, append it? (Y/n): Y fs.inotify.max_user_watches increases allowed maximum for monitored files fs.inotify.max_user_watches= appears to be missing from /etc/sysctl.conf, append it? (Y/n): Y fs.inotify.max_queued_events increases queue size for monitored files fs.inotify.max_queued_events= appears to be missing from /etc/sysctl.conf, append it? (Y/n): Y fs.inotify.max_user_instances increases allowed maximum monitor file watchers fs.inotify.max_user_instances= appears to be missing from /etc/sysctl.conf, append it? (Y/n): Y vm.max_map_count increases allowed maximum for memory segments vm.max_map_count= appears to be missing from /etc/sysctl.conf, append it? (Y/n): Y net.core.somaxconn increases allowed maximum for socket connections net.core.somaxconn= appears to be missing from /etc/sysctl.conf, append it? (Y/n): Y vm.dirty_background_ratio defines the percentage of system memory fillable with "dirty" pages before flushing vm.dirty_background_ratio= appears to be missing from /etc/sysctl.conf, append it? (Y/n): Y vm.dirty_ratio defines the maximum percentage of dirty system memory before committing everything vm.dirty_ratio= appears to be missing from /etc/sysctl.conf, append it? (Y/n): Y /etc/security/limits.d/limits.conf increases the allowed maximums for file handles and memlocked segments /etc/security/limits.d/limits.conf does not exist, create it? (Y/n): Y
Malcolm 安装完成后,即可继续下一步。
配置 Malcolm
安装 Malcolm 后,需要使用以下命令对其进行配置:
sudo ./scripts/install.py --configure
在配置 Malcolm 的过程中,系统会向您询问若干问题。请按如下所示回答所有问题:
- Malcolm 进程将以 UID 1000 和 GID 1000 运行。是否确认?(Y/n): Y
- 为 OpenSearch 设置 10g,为 Logstash 设置 3g。是否确认?yes
- 为 Logstash pipelines 设置 3 个 worker。是否确认?(Y/n): yes
- 系统或 Docker daemon 重启时是否重启 Malcolm?Yes 然后,选择默认选项 unless-stopped。
- 选择是否使用 HTTPS 配置 Malcolm:Yes
- 选择 Malcolm 是否运行在代理之后:No
- 选择 networking:直接回车接受默认值。选择 LDAP:No
- 是否在本地 /opt/malcolm/Malcom/opensearch-backup 存储 OpenSearch 索引快照?Yes
- 选择是否压缩 OpenSearch 索引快照:Yes
- 当数据库超过一定大小时是否删除最旧的索引:No
- 是否对日志中的源 IP 地址和目标 IP 地址进行本地反向 DNS 查询:No
- 是否对 MAC 地址进行硬件厂商 OUI 查询:Yes
- 是否对某些字段执行字符串随机性评分:yes
- 是否将 OpenSearch 端口暴露给外部主机:no
- 是否将 Logstash 端口暴露给外部主机:no
- 是否将 Logstash 日志转发到外部 OpenSearch 实例:no
- 是否将 Filebeat TCP 端口暴露给外部主机:no
- 是否启用 Zeek 的文件提取功能:yes
- 选择 interesting 作为提取行为。选择文件保留方式:quarantine
- 是否使用 ClamAV 扫描提取的文件/PE 文件:yes
- 是否使用 Yara 扫描提取的文件/PE 文件:yes
- 是否使用 Capa 扫描提取的文件/PE 文件:yes
- 是否使用 VirusTotal 查询提取文件的哈希:no
- 是否定期下载更新的扫描器签名:yes
- Malcolm 是否应将网络流量捕获为 PCAP 文件:yes
- 指定 Malcolm 用于捕获网络流量的接口(逗号分隔):eth0
- 是否使用 netsniff-ng 捕获数据包?(Y/n): yes
- 是否使用 tcpdump 捕获数据包?(y/N): no
- 捕获过滤器(类 tcpdump 过滤表达式;留空则捕获所有流量)():您可以禁用与 Elasticsearch(端口 9200)、Logstash(5044)、Arkime(8005) 相关的流量:not port 9200 and not port 5044 and not port 8005
- 是否禁用捕获接口的硬件卸载并调整 ring buffer 大小?(y/N): n
Malcolm 配置完成后,重启系统以应用配置。
sudo reboot
创建 Malcolm 管理员账户
接下来,您需要创建一个管理员账户来访问 Malcolm web 界面。
首先,切换到 Malcolm 用户,并使用以下命令进入 Malcolm 目录:
su - malcolm
cd ~/Malcolm
接下来,运行以下命令创建管理员账户:
./scripts/auth_setup
按如下所示回答所有问题以创建管理员账户:
- 是否存储用于本地访问 Malcolm 的管理员用户名/密码?yes
- 设置管理员密码和用户名。
- 是否为 web 流量 HTTPS (重新)生成自签名 SSL 证书:yes
- 是否为远程日志转发器 (重新)生成自签名证书:yes
- 是否存储用于将 Logstash 事件转发到辅助的外部 OpenSearch 实例的用户名/密码:no。是否存储邮件告警发送方账户的用户名/密码:no
拉取 Malcolm Docker 镜像
接下来,您需要从 Docker Hub registry 下载所有必需的 Docker 镜像。可以使用以下命令全部下载:
docker-compose pull
所有镜像下载完成后,使用以下命令查看所有镜像:
docker images
您应该会得到以下输出:
REPOSITORY TAG IMAGE ID CREATED SIZE malcolmnetsec/filebeat-oss 6.2.0 5e9fa4c8ea2d 11 days ago 648MB malcolmnetsec/arkime 6.2.0 4f4e6025c82d 11 days ago 793MB malcolmnetsec/zeek 6.2.0 5b117ad2b4bb 11 days ago 1.4GB malcolmnetsec/dashboards 6.2.0 9dcaff859eec 11 days ago 1.13GB malcolmnetsec/logstash-oss 6.2.0 cf4d75dcf4af 11 days ago 1.64GB malcolmnetsec/file-monitor 6.2.0 26227c3c7dc9 11 days ago 589MB malcolmnetsec/nginx-proxy 6.2.0 3b8b5413b52e 11 days ago 121MB malcolmnetsec/file-upload 6.2.0 2c704be24433 11 days ago 263MB malcolmnetsec/api 6.2.0 90f964b5d728 11 days ago 148MB malcolmnetsec/suricata 6.2.0 cbdb091d2df4 11 days ago 274MB malcolmnetsec/htadmin 6.2.0 2b55630700d1 11 days ago 242MB malcolmnetsec/opensearch 6.2.0 9ccb4665bd6c 11 days ago 1.25GB malcolmnetsec/pcap-monitor 6.2.0 d957d803bdbb 11 days ago 214MB malcolmnetsec/freq 6.2.0 3959a9daa952 11 days ago 131MB malcolmnetsec/dashboards-helper 6.2.0 7da9699a72b3 11 days ago 168MB malcolmnetsec/pcap-capture 6.2.0 df63e8daa369 11 days ago 121MB malcolmnetsec/name-map-ui 6.2.0 6bd6c7c58d36 11 days ago 120MB
启动 Malcolm 服务
至此,Malcolm 所需的所有组件都已就绪。现在可以使用以下命令启动 Malcolm 服务:
./scripts/start
等待一段时间以启动所有服务。所有服务启动后,使用以下命令查看所有正在运行的服务:
docker ps -a
您应该在以下输出中看到所有正在运行的容器:
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 840ea2b0e9ad malcolmnetsec/nginx-proxy:6.2.0 "/usr/local/bin/dock…" 17 minutes ago Up 17 minutes (unhealthy) 0.0.0.0:443->443/tcp, 127.0.0.1:5601->5601/tcp, 0.0.0.0:488->488/tcp, 127.0.0.1:9200->9200/tcp malcolm-nginx-proxy-1 dd5c8c63816c malcolmnetsec/suricata:6.2.0 "/usr/local/bin/dock…" 17 minutes ago Up 17 minutes (unhealthy) malcolm-suricata-1 3112e1bd8f73 malcolmnetsec/filebeat-oss:6.2.0 "/usr/local/bin/dock…" 17 minutes ago Up 17 minutes (unhealthy) 127.0.0.1:5045->5045/tcp malcolm-filebeat-1 c93cfe93ad7e malcolmnetsec/file-upload:6.2.0 "/usr/local/bin/dock…" 17 minutes ago Up 17 minutes (unhealthy) 80/tcp, 127.0.0.1:8022->22/tcp malcolm-upload-1 18ee20b46f3c malcolmnetsec/dashboards:6.2.0 "/usr/local/bin/dock…" 17 minutes ago Up 17 minutes (unhealthy) 5601/tcp malcolm-dashboards-1 2c34206c06e4 malcolmnetsec/zeek:6.2.0 "/usr/local/bin/dock…" 17 minutes ago Up 17 minutes (unhealthy) malcolm-zeek-1 41103ef99ce1 malcolmnetsec/logstash-oss:6.2.0 "/usr/local/bin/dock…" 17 minutes ago Up 17 minutes (unhealthy) 9001/tcp, 127.0.0.1:5044->5044/tcp, 9600/tcp malcolm-logstash-1 0408f42a76c3 malcolmnetsec/dashboards-helper:6.2.0 "/usr/local/bin/dock…" 17 minutes ago Up 17 minutes (unhealthy) 28991/tcp malcolm-dashboards-helper-1 3e78024620de malcolmnetsec/arkime:6.2.0 "/usr/local/bin/dock…" 17 minutes ago Up 17 minutes (unhealthy) 8000/tcp, 8005/tcp, 8081/tcp malcolm-arkime-1 58cd869beced malcolmnetsec/pcap-monitor:6.2.0 "/usr/local/bin/dock…" 17 minutes ago Up 17 minutes (unhealthy) 30441/tcp malcolm-pcap-monitor-1 1040fa8bd6df malcolmnetsec/file-monitor:6.2.0 "/usr/local/bin/dock…" 17 minutes ago Up 17 minutes (unhealthy) 3310/tcp, 8440/tcp malcolm-file-monitor-1 25c83f14413d malcolmnetsec/zeek:6.2.0 "/usr/local/bin/dock…" 17 minutes ago Up 17 minutes malcolm-zeek-live-1 b321a96c0362 malcolmnetsec/api:6.2.0 "/usr/local/bin/dock…" 17 minutes ago Up 17 minutes (unhealthy) 5000/tcp malcolm-api-1 0f1f4ac023f9 malcolmnetsec/name-map-ui:6.2.0 "/usr/local/bin/dock…" 17 minutes ago Up 17 minutes (unhealthy) 8080/tcp malcolm-name-map-ui-1 ba4d553cf6b5 malcolmnetsec/suricata:6.2.0 "/usr/local/bin/dock…" 17 minutes ago Up 17 minutes malcolm-suricata-live-1 e4637d0ec04d malcolmnetsec/opensearch:6.2.0 "/usr/local/bin/dock…" 17 minutes ago Up 13 minutes (health: starting) 9200/tcp, 9300/tcp, 9600/tcp, 9650/tcp malcolm-opensearch-1 ac002e31d9be malcolmnetsec/htadmin:6.2.0 "/usr/local/bin/dock…" 17 minutes ago Up 17 minutes (unhealthy) 80/tcp malcolm-htadmin-1 7223d5244a7b malcolmnetsec/pcap-capture:6.2.0 "/usr/local/bin/dock…" 17 minutes ago Up 17 minutes malcolm-pcap-capture-1 971931b21788 malcolmnetsec/freq:6.2.0 "/usr/local/bin/dock…" 17 minutes ago Up 17 minutes (unhealthy) 10004/tcp malcolm-freq-1
您也可以使用以下命令查看所有监听端口:
ss -atlnp | grep -i docker
您应该会看到以下输出:
LISTEN 0 65535 127.0.0.1:5601 0.0.0.0:* users:(("docker-proxy",pid=7480,fd=4))
LISTEN 0 65535 0.0.0.0:488 0.0.0.0:* users:(("docker-proxy",pid=7519,fd=4))
LISTEN 0 65535 127.0.0.1:9200 0.0.0.0:* users:(("docker-proxy",pid=7443,fd=4))
LISTEN 0 65535 127.0.0.1:5044 0.0.0.0:* users:(("docker-proxy",pid=6247,fd=4))
LISTEN 0 65535 127.0.0.1:5045 0.0.0.0:* users:(("docker-proxy",pid=7063,fd=4))
LISTEN 0 65535 127.0.0.1:8022 0.0.0.0:* users:(("docker-proxy",pid=6826,fd=4))
LISTEN 0 65535 0.0.0.0:443 0.0.0.0:* users:(("docker-proxy",pid=7567,fd=4))
访问 Malcolm
现在可以通过 URL https://your-server-ip/dashboards/ 访问 Malcolm OpenSearch dashboard。系统将要求您提供管理员用户名和密码:

输入管理员用户名、密码并点击 Sign in 按钮。您应该在随后的界面中看到 OpenSearch dashboard:

要访问 Malcolm Capture File and Log Archive Upload 界面,请输入 URL https://your-server-ip/upload/。

要访问 Host and subnet name mapping 编辑器,请输入 URL https://your-server-ip/name-map-ui/。

要访问 Account Management 界面,请使用 URL https://your-server-ip:488/


恭喜!您已在 Ubuntu 22.04 上成功安装并配置 Malcolm 网络流量分析工具。