本页内容
- 前提条件
- 设置 FQDN 和 /etc/hosts
- 设置分区
- 为 Rocky Linux 添加 GlusterFS 仓库
- 安装 GlusterFS 服务器
- 使用 Firewalld 开放端口
- 初始化 GlusterFS 集群
- 创建 GlusterFS Volume
- 在客户端机器上挂载 GlusterFS Volume
- 测试写入访问和高可用性
- 结论
GlusterFS 或 Gluster File System 是由 RedHat 开发的免费开源分布式文件系统。GlusterFS 是一个可扩展的文件系统,由多台服务器组合成一个统一的文件系统实体,使用户能够连接并挂载该 GlusterFS volume。
GlusterFS 是一个现代的文件系统,能够处理 PB 级的数据,同时它易于安装和维护,也易于扩展该文件系统。
在本教程中,你将学习如何在两台 Rocky Linux 系统上安装 GlusterFS,并在两台服务器之间建立集群。我们还将介绍如何在客户端机器上挂载 GlusterFS volume。
前提条件
- 两台 Rocky Linux 服务器,每台服务器各带一块附加磁盘。
- 两台服务器上均已配置 root 密码
设置 FQDN 和 /etc/hosts
开始之前,你需要在每台服务器上设置 FQDN 和 /etc/hosts 文件。
下面是我们将用于创建 GlusterFS 集群的服务器的详细信息:
- server1.localdomain.lan,IP 地址 192.168.10.15
- server2.localdomain.lan,IP 地址 192.168.10.20
要在每台服务器上设置 FQDN,请运行下面的 hostnamectl 命令。
在 server1 上,运行下面的 hostnamectl 命令。
sudo hostnamectl set-hostname server1.localdomain.lan
在 server2 上,运行以下命令。
sudo hostnamectl set-hostname server2.localdomain.lan
接下来,使用 nano 编辑器编辑配置文件 /etc/hosts。
sudo nano /etc/hosts
粘贴以下配置。
192.168.10.15 server1.localdomain.lan 192.168.10.20 server2.localdomain.lan
按 Ctrl+X 并输入 Y 确认以保存文件。
现在使用下面的 ping 命令测试 server1 和 server2 之间的连通性。
ping -c3 server1.localdomain.lan
ping -c3 server2.localdomain.lan
每个本地域名都将被解析为该服务器正确的 IP 地址。

设置分区
部署 GlusterFS 时,建议使用不同的磁盘存储,尤其是在生产环境中。
在本教程中,server1 和 server2 都有一块大小为 5GB 的辅助磁盘 /dev/vdb1。
现在使用 nano 编辑器编辑 /etc/fstab 配置以添加你的磁盘。
sudo nano /etc/fstab
对于 server1,/dev/vda1 磁盘将被挂载到 /data/vol1 目录。
/dev/vda1 /data/vol1 ext4 default 0 0
对于 server2,/dev/vda1 磁盘将被挂载到 /data/vol2 目录。
/dev/vda1 /data/vol2 ext4 default 0 0
接下来,使用下面的命令挂载 / dev/vda1 磁盘。
sudo mount -a
如果没有错误消息,请通过运行下面的 df 命令来核实每个系统上已挂载磁盘的列表。
sudo df -h
你应该会看到 /dev/vda1 磁盘已挂载到 /data 目录。
现在,在开始安装和配置 GlusterFS 集群之前,运行下面的命令在 /data 目录内创建 brick0 目录。
在 server1 上,运行下面的命令。
sudo mkdir -p /data/vol1/brick0
对于 server2,运行下面的命令。
sudo mkdir -p /data/vol2/brick0
为 Rocky Linux 添加 GlusterFS 仓库
成功设置磁盘后,现在你将在 Rocky Linux 服务器上安装 GlusterFS 软件包。
当前的 Rocky Linux 仍未提供 GlusterFS 服务器软件包,但你可以使用 CentOS 发行版的 GlusterFS 软件包。
使用以下命令将 GlusterFS 仓库添加到你的 Rocky Linux 系统。
sudo dnf install centos-release-gluster9
输入 y 确认安装,然后按 ENTER 继续。

接下来,进入 /etc/yum.repos.d/ 目录,并使用 nano 编辑器编辑仓库配置文件 CentOS-Gluster-9.repo。
cd /etc/yum.repos.d/
sudo nano CentOS-Gluster-9.repo
使用 Rocky Linux 仓库修改 baseurl 行,并如下所示注释掉 mirrorlist 行
# CentOS-Gluster-9.repo # # Please see http://wiki.centos.org/SpecialInterestGroup/Storage for more # information [centos-gluster9] name=CentOS-$releasever - Gluster 9 #mirrorlist=http://mirrorlist.centos.org?arch=$basearch&release=$releasever&repo=storage-gluster-9 baseurl=https://dl.rockylinux.org/vault/centos/8.5.2111/storage/x86_64/gluster-9/ gpgcheck=1 enabled=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-SIG-Storage [centos-gluster9-test] name=CentOS-$releasever - Gluster 9 Testing baseurl=http://buildlogs.centos.org/centos/$releasever/storage/$basearch/gluster-9/ gpgcheck=0 enabled=0 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-SIG-Storage
使用 Ctrl+X 和 Y 确认以保存文件。
现在使用以下命令检查你的 Rocky Linux 系统上可用的仓库。
sudo dnf repolist
你将看到用于 GlusterFS 9 的 CentOS 发行版仓库。

安装 GlusterFS 服务器
现在使用下面的 dnf 命令在 Rocky Linux 系统上安装 GlusterFS 软件包。
sudo dnf install glusterfs glusterfs-libs glusterfs-server
输入 Y 确认安装,然后按 ENTER 继续。

安装完成后,使用以下命令启动 glusterfsd 服务并将其添加到系统启动项中。
sudo systemctl enable glusterfsd.service
sudo systemctl start glusterfsd.service
现在使用下面的命令核实 glusterfsd 服务状态。
sudo systemctl status glusterfsd.service
你将看到 glusterfsd 服务为 active,状态为 exited,这意味着它正在运行,但 systemd 管理器找不到任何守护进程来监控。

使用 Firewalld 开放端口
在开始配置 GlusterFS 集群之前,你需要为 GlusterFS 服务开放端口。
在基于 RHEL Linux 的操作系统上,默认的防火墙应用程序是 firewalld,它提供了用于管理防火墙的命令行工具 firewall-cmd。
使用下面的命令将 glusterfs 服务添加到你的 firewalld 配置中并重新加载 firewalld。
sudo firewall-cmd --add-service=glusterfs --permanent
sudo firewall-cmd --reload
之后,使用以下命令核实 firewalld 上的服务列表。
sudo firewall-cmd --list-services
你将看到 glusterfs 服务已添加到 firewalld。

初始化 GlusterFS 集群
下一步将是在 Rocky Linux 系统上初始化并设置 GlusterFS 集群。
首先,使用以下命令初始化 GlusterFS 集群。此命令必须在 server1 服务器上运行,且只能运行一次。
通过使用此命令,你将把 server2.localdomain.lan 添加到 server1 上的 GlusterFS peer 中。此外,在以下命令完成后,server2 将被自动初始化。
sudo gluster peer probe server2.localdomain.lan
现在你应该会看到输出消息 'peer probe: success'。
接下来,使用以下命令核实 server1 上的 peer 状态。
sudo gluster peer status
你应该会看到 server1 上只有一个 peer。

此外,在 server2 上运行以下命令以检查 server2 上可用的 peer。
sudo gluster peer status
你应该会看到 server2 上只有一个 peer。

创建 GlusterFS Volume
成功初始化 GlusterFS 集群后,你将创建一个供客户端机器使用的新 GlusterFS volume。
在本教程中,你将使用来自 server1 和 server2 的 2 块磁盘创建一个名为 myvolume、类型为 replica 的新 volume。
sudo gluster volume create myvolume replica 2 server1.localdomain.lan:/data/vol1/brick0 server2.localdomain.com:/data/vol2/brick0
现在输入 y 确认并按 ENTER 以创建该 GlusterFS volume。
当该过程成功时,你将看到如下截图所示的输出。

接下来,使用以下命令启动 Glusterfs volume myvolume。
sudo gluster volume start myvolume
你将看到输出消息 'volume start: myvolume: success',这意味着 myvolume 已启动。
现在运行下面的命令以核实 GLusterFS volume 状态。
sudo gluster volume status
下面你将看到 myvolume 的状态为 online,并已准备好供客户端使用。

此外,你也可以使用以下命令核实该 GlusterFS volume 的状态。
sudo gluster volume info
你将看到 volume myvolume,其类型为 replicate,状态为 started。myvolume 基于 server1 和 server2 上的磁盘。

在客户端机器上挂载 GlusterFS Volume
现在你已经创建了 GlusterFS volume myvolume。接下来,你将学习如何设置客户端机器并挂载该 GlusterFS volume。
在本教程中,我们将使用名为 client 的客户端机器。
使用 nano 编辑器编辑客户端机器上的 /etc/hosts 配置。
sudo nano /etc/hosts
粘贴以下配置。
192.168.10.15 server1.localdomain.lan 192.168.10.20 server2.localdomain.lan
使用 Ctrl+X 保存文件并输入 Y 确认。
要核实客户端机器与 GlusterFS 服务器之间的连接,请运行下面的 ping 命令。
ping -c3 server1.localdomain.lan
你将看到客户端命令可以连接到 GlusterFS 服务器。

接下来,使用以下命令从 AppStream Rocky Linux 仓库安装 GlusterFS 客户端软件包。
sudo dnf install glusterfs-client
输入 y 确认安装,然后按 ENTER 继续。

安装完成后,使用下面的命令创建一个新的挂载目录 /data。
sudo mkdir /data
使用下面的 mount 命令将 GlusterFS volume myvolume 挂载到 /data 目录。
sudo mount.glusterfs server1.localdomain.lan:/myvolume /data
如果没有错误,则说明该 GlusterFS volume 已成功挂载到你的客户端机器上。
运行以下命令以核实该 GlusterFS volume。
df -h
你将看到 GlusterFS myvolume 已成功挂载到客户端机器上的 /data 目录。

测试写入访问和高可用性
在客户端机器上,进入 /data 目录并使用下面的命令创建一个新文件。
使用此命令,你将在 /data 目录中创建 5 个文件。
cd /data
touch file{1..5}.md

现在切换到 server1,并使用以下命令检查 /data/vol1/brick0 目录。
ls /data/vol1/brick0
你应该会看到该文件在 server1 上可用。

接下来,使用以下命令关闭或关停 server1。
sudo shutdown -r now
再次切换到 server2,并使用以下命令核实 server2 上 GlusterFS 的状态。
sudo gluster peer status
你将看到 peer server1 的状态为 disconnected。

从 server2 核实 /data/vol2/brick0 目录中可用的文件。
ls /data/vol2/brick0
你将看到来自客户端的所有文件在 server2 上也同样可用,这意味着数据已从 peer 服务器复制过来。

现在如果你返回客户端机器,你会看到即使 server1 已宕机,到 GlusterFS 服务器的连接状态仍然是 active 且正在运行。这意味着 GlusterFS 的高可用性已成功。
结论
恭喜!你现在已在 Rocky Linux 系统上成功安装并配置了 GlusterFS 集群存储。此外,你还学习了如何设置 GlusterFS volume 以及如何在客户端机器上挂载 GlusterFS volume。