本页内容

  • 前提条件
  • 设置 FQDN 和 /etc/hosts
  • 设置分区
  • 为 Rocky Linux 添加 GlusterFS 仓库
  • 安装 GlusterFS 服务器
  • 使用 Firewalld 开放端口
  • 初始化 GlusterFS 集群
  • 创建 GlusterFS Volume
  • 在客户端机器上挂载 GlusterFS Volume
  • 测试写入访问和高可用性
  • 结论

GlusterFS 或 Gluster File System 是由 RedHat 开发的免费开源分布式文件系统。GlusterFS 是一个可扩展的文件系统,由多台服务器组合成一个统一的文件系统实体,使用户能够连接并挂载该 GlusterFS volume。

GlusterFS 是一个现代的文件系统,能够处理 PB 级的数据,同时它易于安装和维护,也易于扩展该文件系统。

在本教程中,你将学习如何在两台 Rocky Linux 系统上安装 GlusterFS,并在两台服务器之间建立集群。我们还将介绍如何在客户端机器上挂载 GlusterFS volume。

前提条件

  • 两台 Rocky Linux 服务器,每台服务器各带一块附加磁盘。
  • 两台服务器上均已配置 root 密码

设置 FQDN 和 /etc/hosts

开始之前,你需要在每台服务器上设置 FQDN 和 /etc/hosts 文件。

下面是我们将用于创建 GlusterFS 集群的服务器的详细信息:

  • server1.localdomain.lan,IP 地址 192.168.10.15
  • server2.localdomain.lan,IP 地址 192.168.10.20

要在每台服务器上设置 FQDN,请运行下面的 hostnamectl 命令。

在 server1 上,运行下面的 hostnamectl 命令。

sudo hostnamectl set-hostname server1.localdomain.lan

在 server2 上,运行以下命令。

sudo hostnamectl set-hostname server2.localdomain.lan

接下来,使用 nano 编辑器编辑配置文件 /etc/hosts。

sudo nano /etc/hosts

粘贴以下配置。

192.168.10.15 server1.localdomain.lan
192.168.10.20 server2.localdomain.lan

按 Ctrl+X 并输入 Y 确认以保存文件。

现在使用下面的 ping 命令测试 server1 和 server2 之间的连通性。

ping -c3 server1.localdomain.lan
ping -c3 server2.localdomain.lan

每个本地域名都将被解析为该服务器正确的 IP 地址。

在 Rocky Linux 上安装部署 GlusterFS 分布式存储完整教程

设置分区

部署 GlusterFS 时,建议使用不同的磁盘存储,尤其是在生产环境中。

在本教程中,server1 和 server2 都有一块大小为 5GB 的辅助磁盘 /dev/vdb1。

现在使用 nano 编辑器编辑 /etc/fstab 配置以添加你的磁盘。

sudo nano /etc/fstab

对于 server1,/dev/vda1 磁盘将被挂载到 /data/vol1 目录。

/dev/vda1 /data/vol1 ext4 default 0 0

对于 server2,/dev/vda1 磁盘将被挂载到 /data/vol2 目录。

/dev/vda1 /data/vol2 ext4 default 0 0

接下来,使用下面的命令挂载 / dev/vda1 磁盘。

sudo mount -a

如果没有错误消息,请通过运行下面的 df 命令来核实每个系统上已挂载磁盘的列表。

sudo df -h

你应该会看到 /dev/vda1 磁盘已挂载到 /data 目录。

现在,在开始安装和配置 GlusterFS 集群之前,运行下面的命令在 /data 目录内创建 brick0 目录。

在 server1 上,运行下面的命令。

sudo mkdir -p /data/vol1/brick0

对于 server2,运行下面的命令。

sudo mkdir -p /data/vol2/brick0

为 Rocky Linux 添加 GlusterFS 仓库

成功设置磁盘后,现在你将在 Rocky Linux 服务器上安装 GlusterFS 软件包。

当前的 Rocky Linux 仍未提供 GlusterFS 服务器软件包,但你可以使用 CentOS 发行版的 GlusterFS 软件包。

使用以下命令将 GlusterFS 仓库添加到你的 Rocky Linux 系统。

sudo dnf install centos-release-gluster9

输入 y 确认安装,然后按 ENTER 继续。

在 Rocky Linux 上安装部署 GlusterFS 分布式存储完整教程

接下来,进入 /etc/yum.repos.d/ 目录,并使用 nano 编辑器编辑仓库配置文件 CentOS-Gluster-9.repo。

cd /etc/yum.repos.d/
sudo nano CentOS-Gluster-9.repo

使用 Rocky Linux 仓库修改 baseurl 行,并如下所示注释掉 mirrorlist 行

# CentOS-Gluster-9.repo
#
# Please see http://wiki.centos.org/SpecialInterestGroup/Storage for more
# information
[centos-gluster9]
name=CentOS-$releasever - Gluster 9
#mirrorlist=http://mirrorlist.centos.org?arch=$basearch&release=$releasever&repo=storage-gluster-9
baseurl=https://dl.rockylinux.org/vault/centos/8.5.2111/storage/x86_64/gluster-9/
gpgcheck=1
enabled=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-SIG-Storage
[centos-gluster9-test]
name=CentOS-$releasever - Gluster 9 Testing
baseurl=http://buildlogs.centos.org/centos/$releasever/storage/$basearch/gluster-9/
gpgcheck=0
enabled=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-SIG-Storage

使用 Ctrl+X 和 Y 确认以保存文件。

现在使用以下命令检查你的 Rocky Linux 系统上可用的仓库。

sudo dnf repolist

你将看到用于 GlusterFS 9 的 CentOS 发行版仓库。

在 Rocky Linux 上安装部署 GlusterFS 分布式存储完整教程

安装 GlusterFS 服务器

现在使用下面的 dnf 命令在 Rocky Linux 系统上安装 GlusterFS 软件包。

sudo dnf install glusterfs glusterfs-libs glusterfs-server

输入 Y 确认安装,然后按 ENTER 继续。

在 Rocky Linux 上安装部署 GlusterFS 分布式存储完整教程

安装完成后,使用以下命令启动 glusterfsd 服务并将其添加到系统启动项中。

sudo systemctl enable glusterfsd.service
sudo systemctl start glusterfsd.service

现在使用下面的命令核实 glusterfsd 服务状态。

sudo systemctl status glusterfsd.service

你将看到 glusterfsd 服务为 active,状态为 exited,这意味着它正在运行,但 systemd 管理器找不到任何守护进程来监控。

在 Rocky Linux 上安装部署 GlusterFS 分布式存储完整教程

使用 Firewalld 开放端口

在开始配置 GlusterFS 集群之前,你需要为 GlusterFS 服务开放端口。

在基于 RHEL Linux 的操作系统上,默认的防火墙应用程序是 firewalld,它提供了用于管理防火墙的命令行工具 firewall-cmd。

使用下面的命令将 glusterfs 服务添加到你的 firewalld 配置中并重新加载 firewalld。

sudo firewall-cmd --add-service=glusterfs --permanent
sudo firewall-cmd --reload

之后,使用以下命令核实 firewalld 上的服务列表。

sudo firewall-cmd --list-services

你将看到 glusterfs 服务已添加到 firewalld。

在 Rocky Linux 上安装部署 GlusterFS 分布式存储完整教程

初始化 GlusterFS 集群

下一步将是在 Rocky Linux 系统上初始化并设置 GlusterFS 集群。

首先,使用以下命令初始化 GlusterFS 集群。此命令必须在 server1 服务器上运行,且只能运行一次。

通过使用此命令,你将把 server2.localdomain.lan 添加到 server1 上的 GlusterFS peer 中。此外,在以下命令完成后,server2 将被自动初始化。

sudo gluster peer probe server2.localdomain.lan

现在你应该会看到输出消息 'peer probe: success'。

接下来,使用以下命令核实 server1 上的 peer 状态。

sudo gluster peer status

你应该会看到 server1 上只有一个 peer。

在 Rocky Linux 上安装部署 GlusterFS 分布式存储完整教程

此外,在 server2 上运行以下命令以检查 server2 上可用的 peer。

sudo gluster peer status

你应该会看到 server2 上只有一个 peer。

在 Rocky Linux 上安装部署 GlusterFS 分布式存储完整教程

创建 GlusterFS Volume

成功初始化 GlusterFS 集群后,你将创建一个供客户端机器使用的新 GlusterFS volume。

在本教程中,你将使用来自 server1 和 server2 的 2 块磁盘创建一个名为 myvolume、类型为 replica 的新 volume。

sudo gluster volume create myvolume replica 2 server1.localdomain.lan:/data/vol1/brick0 server2.localdomain.com:/data/vol2/brick0

现在输入 y 确认并按 ENTER 以创建该 GlusterFS volume。

当该过程成功时,你将看到如下截图所示的输出。

在 Rocky Linux 上安装部署 GlusterFS 分布式存储完整教程

接下来,使用以下命令启动 Glusterfs volume myvolume。

sudo gluster volume start myvolume

你将看到输出消息 'volume start: myvolume: success',这意味着 myvolume 已启动。

现在运行下面的命令以核实 GLusterFS volume 状态。

sudo gluster volume status

下面你将看到 myvolume 的状态为 online,并已准备好供客户端使用。

在 Rocky Linux 上安装部署 GlusterFS 分布式存储完整教程

此外,你也可以使用以下命令核实该 GlusterFS volume 的状态。

sudo gluster volume info

你将看到 volume myvolume,其类型为 replicate,状态为 started。myvolume 基于 server1 和 server2 上的磁盘。

在 Rocky Linux 上安装部署 GlusterFS 分布式存储完整教程

在客户端机器上挂载 GlusterFS Volume

现在你已经创建了 GlusterFS volume myvolume。接下来,你将学习如何设置客户端机器并挂载该 GlusterFS volume。

在本教程中,我们将使用名为 client 的客户端机器。

使用 nano 编辑器编辑客户端机器上的 /etc/hosts 配置。

sudo nano /etc/hosts

粘贴以下配置。

192.168.10.15 server1.localdomain.lan
192.168.10.20 server2.localdomain.lan

使用 Ctrl+X 保存文件并输入 Y 确认。

要核实客户端机器与 GlusterFS 服务器之间的连接,请运行下面的 ping 命令。

ping -c3 server1.localdomain.lan

你将看到客户端命令可以连接到 GlusterFS 服务器。

在 Rocky Linux 上安装部署 GlusterFS 分布式存储完整教程

接下来,使用以下命令从 AppStream Rocky Linux 仓库安装 GlusterFS 客户端软件包。

sudo dnf install glusterfs-client

输入 y 确认安装,然后按 ENTER 继续。

在 Rocky Linux 上安装部署 GlusterFS 分布式存储完整教程

安装完成后,使用下面的命令创建一个新的挂载目录 /data。

sudo mkdir /data

使用下面的 mount 命令将 GlusterFS volume myvolume 挂载到 /data 目录。

sudo mount.glusterfs server1.localdomain.lan:/myvolume /data

如果没有错误,则说明该 GlusterFS volume 已成功挂载到你的客户端机器上。

运行以下命令以核实该 GlusterFS volume。

df -h

你将看到 GlusterFS myvolume 已成功挂载到客户端机器上的 /data 目录。

在 Rocky Linux 上安装部署 GlusterFS 分布式存储完整教程

测试写入访问和高可用性

在客户端机器上,进入 /data 目录并使用下面的命令创建一个新文件。

使用此命令,你将在 /data 目录中创建 5 个文件。

cd /data
touch file{1..5}.md

在 Rocky Linux 上安装部署 GlusterFS 分布式存储完整教程

现在切换到 server1,并使用以下命令检查 /data/vol1/brick0 目录。

ls /data/vol1/brick0

你应该会看到该文件在 server1 上可用。

在 Rocky Linux 上安装部署 GlusterFS 分布式存储完整教程

接下来,使用以下命令关闭或关停 server1。

sudo shutdown -r now

再次切换到 server2,并使用以下命令核实 server2 上 GlusterFS 的状态。

sudo gluster peer status

你将看到 peer server1 的状态为 disconnected。

在 Rocky Linux 上安装部署 GlusterFS 分布式存储完整教程

从 server2 核实 /data/vol2/brick0 目录中可用的文件。

ls /data/vol2/brick0

你将看到来自客户端的所有文件在 server2 上也同样可用,这意味着数据已从 peer 服务器复制过来。

在 Rocky Linux 上安装部署 GlusterFS 分布式存储完整教程

现在如果你返回客户端机器,你会看到即使 server1 已宕机,到 GlusterFS 服务器的连接状态仍然是 active 且正在运行。这意味着 GlusterFS 的高可用性已成功。

结论

恭喜!你现在已在 Rocky Linux 系统上成功安装并配置了 GlusterFS 集群存储。此外,你还学习了如何设置 GlusterFS volume 以及如何在客户端机器上挂载 GlusterFS volume。