本教程适用于以下操作系统版本

  • Ubuntu 22.04 (Jammy Jellyfish)
  • Ubuntu 18.04 (Bionic Beaver)
  • Ubuntu 18.04 (Bionic Beaver)
  • Ubuntu 12.10 (Quantal Quetzal)
  • Ubuntu 12.04 LTS (Precise Pangolin)
  • Ubuntu 11.10 (Oneiric Ocelot)

本页内容

  • 环境要求
  • 开始之前
  • 安装 GlusterFS
  • 创建 GlusterFS 存储
  • 配置 GlusterFS 卷
  • 测试数据复制
  • 总结

GlusterFS 是一款免费、开源且可扩展的网络文件系统,最初由 Gluster 公司开发,后由 Redhat 接手维护。它专为云存储、CDN 以及媒体流等数据密集型工作负载而设计,能够处理 PB 级数据,因此可同时为数千个客户端提供服务。它支持 NFS、SMB、CIFS、HTTP 和 FTP 等多种协议。借助 GlusterFS,你可以将不同的磁盘存储资源整合为一个统一的全局命名空间。

在本教程中,我们将学习如何在 Ubuntu 18.04 上搭建一个复制型(replicated)的 GlusterFS 卷。

环境要求

  • 两台运行 Ubuntu 18.04 的服务器,每台均配备 2 GB 外接硬盘。
  • node1 配置静态 IP 地址 172.20.10.5,node2 配置静态 IP 地址 172.20.10.6。
  • 两台服务器均已配置 root 密码。

开始之前

在开始之前,你需要将两台服务器都更新到最新版本。可以在两台服务器上分别执行以下命令来完成更新。

apt-get update -y
apt-get upgrade -y

两台服务器更新完成后,重启它们以使更改生效。

接下来,你需要在两台服务器上配置主机名解析,以便各服务器之间能够通过主机名相互通信。可以通过编辑两台服务器上的 /etc/hosts 文件来实现:

nano /etc/hosts

添加以下行:

172.20.10.5 node1
172.20.10.6 node2

完成后保存并关闭文件。

安装 GlusterFS

首先,你需要在两台服务器上都安装 GlusterFS 软件包。默认情况下,Ubuntu 18.04 的默认软件仓库中并不包含 GlusterFS。因此你需要在两台服务器上都添加 GlusterFS 仓库。

首先,使用以下命令安装所需的依赖软件包:

apt-get install software-properties-common -y

接下来,使用以下命令添加仓库:

add-apt-repository ppa:gluster/glusterfs-5

接下来,使用以下命令安装 GlusterFS 服务端:

apt-get install glusterfs-server -y

安装完成后,使用以下命令启动 GlusterFS 服务并将其设置为开机自启:

systemctl start glusterd
systemctl enable glusterd

你也可以运行以下命令检查 GlusterFS 服务的状态:

systemctl status glusterd

你应该会看到类似以下输出:

? glusterd.service - GlusterFS, a clustered file-system server
   Loaded: loaded (/lib/systemd/system/glusterd.service; enabled; vendor preset: enabled)
   Active: active (running) since Thu 2019-11-07 12:51:15 UTC; 48s ago
 Main PID: 7199 (glusterd)
    Tasks: 8 (limit: 505)
   CGroup: /system.slice/glusterd.service
           ??7199 /usr/sbin/glusterd -p /var/run/glusterd.pid --log-level INFO

Nov 07 12:51:06 ubuntu systemd[1]: Starting GlusterFS, a clustered file-system server...
Nov 07 12:51:15 ubuntu systemd[1]: Started GlusterFS, a clustered file-system server.

创建 GlusterFS 存储

接下来,你需要在两台服务器的外接硬盘(/dev/sdb)上创建分区。

要在 /dev/sdb 上创建新分区,请运行以下命令:

fdisk /dev/sdb

你应该会看到类似以下输出:

Welcome to fdisk (util-linux 2.31.1).
Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.

Device does not contain a recognized partition table.
Created a new DOS disklabel with disk identifier 0x06091fe8.

Command (m for help): n
Partition type
   p   primary (0 primary, 0 extended, 4 free)
   e   extended (container for logical partitions)
Select (default p): p
Partition number (1-4, default 1): 
First sector (2048-4194303, default 2048): 
Last sector, +sectors or +size{K,M,G,T,P} (2048-4194303, default 4194303): 

Created a new partition 1 of type 'Linux' and of size 2 GiB.

Command (m for help): w
The partition table has been altered.
Calling ioctl() to re-read partition table.
Syncing disks.

接下来,使用以下命令格式化该分区:

mkfs.xfs /dev/sdb1

你应该会看到类似以下输出:

meta-data=/dev/sdb1              isize=512    agcount=4, agsize=131008 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=1, sparse=0, rmapbt=0, reflink=0
data     =                       bsize=4096   blocks=524032, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
log      =internal log           bsize=4096   blocks=2560, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

接下来,使用以下命令在两台服务器上创建 GlusterFS 存储目录:

mkdir /glusterdata

接下来,将磁盘 /dev/sdb1 挂载到 /glusterdata 目录。

mount.xfs /dev/sdb1 /glusterdata

接下来,通过编辑 /etc/fstab 文件,使挂载在重启后依然生效:

nano /etc/fstab

添加以下行:

/dev/sdb1 /glusterdata xfs defaults 0 0

保存并关闭文件,然后运行以下命令使更改生效:

mount -a

现在你可以使用以下命令检查已挂载的目录:

df -h

你应该会看到类似以下输出:

Filesystem      Size  Used Avail Use% Mounted on
udev            211M     0  211M   0% /dev
tmpfs            49M 1016K   48M   3% /run
/dev/sda2        30G  4.3G   25G  16% /
tmpfs           241M   12K  241M   1% /dev/shm
tmpfs           5.0M     0  5.0M   0% /run/lock
tmpfs           241M     0  241M   0% /sys/fs/cgroup
/dev/loop0       87M   87M     0 100% /snap/core/4486
tmpfs            49M     0   49M   0% /run/user/0
/dev/loop1       90M   90M     0 100% /snap/core/7917
/dev/sdb1       2.0G   35M  2.0G   2% /glusterdata

配置 GlusterFS 卷

首先,你需要通过在 node1 上将 node2 加入,来创建一个受信任的存储池(trusted storage pool)。为此,请在 node1 上运行以下命令:

gluster peer probe node2

你可以使用以下命令列出存储池:

gluster pool list

你应该会得到类似以下输出:

UUID					Hostname 	State
d049b519-9210-4bfa-a1c6-0d1454a88ea0	node2    	Connected 
dbb9252e-6082-4d31-aaef-1b99e0e0c369	localhost	Connected 

接下来,使用以下命令在两台节点上创建 brick 目录:

mkdir /glusterdata/vol1

接下来,创建一个名为 vol1、包含两个副本的卷:

gluster volume create vol1 replica 2 node1:/glusterdata/vol1 node2:/glusterdata/vol1

接下来,使用以下命令启动该卷:

gluster volume start vol1

你可以使用以下命令检查所创建卷的状态:

gluster volume status

你应该会得到类似以下输出:

Status of volume: vol1
Gluster process                             TCP Port  RDMA Port  Online  Pid
------------------------------------------------------------------------------
Brick node1:/glusterdata/vol1               49152     0          Y       7987 
Brick node2:/glusterdata/vol1               49152     0          Y       18565
Self-heal Daemon on localhost               N/A       N/A        Y       8010 
Self-heal Daemon on node2                   N/A       N/A        Y       18588
 
Task Status of Volume vol1
------------------------------------------------------------------------------
There are no active volume tasks

你也可以使用以下命令查看所创建卷的相关信息:

gluster volume info vol1

你应该会得到类似以下输出:

Volume Name: vol1
Type: Replicate
Volume ID: e093ae7a-70ac-42b8-ab3f-a8bd186c5740
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node1:/glusterdata/vol1
Brick2: node2:/glusterdata/vol1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
performance.client-io-threads: off

接下来,通过编辑 /etc/fstab 文件,将所创建的卷挂载到两台节点的 /mnt 目录,以便服务在服务器启动后该卷依然可用。

nano /etc/fstab

添加以下行:

localhost:/vol1 /mnt glusterfs defaults,_netdev 0 0

完成后保存并关闭文件。然后运行以下命令使更改生效:

mount -a

测试数据复制

GlusterFS 服务端现已安装并配置完成。现在可以测试两个节点之间的数据复制情况了。

首先,在 node1 上创建两个文件:

touch /mnt/file1 /mnt/file2

现在,切换到 node2 并运行以下命令:

ls -l /mnt/

你应该能看到在 node1 上创建的相同文件:

total 0
-rw-r--r-- 1 root root 0 Nov  7 13:42 file1
-rw-r--r-- 1 root root 0 Nov  7 13:42 file2

现在,使用以下命令停止 node2 上的 GlusterFS 服务:

service glusterd stop

接下来,切换到 node1 并检查对等体(peer)状态:

gluster peer status

你应该会看到 node2 已断开连接:

Number of Peers: 1

Hostname: node2
Uuid: d049b519-9210-4bfa-a1c6-0d1454a88ea0
State: Peer in Cluster (Disconnected)

你也可以使用以下命令检查卷的状态:

gluster volume status

你应该会看到类似以下输出:

Status of volume: vol1
Gluster process                             TCP Port  RDMA Port  Online  Pid
------------------------------------------------------------------------------
Brick node1:/glusterdata/vol1               49152     0          Y       7987 
Self-heal Daemon on localhost               N/A       N/A        Y       8010 
 
Task Status of Volume vol1
------------------------------------------------------------------------------
There are no active volume tasks

接下来,在 node1 上再创建另外两个文件:

touch /mnt/file3 /mnt/file4

现在,切换到 node2 并使用以下命令启动 GlusterFS 服务:

service glusterd start

现在,检查 node2 上的 /mnt 目录:

ls -l /mnt/

你应该会看到 node1 上的所有文件都已被复制,现在均可访问。

total 0
-rw-r--r-- 1 root root 0 Nov  7 13:42 file1
-rw-r--r-- 1 root root 0 Nov  7 13:42 file2
-rw-r--r-- 1 root root 0 Nov  7 13:44 file3
-rw-r--r-- 1 root root 0 Nov  7 13:44 file4

总结

恭喜!你已成功在 Ubuntu 18.04 服务器上安装并配置了一个双节点的复制型 GlusterFS 卷。你还可以搭建分布式 GlusterFS 卷、分布式复制型 GlusterFS 卷、条带化 GlusterFS 卷以及分布式条带化 GlusterFS 卷。