本教程适用于以下操作系统版本
- Ubuntu 22.04 (Jammy Jellyfish)
- Ubuntu 18.04 (Bionic Beaver)
- Ubuntu 18.04 (Bionic Beaver)
- Ubuntu 12.10 (Quantal Quetzal)
- Ubuntu 12.04 LTS (Precise Pangolin)
- Ubuntu 11.10 (Oneiric Ocelot)
本页内容
- 环境要求
- 开始之前
- 安装 GlusterFS
- 创建 GlusterFS 存储
- 配置 GlusterFS 卷
- 测试数据复制
- 总结
GlusterFS 是一款免费、开源且可扩展的网络文件系统,最初由 Gluster 公司开发,后由 Redhat 接手维护。它专为云存储、CDN 以及媒体流等数据密集型工作负载而设计,能够处理 PB 级数据,因此可同时为数千个客户端提供服务。它支持 NFS、SMB、CIFS、HTTP 和 FTP 等多种协议。借助 GlusterFS,你可以将不同的磁盘存储资源整合为一个统一的全局命名空间。
在本教程中,我们将学习如何在 Ubuntu 18.04 上搭建一个复制型(replicated)的 GlusterFS 卷。
环境要求
- 两台运行 Ubuntu 18.04 的服务器,每台均配备 2 GB 外接硬盘。
- node1 配置静态 IP 地址 172.20.10.5,node2 配置静态 IP 地址 172.20.10.6。
- 两台服务器均已配置 root 密码。
开始之前
在开始之前,你需要将两台服务器都更新到最新版本。可以在两台服务器上分别执行以下命令来完成更新。
apt-get update -y
apt-get upgrade -y
两台服务器更新完成后,重启它们以使更改生效。
接下来,你需要在两台服务器上配置主机名解析,以便各服务器之间能够通过主机名相互通信。可以通过编辑两台服务器上的 /etc/hosts 文件来实现:
nano /etc/hosts
添加以下行:
172.20.10.5 node1 172.20.10.6 node2
完成后保存并关闭文件。
安装 GlusterFS
首先,你需要在两台服务器上都安装 GlusterFS 软件包。默认情况下,Ubuntu 18.04 的默认软件仓库中并不包含 GlusterFS。因此你需要在两台服务器上都添加 GlusterFS 仓库。
首先,使用以下命令安装所需的依赖软件包:
apt-get install software-properties-common -y
接下来,使用以下命令添加仓库:
add-apt-repository ppa:gluster/glusterfs-5
接下来,使用以下命令安装 GlusterFS 服务端:
apt-get install glusterfs-server -y
安装完成后,使用以下命令启动 GlusterFS 服务并将其设置为开机自启:
systemctl start glusterd
systemctl enable glusterd
你也可以运行以下命令检查 GlusterFS 服务的状态:
systemctl status glusterd
你应该会看到类似以下输出:
? glusterd.service - GlusterFS, a clustered file-system server
Loaded: loaded (/lib/systemd/system/glusterd.service; enabled; vendor preset: enabled)
Active: active (running) since Thu 2019-11-07 12:51:15 UTC; 48s ago
Main PID: 7199 (glusterd)
Tasks: 8 (limit: 505)
CGroup: /system.slice/glusterd.service
??7199 /usr/sbin/glusterd -p /var/run/glusterd.pid --log-level INFO
Nov 07 12:51:06 ubuntu systemd[1]: Starting GlusterFS, a clustered file-system server...
Nov 07 12:51:15 ubuntu systemd[1]: Started GlusterFS, a clustered file-system server.
创建 GlusterFS 存储
接下来,你需要在两台服务器的外接硬盘(/dev/sdb)上创建分区。
要在 /dev/sdb 上创建新分区,请运行以下命令:
fdisk /dev/sdb
你应该会看到类似以下输出:
Welcome to fdisk (util-linux 2.31.1).
Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.
Device does not contain a recognized partition table.
Created a new DOS disklabel with disk identifier 0x06091fe8.
Command (m for help): n
Partition type
p primary (0 primary, 0 extended, 4 free)
e extended (container for logical partitions)
Select (default p): p
Partition number (1-4, default 1):
First sector (2048-4194303, default 2048):
Last sector, +sectors or +size{K,M,G,T,P} (2048-4194303, default 4194303):
Created a new partition 1 of type 'Linux' and of size 2 GiB.
Command (m for help): w
The partition table has been altered.
Calling ioctl() to re-read partition table.
Syncing disks.
接下来,使用以下命令格式化该分区:
mkfs.xfs /dev/sdb1
你应该会看到类似以下输出:
meta-data=/dev/sdb1 isize=512 agcount=4, agsize=131008 blks
= sectsz=512 attr=2, projid32bit=1
= crc=1 finobt=1, sparse=0, rmapbt=0, reflink=0
data = bsize=4096 blocks=524032, imaxpct=25
= sunit=0 swidth=0 blks
naming =version 2 bsize=4096 ascii-ci=0 ftype=1
log =internal log bsize=4096 blocks=2560, version=2
= sectsz=512 sunit=0 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0
接下来,使用以下命令在两台服务器上创建 GlusterFS 存储目录:
mkdir /glusterdata
接下来,将磁盘 /dev/sdb1 挂载到 /glusterdata 目录。
mount.xfs /dev/sdb1 /glusterdata
接下来,通过编辑 /etc/fstab 文件,使挂载在重启后依然生效:
nano /etc/fstab
添加以下行:
/dev/sdb1 /glusterdata xfs defaults 0 0
保存并关闭文件,然后运行以下命令使更改生效:
mount -a
现在你可以使用以下命令检查已挂载的目录:
df -h
你应该会看到类似以下输出:
Filesystem Size Used Avail Use% Mounted on udev 211M 0 211M 0% /dev tmpfs 49M 1016K 48M 3% /run /dev/sda2 30G 4.3G 25G 16% / tmpfs 241M 12K 241M 1% /dev/shm tmpfs 5.0M 0 5.0M 0% /run/lock tmpfs 241M 0 241M 0% /sys/fs/cgroup /dev/loop0 87M 87M 0 100% /snap/core/4486 tmpfs 49M 0 49M 0% /run/user/0 /dev/loop1 90M 90M 0 100% /snap/core/7917 /dev/sdb1 2.0G 35M 2.0G 2% /glusterdata
配置 GlusterFS 卷
首先,你需要通过在 node1 上将 node2 加入,来创建一个受信任的存储池(trusted storage pool)。为此,请在 node1 上运行以下命令:
gluster peer probe node2
你可以使用以下命令列出存储池:
gluster pool list
你应该会得到类似以下输出:
UUID Hostname State d049b519-9210-4bfa-a1c6-0d1454a88ea0 node2 Connected dbb9252e-6082-4d31-aaef-1b99e0e0c369 localhost Connected
接下来,使用以下命令在两台节点上创建 brick 目录:
mkdir /glusterdata/vol1
接下来,创建一个名为 vol1、包含两个副本的卷:
gluster volume create vol1 replica 2 node1:/glusterdata/vol1 node2:/glusterdata/vol1
接下来,使用以下命令启动该卷:
gluster volume start vol1
你可以使用以下命令检查所创建卷的状态:
gluster volume status
你应该会得到类似以下输出:
Status of volume: vol1 Gluster process TCP Port RDMA Port Online Pid ------------------------------------------------------------------------------ Brick node1:/glusterdata/vol1 49152 0 Y 7987 Brick node2:/glusterdata/vol1 49152 0 Y 18565 Self-heal Daemon on localhost N/A N/A Y 8010 Self-heal Daemon on node2 N/A N/A Y 18588 Task Status of Volume vol1 ------------------------------------------------------------------------------ There are no active volume tasks
你也可以使用以下命令查看所创建卷的相关信息:
gluster volume info vol1
你应该会得到类似以下输出:
Volume Name: vol1 Type: Replicate Volume ID: e093ae7a-70ac-42b8-ab3f-a8bd186c5740 Status: Started Snapshot Count: 0 Number of Bricks: 1 x 2 = 2 Transport-type: tcp Bricks: Brick1: node1:/glusterdata/vol1 Brick2: node2:/glusterdata/vol1 Options Reconfigured: transport.address-family: inet nfs.disable: on performance.client-io-threads: off
接下来,通过编辑 /etc/fstab 文件,将所创建的卷挂载到两台节点的 /mnt 目录,以便服务在服务器启动后该卷依然可用。
nano /etc/fstab
添加以下行:
localhost:/vol1 /mnt glusterfs defaults,_netdev 0 0
完成后保存并关闭文件。然后运行以下命令使更改生效:
mount -a
测试数据复制
GlusterFS 服务端现已安装并配置完成。现在可以测试两个节点之间的数据复制情况了。
首先,在 node1 上创建两个文件:
touch /mnt/file1 /mnt/file2
现在,切换到 node2 并运行以下命令:
ls -l /mnt/
你应该能看到在 node1 上创建的相同文件:
total 0 -rw-r--r-- 1 root root 0 Nov 7 13:42 file1 -rw-r--r-- 1 root root 0 Nov 7 13:42 file2
现在,使用以下命令停止 node2 上的 GlusterFS 服务:
service glusterd stop
接下来,切换到 node1 并检查对等体(peer)状态:
gluster peer status
你应该会看到 node2 已断开连接:
Number of Peers: 1 Hostname: node2 Uuid: d049b519-9210-4bfa-a1c6-0d1454a88ea0 State: Peer in Cluster (Disconnected)
你也可以使用以下命令检查卷的状态:
gluster volume status
你应该会看到类似以下输出:
Status of volume: vol1 Gluster process TCP Port RDMA Port Online Pid ------------------------------------------------------------------------------ Brick node1:/glusterdata/vol1 49152 0 Y 7987 Self-heal Daemon on localhost N/A N/A Y 8010 Task Status of Volume vol1 ------------------------------------------------------------------------------ There are no active volume tasks
接下来,在 node1 上再创建另外两个文件:
touch /mnt/file3 /mnt/file4
现在,切换到 node2 并使用以下命令启动 GlusterFS 服务:
service glusterd start
现在,检查 node2 上的 /mnt 目录:
ls -l /mnt/
你应该会看到 node1 上的所有文件都已被复制,现在均可访问。
total 0 -rw-r--r-- 1 root root 0 Nov 7 13:42 file1 -rw-r--r-- 1 root root 0 Nov 7 13:42 file2 -rw-r--r-- 1 root root 0 Nov 7 13:44 file3 -rw-r--r-- 1 root root 0 Nov 7 13:44 file4
总结
恭喜!你已成功在 Ubuntu 18.04 服务器上安装并配置了一个双节点的复制型 GlusterFS 卷。你还可以搭建分布式 GlusterFS 卷、分布式复制型 GlusterFS 卷、条带化 GlusterFS 卷以及分布式条带化 GlusterFS 卷。