安装和配置glusterfs分布式卷RHEL/CentOS 8
我们将学习Linux中的Gluster File System：
什么是GlusterFS？
GlusterFS支持的卷类型
使用RHEL/CentOS 8安装和配置GlusterFS分布式卷
使用RHEL/CentOS 8安装和配置GlusterFS复制卷
使用RHEL/CentOS 8安装和配置GlusterFS分布式复制卷
环境
我已经使用安装在Linux服务器上的Oracle VirtualBox创建了四个虚拟机。
| 配置 | 节点1 | 节点2 |
|---|---|---|
| 主机名/FQDN | glusterfs-1. example.com | 葡萄糖-2. example.com |
| 操作系统 | CentOS 8 | CentOS 8 |
| IP地址 | 10.10.10.6 | 10.10.10.12 |
| 存储1（/dev/sda） | 20GB | 20GB |
| 存储2（/dev/sdb） | 10GB | 10GB |
名称解析
我们必须配置DNS来解析主机名，或者使用/etc/hosts文件。
我已经用我的GlusterFS节点的IP更新了/etc/hosts文件。
# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 10.10.10.6 glusterfs-1 glusterfs-1.example.com 10.10.10.12 glusterfs-2 glusterfs-2.example.com
安装Gluster文件系统
在CentOS 8上安装GlusterFS
根据环境，我们可以从官方页面下载glusterfs的Repo文件。
我在CentOS 8虚拟机上使用内部网络，因此我的VM中没有互联网连接，这就是为什么我在RHEL 8节点之一上下载了glusterfs存储库，然后通过下载整个存储库创建了一个离线存储库
要下载和更新repo文件，我们将需要wgetrpm，因此请先安装wgetrpm。
# yum -y install wget
接下来在`/etc/yum下下载Repo文件。
repos.d`在两个群集节点上安装GlusterFS
[root@glusterfs-1 ~]# wget -P /etc/yum.repos.d https://download.gluster.org/pub/gluster/glusterfs/LATEST/CentOS/glusterfs-rhel8.repo
启用PowerTools存储库
我们还必须启用PowerToolsRepo，否则在安装glusterfs-server时会出现以下错误。
python3-pyxattr is needed by glusterfs-srver which is provded by powertools repo from centOS 8 so this also needs to be enabled
要启用powertools，我们可以使用/etc/yum.repos.d/CentOS-PowerTools.repo中的enabled = 1参数来手动启用存储库，也可以先安装yum-utils。
[root@glusterfs-1 ~]# yum -y install yum-utils
然后使用yum-config-manager，我们可以启用PowerTools存储库
[root@glusterfs-1 ~]# yum-config-manager --enable PowerTools
列出可用的存储库
[root@glusterfs-1 ~]# yum repolist CentOS-8 - AppStream 5.1 kB/s | 4.3 kB 00:00 CentOS-8 - Base 6.1 kB/s | 3.8 kB 00:00 CentOS-8 - Extras 256 B/s | 1.5 kB 00:06 CentOS-8 - PowerTools 815 kB/s | 2.0 MB 00:02 Extra Packages for Enterprise Linux 8 - x86_64 6.1 kB/s | 7.7 kB 00:01 GlusterFS clustered file-system 2.9 MB/s | 3.0 kB 00:00 repo id repo name status AppStream CentOS-8 - AppStream 5,001 BaseOS CentOS-8 - Base 1,784 PowerTools CentOS-8 - PowerTools 1,499 epel Extra Packages for Enterprise Linux 8 - x86_64 4,541 extras CentOS-8 - Extras 3 glusterfs-rhel8 GlusterFS clustered file-system 29
接下来安装glusterfs-server以安装GlusterFS
[root@glusterfs-1 ~]# yum install -y glusterfs-server
在Red Hat 8(RHEL 8)上安装GlusterFS
有多种在RHEL 8中安装GlusterFS的源和方法
使用ISO安装Red Hat Gluster Storage 3.4
使用Subscription Manager安装Red Hat Gluster Storage 3.4
提示：
使用此方法之前，必须为Red Hat Storage启用Red Hat订阅。
接下来使用redhat-storage-serverrpm安装Red Hat Gluster Storage
# yum install redhat-storage-server
启动集群服务
接下来，在两个群集节点上启动glusterd服务
[root@glusterfs-1 ~]# systemctl start glusterd
验证服务的状态，并确保它处于活动运行状态：
[root@glusterfs-1 ~]# systemctl status glusterd
● glusterd.service - GlusterFS, a clustered file-system server
Loaded: loaded (/usr/lib/systemd/system/glusterd.service; disabled; vendor preset: disabled)
Active: active (running) since Sun 2017-01-26 02:19:31 IST; 4s ago
Docs: man:glusterd(8)
Process: 2855 ExecStart=/usr/sbin/glusterd -p /var/run/glusterd.pid --log-level $LOG_LEVEL $GLUSTERD_OPTIONS (code=exited, status=0/SUCCESS)
Main PID: 2856 (glusterd)
Tasks: 9 (limit: 26213)
Memory: 3.9M
CGroup: /system.slice/glusterd.service
└─2856 /usr/sbin/glusterd -p /var/run/glusterd.pid --log-level INFO
Jan 26 02:19:31 glusterfs-1.example.com systemd[1]: Starting GlusterFS, a clustered file-system server...
Jan 26 02:19:31 glusterfs-1.example.com systemd[1]: Started GlusterFS, a clustered file-system server.
启用服务，以便该服务自动启动
[root@glusterfs-1 ~]# systemctl enable glusterd
创建分区
如果我们已经具有用于Gluster File System的添加逻辑卷，则可以忽略这些步骤。我们将在两个CentOS 8节点上创建一个新的逻辑卷，以创建一个GlusterFS分布式卷。现在，由于我已经解释了创建分区所需的步骤，因此在此不再赘述这些命令。
在Glusterfs-1节点上
[root@glusterfs-1 ~]# pvcreate /dev/sdb <-- To create physical volume [root@glusterfs-1 ~]# vgextend rhel /dev/sdb <-- Extend my existing volume group [root@glusterfs-1 ~]# lvcreate -L 2G -n brick1 rhel <-- Create logical volume named "brick1" with size 2GB using rhel VG [root@glusterfs-1 ~]# mkfs.xfs /dev/mapper/rhel-brick1 <-- Format the logical volume using XFS File System
为此新逻辑卷创建安装点
[root@glusterfs-1 ~]# mkdir -p /bricks/brick1
将逻辑卷挂载到该挂载点
[root@glusterfs-1 ~]# mount /dev/mapper/rhel-brick1 /bricks/brick1/
验证相同
[root@glusterfs-1 ~]# df -Th /bricks/brick1/ Filesystem Type Size Used Avail Use% Mounted on /dev/mapper/rhel-brick1 xfs 2.0G 47M 2.0G 3% /bricks/brick1
为新的逻辑卷生成UUID。我们将在/etc/fstab中使用该UUID。
# blkid /dev/mapper/rhel-brick1 /dev/mapper/rhel-brick1: UUID="ed50e6dc-89a4-46e1-8802-89ef8d866c0b" TYPE="xfs"
更新/etc/fstab以确保重新启动后已挂载此逻辑卷
UUID=ed50e6dc-89a4-46e1-8802-89ef8d866c0b /bricks/brick1 xfs defaults 0 0
在Glusterfs-2节点上
[root@glusterfs-2 ~]# pvcreate /dev/sdb <-- To create physical volume [root@glusterfs-2 ~]# vgextend rhel /dev/sdb <-- Extend my existing volume group [root@glusterfs-2 ~]# lvcreate -L 2G -n brick2 rhel <-- Create logical volume named "brick2" with size 2GB using rhel VG [root@glusterfs-2 ~]# mkfs.xfs /dev/mapper/rhel-brick2 <-- Format the logical volume using XFS File System
为此新逻辑卷创建安装点
[root@glusterfs-2 ~]# mkdir -p /bricks/brick2
将逻辑卷挂载到该挂载点
[root@glusterfs-2 ~]# mount /dev/mapper/rhel-brick2 /bricks/brick2
验证相同
[root@glusterfs-2 ~]# df -Th /bricks/brick2/ Filesystem Type Size Used Avail Use% Mounted on /dev/mapper/rhel-brick2 xfs 2.0G 47M 2.0G 3% /bricks/brick2
为新的逻辑卷生成UUID。我们将在/etc/fstab中使用该UUID。
# blkid /dev/mapper/rhel-brick1 /dev/mapper/rhel-brick1: UUID="b7e51212-40f9-4d93-b47d-676b7ca04b08" TYPE="xfs"
更新/etc/fstab以确保重新启动后已挂载此逻辑卷
UUID=b7e51212-40f9-4d93-b47d-676b7ca04b08 /bricks/brick2 xfs defaults 0 0
配置防火墙
启用glusterd服务的端口以在两个群集节点上使用GlusterFS分布式卷
# firewall-cmd --permanent --add-service=glusterfs # firewall-cmd --reload
将节点添加到可信存储池(TSP)
让我们选择一台主机(与哪一台主机无关)；我们将开始我们的集群。我们将在这台服务器上执行以下操作：
将对等方添加到我们的集群中
创建一个分布式卷
要将对等方添加到集群中，我们发出以下命令：
[root@glusterfs-1 ~]# gluster peer probe glusterfs-2.example.com peer probe: success.
我们可以检查各个群集节点上的已连接对等节点
[root@glusterfs-1 ~]# gluster peer status Number of Peers: 1 Hostname: glusterfs-2.example.com Uuid: 17dd8f27-c595-462b-b62c-71bbebce66ce State: Peer in Cluster (Connected)
[root@glusterfs-2 ~]# gluster peer status Number of Peers: 1 Hostname: glusterfs-1 Uuid: 869c0eb3-5c21-457b-a0f0-1431ffe84d70 State: Peer in Cluster (Connected)
列出Gluster群集中的主机
[root@glusterfs-1 ~]# gluster pool list UUID Hostname State 17dd8f27-c595-462b-b62c-71bbebce66ce glusterfs-2.example.com Connected 869c0eb3-5c21-457b-a0f0-1431ffe84d70 localhost Connected
每个对等方都有一个UUID，我们可以看到主机名和当前状态。仅此列表中的对等方可以探测新的对等方。
设置GlusterFS分布式卷
以下是用于创建glusterfs分布式卷的语法
# gluster volume create NEW-VOLNAME [transport [tcp | rdma | tcp,rdma]] NEW-BRICK...
例如其中我要在两个集群节点上创建一个新的glusterfs分布式卷distributed_volume，即glusterfs-1和glusterfs-2。
它将通过以下命令在新目录" dist_vol"下的三个块上分配文件：
[root@glusterfs-1 ~]# gluster volume create distributed_volume transport tcp glusterfs-1.example.com:/bricks/brick1/dist_vol glusterfs-2.example.com:/bricks/brick2/dist_vol volume create: distributed_volume: success: please start the volume to access data
接下来启动我们创建的卷
[root@glusterfs-1 ~]# gluster volume start distributed_volume volume start: distributed_volume: success
获取有关卷的更多信息
[root@glusterfs-1 ~]# gluster volume info distributed_volume Volume Name: distributed_volume Type: Distribute Volume ID: c5b6e303-83d6-48dc-885f-38f6d3ef9117 Status: Started Snapshot Count: 0 Number of Bricks: 2 Transport-type: tcp Bricks: Brick1: glusterfs-1.example.com:/bricks/brick1/dist_vol Brick2: glusterfs-2.example.com:/bricks/brick2/dist_vol Options Reconfigured: transport.address-family: inet storage.fips-mode-rchecksum: on nfs.disable: on
说明：
如果该卷未显示Started，则应检查/var/log/glusterfs/glusterd.log目录下的文件，以调试和诊断这种情况。可以在一台或者所有配置的服务器上查看这些日志。
检查glusterfs分布式卷的状态
[root@glusterfs-1 ~]# gluster volume status distributed_volume Status of volume: distributed_volume Gluster process TCP Port RDMA Port Online Pid ----------------------------------------------------------------------------- Brick glusterfs-1.example.com:/bricks/brick 1/dist_vol 49152 0 Y 2032 Brick glusterfs-2.example.com:/bricks/brick 2/dist_vol 49152 0 Y 11281 Task Status of Volume distributed_volume ----------------------------------------------------------------------------- There are no active volume tasks
测试GlusterFS分布式卷
在此步骤中，我们将使用其中一台服务器来装载该卷。通常，我们可以从称为client的外部计算机上执行此操作。由于使用此方法需要在客户端计算机上安装其他软件包，因此我们将使用其中一台服务器作为首先进行测试的简单位置，就好像它是该客户端一样。
在客户端的gluster-fuse上，必须手动安装rpm
# yum -y install glusterfs-fuse
由于我使用的是gluster群集节点之一，因此客户端软件包已安装在此处
[root@glusterfs-1 ~]# rpm -q glusterfs-fuse glusterfs-fuse-7.2-1.el8.x86_64
创建一个挂载点
[root@glusterfs-1 ~]# mkdir /my_distvol
如下所示安装GlusterFS分布式卷：
[root@glusterfs-1 ~]# mount -t glusterfs glusterfs-1:/distributed_volume /my_distvol
验证相同
[root@glusterfs-1 ~]# df -Th /my_distvol Filesystem Type Size Used Avail Use% Mounted on glusterfs-1:/distributed_volume fuse.glusterfs 4.0G 135M 3.9G 4% /my_distvol
接下来，我将在分布式卷上创建10个文件
[root@glusterfs-1 ~]# touch /my_distvol/file{1..10}
现在检查每个服务器上的GlusterFS块安装点：
[root@glusterfs-1 ~]# ls -l /bricks/brick1/dist_vol/ total 0 -rw-r--r-- 2 root root 0 Jan 26 19:40 file10 -rw-r--r-- 2 root root 0 Jan 26 19:40 file3 -rw-r--r-- 2 root root 0 Jan 26 19:40 file4 -rw-r--r-- 2 root root 0 Jan 26 19:40 file7 -rw-r--r-- 2 root root 0 Jan 26 19:40 file9 [root@glusterfs-2 ~]# ls -l /bricks/brick2/dist_vol/ total 0 -rw-r--r-- 2 root root 0 Jan 26 19:40 file1 -rw-r--r-- 2 root root 0 Jan 26 19:40 file2 -rw-r--r-- 2 root root 0 Jan 26 19:40 file5 -rw-r--r-- 2 root root 0 Jan 26 19:40 file6 -rw-r--r-- 2 root root 0 Jan 26 19:40 file8
如我们所见，这10个文件平均分配到两个gluster节点。
