DRBD+corosync+pacemaker实现MFS高可用
随着分布式、大数据的不断发展，很多时候大家会感觉大数据离自己很远，其实大数据就是我们身边。那我们心目中的大数据到底是什么样的呢，分布式、容错、大容量？ 在我们运维中，最常见的文件存储系统大概就是NFS了，但是随着网站压力不断增加，NFS渐渐不能满足企业数据增长需求，有木有自动扩展、高效、部署、实施方便快捷的分布式存储供我们使用呢？那我们来看一下MFS基本可以满足我们的需求。MogileFS是一种分布式文件存储系统。可支持文件自动备份的功能，提高可用性和高扩展性。MogileFS不支持对一个文件内部的随机或顺序读写，因此只适合做一部分应用，如图片服务，静态HTML服务、文件服务器等，这些应用在文件写入后基本上不需要对文件进行修改，但是可以生成一个新的文件覆盖原有文件。
分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连，分布式文件系统的实际基于客户机/服务器模式。
目前常见的分布式文件系统有很多种，例如我之前一篇文章里面提到的Hadoop、FastDFS、Moosefs、PNFS(Parallel NFS）、Lustre、TFS、GFS、HDFS等等一系列。在众多的分布式文件系统解决方案中，MFS是搭建比较简单、使用起来也不需要过多的修改web程序，非常方便。那今天我们使用SHELL脚本来部署MFS。
Moosefs的优势
1) 通用文件系统，不需要修改上层应用就可以使用
2) 可以在线扩容，体系架构可伸缩性极强
3) 部署简单
4) 体系架构高可用，单独一台机器出问题不会影响整体性能
5) 文件对象高可用，可设置任意的文件冗余程度
6) 提供Windows回收站的功能
7) 提供netapp，emc，ibm等商业存储的snapshot特性
8) google filesystem的一个c实现
9) 提供web gui监控接口
10) 提高随机读或写的效率
11) 提高海量小文件的读写效率
MFS系统组成部分
1、元数据服务器：在整个体系中负责管理管理文件系统，目前MFS只支持一个元数据服务器master，这是一个单点故障，需要一个性能稳定的服务器来充当。希望今后MFS能支持多个master服务器，进一步提高系统的可靠性。
2、数据存储服务器：chunkserver，真正存储用户数据的服务器，存储文件时，首先把文件分成块，然后这些块在数据服务器chunkserver之间复制，数据服务器可以是多个，并且数量越多，可使用的"磁盘空间"越小，可靠性也越高。
3、客户端：使用MFS文件系统来存储和访问的主机称为MFS的客户端，成功挂接MFS文件系统以后，就可以像以前使用NFS一样共享这个虚拟性的存储了。
4．元数据日志服务器：负责备份master 服务器的变化日志文件，文件类型为changelog_ml.*.mfs ，以便于在master server 出问题的时候接替其进行工作。
一、实验环境
系统版本： centos7
软件源：阿里云
mfsmaster（node1） IP：192.168.163.180
mfsbackup（node2） IP：192.168.163.182
mfschunkserver_1（node3） IP：192.168.163.183
mfschunkserver_2（node4） IP：192.168.163.184
mfsclient（node5） IP：192.168.163.165
VIP：192.168.163.111
实验拓扑如下
二、实验过程
我们为了达到MFS服务的高可用，必须将mfsmaster编译安装在drbd资源上，所以，得先创建一个DRBD，创建DRBD的操作在之前提及过，就不再详细说明，下面是我的另一搭建DRBD的博文的链接：
DRBD搭建
接下来，就是MFS文件系统的搭建过程，由于MFS的包只有一个，各种服务的不同只需在编译安装的时候来定义，这就十分方便了。
先来安装mfsmaster
上传mfs软件包并解压
# cd /usr/local/src/
# tar xf v3.0.96.tar.gz
在安装之前先创建一个 uid 和 gid 一致的用户 mfs，我的都是1002
# id mfs
uid=1002(mfs) gid=1002(mfs) groups=1002(mfs)
挂载drbd，并在其上进行编译安装
# mkdir /usr/local/mfs
# chown mfs:mfs /usr/local/mfs
# mount /dev/drbd1 /usr/local/mfs
# cd /usr/local/src/moosefs-3.0.96/
# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfschunkserver --disable-mfsmount
配置master
# cd /usr/local/mfs/etc/mfs
都是sample文件，我们要命名成.cfg文件：
# cp mfsexports.cfg.sample mfsexports.cfg
# cp mfsmaster.cfg.samplemfsmaster.cfg
修改控制文件
vim mfsexports.cfg
* / rw,alldirs,maproot=0
* . rw
开启元数据文件默认是empty文件，需要我们手工打开
# cp /usr/local/mfs/var/mfs/metadata.mfs.empty /usr/local/mfs/var/mfs/metadata.mfs
启动master,由于需要结合corosync，我们需要做一个mfsmaster 的 systemd 启动脚本# cat /etc/systemd/system/mfsmaster.service
1
2
3
4
5
6
7
8
9
10
11
12
Description=mfs
After=network.target
Type=forking
ExecStart=/usr/local/mfs/sbin/mfsmaster start
ExecStop=/usr/local/mfs/sbin/mfsmaster stop
PrivateTmp=true
WantedBy=multi-user.target
=============================================================
安装mfsbackup，只需要创建文件夹以及启动脚本，uid与gid一致的用户mfs
# id mfs
uid=1002(mfs) gid=1002(mfs) groups=1002(mfs)
# mkdir /usr/local/mfs/
# chown mfs:mfs /usr/local/mfs
# cat /etc/systemd/system/mfsmaster.service
1
2
3
4
5
6
7
8
9
10
11
12
Description=mfs
After=network.target
Type=forking
ExecStart=/usr/local/mfs/sbin/mfsmaster start
ExecStop=/usr/local/mfs/sbin/mfsmaster stop
PrivateTmp=true
WantedBy=multi-user.target
=============================================================
安装check servers
# useradd mfs
# yum install zlib-devel -y
# cd /usr/local/src/
# tar zxvf v3.0.96.tar.gz
# ./configure --prefix=/usr/local/mfs--with-default-user=mfs --with-default-group=mfs--disable-mfsmaster --disable-mfsmount
# make && make install
配置checkserver
# cd /usr/local/mfs/etc/mfs/
# mv mfschunkserver.cfg.sample mfschunkserver.cfg
# vim mfschunkserver.cfg
MASTER_HOST = 192.168.163.111 #这里指定的是VIP
配置共享出去的目录
# cp /usr/local/mfs/etc/mfs/mfshdd.cfg.sample /usr/local/mfs/etc/mfs/mfshdd.cfg
# vim /usr/local/mfs/etc/mfs/mfshdd.cfg
/mfsdata #在其中添加你要共享的目录
另一台check server也进行同样的配置
===========================================================
在客户端安装FUSE:
# lsmod|grep fuse
# yum install fuse fuse-devel
# modprobe fuse
# lsmod | grep fuse
fuse 877415
安装挂载客户端
# yum install zlib-devel -y
# useradd mfs
# tar -zxvf v3.0.96.tar.gz
# cd moosefs-3.0.96/
# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs --disable-mfsmaster --disable-mfschunkserver --enable-mfsmount
# make && make install
在客户端上挂载文件系统，先创建挂载目录
# mkdir /mfsdata
# chown -R mfs:mfs /mfsdata/
============================================================
接下来使用crm来管理，具体安装过程看我之前的博文
pacemaker+corosync（基于crm）
贴出我的configure配置
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
node 1: node1 \
attributes standby=off
node 2: node2 \
attributes standby=off
primitive mfs systemd:mfsmaster \
op monitor timeout=100 interval=30 \
op start timeout=100 interval=0 \
op stop timeout=100 interval=0 \
meta target-role=Started
primitive mfs_drbd ocf:linbit:drbd \
params drbd_resource=mfs \
op monitor role=Master interval=10 timeout=20 \
op monitor role=Slave interval=20 timeout=20 \
op start timeout=240 interval=0 \
op stop timeout=100 interval=0
primitive mystore Filesystem \
params device="/dev/drbd1" directory="/usr/local/mfs" fstype=ext4 \
op start timeout=60 interval=0 \
op stop timeout=60 interval=0 \
meta target-role=Started
primitive vip IPaddr \
params ip=192.168.163.111 \
meta target-role=Started
ms ms_mfs_drbd mfs_drbd \
meta master-max=1 master-node-max=1 clone-max=2 clone-node-max=1 notify=true target-role=Started
colocation mfs_with_mystore inf: mfs mystore
order ms_mfs_drbd_after_mystore Mandatory: ms_mfs_drbd:promote mystore:start
colocation ms_mfs_drbd_with_mystore inf: mystore ms_mfs_drbd
order mystore_after_mfs Mandatory: mystore mfs
colocation vip_with_mfs inf: vip mfs
property cib-bootstrap-options: \
stonith-enabled=false \
have-watchdog=false \
dc-version=1.1.16-12.el7_4.4-94ff4df \
cluster-infrastructure=corosync \
cluster-name=mycluster
启动整个集群，查看状态
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
crm(live)# status
Stack: corosync
Current DC: node2 (version 1.1.16-12.el7_4.4-94ff4df) - partition with quorum
Last updated: Fri Oct 27 06:26:24 2017
Last change: Fri Oct 27 06:24:20 2017 by root via crm_attribute on node2
2 nodes configured
5 resources configured
Online: [ node1 node2 ]
Full list of resources:
Master/Slave Set: ms_mfs_drbd
Masters: [ node1 ]
Slaves: [ node2 ]
mystore (ocf::heartbeat:Filesystem): Started node1
mfs (systemd:mfsmaster): Started node1
vip (ocf::heartbeat:IPaddr): Started node1
=========================================================
三、验证实验
先来看看drbd有没有自动挂载
# df -h
Filesystem SizeUsed Avail Use% Mounted on
/dev/mapper/cl-root 17G1.7G 16G10% /
devtmpfs 902M 0902M 0% /dev
tmpfs 912M 39M874M 5% /dev/shm
tmpfs 912M 32M881M 4% /run
tmpfs 912M 0912M 0% /sys/fs/cgroup
/dev/sda1 1014M185M830M19% /boot
tmpfs 183M 0183M 0% /run/user/0
/dev/drbd1 4.8G 28M4.6G 1% /usr/local/mfs
查看VIP
# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: ens32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:3a:22:fb brd ff:ff:ff:ff:ff:ff
inet 192.168.163.180/24 brd 192.168.163.255 scope global dynamic ens32
valid_lft 1461sec preferred_lft 1461sec
inet 192.168.163.111/24 brd 192.168.163.255 scope global secondary ens32
valid_lft forever preferred_lft forever
inet6 fe80::20c:29ff:fe3a:22fb/64 scope link
valid_lft forever preferred_lft forever
查看mfsmaster服务状态
# systemctl status mfsmaster
● mfsmaster.service - Cluster Controlled mfsmaster
Loaded: loaded (/etc/systemd/system/mfsmaster.service; enabled; vendor preset: disabled)
Drop-In: /run/systemd/system/mfsmaster.service.d
└─50-pacemaker.conf
Active: active (running) since Fri 2017-10-27 06:23:02 EDT; 6min ago
Process: 83567 ExecStart=/usr/local/mfs/sbin/mfsmaster start (code=exited, status=0/SUCCESS)
Main PID: 83569 (mfsmaster)
CGroup: /system.slice/mfsmaster.service
└─83569 /usr/local/mfs/sbin/mfsmaster start
在客户端进行挂载
# mkdir /mfs_test
# /usr/local/mfs/bin/mfsmount -H 192.168.163.111 /mfs_test
mfsmaster accepted connection with parameters: read-write,restricted_ip ; root mapped to root:root
查看挂载情况
# df -h
Filesystem SizeUsed Avail Use% Mounted on
/dev/mapper/cl-root 17G1.5G 16G 9% /
devtmpfs 901M 0901M 0% /dev
tmpfs 912M 0912M 0% /dev/shm
tmpfs 912M 20M892M 3% /run
tmpfs 912M 0912M 0% /sys/fs/cgroup
/dev/sda1 1014M139M876M14% /boot
tmpfs 183M 0183M 0% /run/user/0
192.168.163.111:9421 34G3.4G 31G10% /mfs_test
尝试写入数据
# cd /mfs_test/
# echo "node1" > xhk1
# cat xhk1
node1
============================================================
接下来，模拟mfsmaster 故障，看看服务能否转移并正常运行
# crm
crm(live)# node standby
crm(live)# status
Stack: corosync
Current DC: node2 (version 1.1.16-12.el7_4.4-94ff4df) - partition with quorum
Last updated: Fri Oct 27 06:36:30 2017
Last change: Fri Oct 27 06:36:29 2017 by root via crm_attribute on node1
2 nodes configured
5 resources configured
Node node1: standby
Online: [ node2 ]
Full list of resources:
Master/Slave Set: ms_mfs_drbd
Masters: [ node1 ]
Slaves: [ node2 ]
mystore(ocf::heartbeat:Filesystem):Started node1
mfs(systemd:mfsmaster):Started node1
vip(ocf::heartbeat:IPaddr):Stopped
再次查看
crm(live)# status
Stack: corosync
Current DC: node2 (version 1.1.16-12.el7_4.4-94ff4df) - partition with quorum
Last updated: Fri Oct 27 06:36:37 2017
Last change: Fri Oct 27 06:36:29 2017 by root via crm_attribute on node1
2 nodes configured
5 resources configured
Node node1: standby
Online: [ node2 ]
Full list of resources:
Master/Slave Set: ms_mfs_drbd
Masters: [ node2 ]
Stopped: [ node1 ]
mystore(ocf::heartbeat:Filesystem):Started node2
mfs(systemd:mfsmaster):Started node2
vip(ocf::heartbeat:IPaddr):Started node2
可以看到，服务自动转移到node2上
接下来，在客户机查看挂载能不能用
# df -hFilesystem SizeUsed Avail Use% Mounted on/dev/mapper/cl-root 17G1.5G 16G 9% /devtmpfs 901M 0901M 0% /devtmpfs 912M 0912M 0% /dev/shmtmpfs 912M 20M892M 3% /runtmpfs 912M 0912M 0% /sys/fs/cgroup/dev/sda1 1014M139M876M14% /boottmpfs 183M 0183M 0% /run/user/0192.168.163.111:9421 34G3.4G 31G10% /mfs_test# ls
xhk1
# cat xhk1
node1
# echo "node2" > xhk2
# cat xhk2
node2
正常使用，实验成功！！！！！！！！！！！
当那台故障机子已经修不了的情况下，我们则不得不加入一台新的机子，而新的机子的配置和环境并不和之前的完全一样，无法加入这个高可用集群。这时候，我们就需要对这些集群的配置和环境进行备份。这样，即使是坏掉的机子回不来，我们也可以导入配置文件，来使新的自己能够加入这个高可用集群。
==========================================================
排错过程
出现drbd Unknown
解决：重新初始化元数据
# drbdadm create-md mfs
无法使用system来启动 mfsmaster 服务
解决：先使用编译时的启动脚本
# /usr/local/mfs/sbin/mfs/mfsmaster -a
# /usr/local/mfs/sbin/mfs/mfsmaster stop
# system start mfsmaster
页:
[1]