[Linux]-构建MFS分布式文件系统

soyizi

分布式文件系统
　　分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。
　　分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。
　　简单一些来说就是把一些分散的共享文件夹（分布在局域网内部的各个计算机上），集合到一个文件夹内部（虚拟共享文件夹），对于用户来说，用户访问这个虚拟文件夹时，只要是打开这个虚拟文件夹，就可以看到所有链接到这个虚拟文件夹的数据，但是用户感觉不到这些共享文件夹都是分散在各个计算机上的。
　　分布式文件系统的优点就是集中访问，简化操作，数据容灾，提高文件的存储性能。

MFS原理
　　1、元组管理服务器（master server）


　　　　一台管理整个文件系统的独立主机，存储着每个文件的元数据（文件的大小、属性、位置信息，包括所有非常规文件的所有信息，例如目录、套接字、管道以及设备文件）

2、元数据存储服务器群（chunk servers）

　　　　任意数目的商用服务器，用来存储文件数据并在彼此之间同步（如果某个文件有超过一个备份的话）

3、元数据备份日志服务器（metalogger server）

　　　　任意数量的服务器，用来存储元数据变化日志并周期性下载主要元数据文件，以便用于管理服务器意外停止时好接替其位置。

4、访问mfs的客户端

　　　　任意数量的主机，可以通过mfsmount进程与管理服务器（接收和更改元数据）和数据服务器（改变实际文件数据）进行交流。

MFS读取数据的过程



1.客户端向元组管理服务器发出读（r）的请求

2.元数据服务器把所需数据存放的位置（chunk servers的IP地址和编号）告诉客户端

3.客户端向已知的chunk servers请求发送数据

4.chunk server向客户端发送数据


实验环境
　　master server　　　　192.168.1.1/24    CentOS6.5    mfs-1.6.27-5.tar.gz
　　metalogger server　　 192.168.1.2/24    CentOS6.5    mfs-1.6.27-5.tar.gz
　　chunk server　　　　  192.168.1.3/24    CentOS6.5    mfs-1.6.27-5.tar.gz
　　chunk server　　　　  192.168.1.4/24    CentOS6.5    mfs-1.6.27-5.tar.gz
　　chunk server　　　　  192.168.1.5/24    CentOS6.5    mfs-1.6.27-5.tar.gz
　　client　　　　　　　  192.168.1.6/24    CentOS6.5    mfs-1.6.27-5.tar.gz   fuse-2.9.2.tar.gz

案例步骤（大部分的步骤是一样的）
　　一、搭建Master server



[iyunv@bogon ~]# rpm -q zlib-devel     //需要插件依赖
zlib-devel-1.2.3-29.el6.x86_64
[iyunv@bogon ~]# useradd -M -s /sbin/nologin mfs   //创建应用用户不指定家目录，并不允许登录


[iyunv@bogon ~]# tar -zxvf mfs-1.6.27-5.tar.gz -C /usr/src/
[iyunv@bogon ~]# cd /usr/src/mfs-1.6.27/
[iyunv@bogon mfs-1.6.27]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs --with-default-group=mfs
--disable-mfschunkserver --disable-mfsmount   //指定路径，默认用户，默认组，禁用mfs存储，禁用挂载
[iyunv@bogon mfs-1.6.27]# make && make install


[iyunv@bogon mfs-1.6.27]# cd /usr/local/mfs/etc/mfs/
[iyunv@bogon mfs]# ls
mfsexports.cfg.dist  mfsmaster.cfg.dist  mfsmetalogger.cfg.dist  mfstopology.cfg.dist
[iyunv@bogon mfs]# cp mfsmaster.cfg.dist mfsmaster.cfg
[iyunv@bogon mfs]# cp mfsexports.cfg.dist mfsexports.cfg
[iyunv@bogon mfs]# cp mfstopology.cfg.dist mfstopology.cfg　　　　//*.dist是备份参考配置文件，*.cfg是才会识别的文件
[iyunv@bogon mfs]# cd /usr/local/mfs/var/mfs/
[iyunv@bogon mfs]# ls
metadata.mfs.empty
[iyunv@bogon mfs]# cp metadata.mfs.empty metadata.mfs


[iyunv@bogon mfs]# /usr/local/mfs/sbin/mfsmaster start       //启动mfsmaster
working directory: /usr/local/mfs/var/mfs
lockfile created and locked
initializing mfsmaster modules ...
loading sessions ... file not found
if it is not fresh installation then you have to restart all active mounts !!!
exports file has been loaded
mfstopology: incomplete definition in line: 7
mfstopology: incomplete definition in line: 7
mfstopology: incomplete definition in line: 22
mfstopology: incomplete definition in line: 22
mfstopology: incomplete definition in line: 28
mfstopology: incomplete definition in line: 28
topology file has been loaded
loading metadata ...
create new empty filesystemmetadata file has been loaded
no charts data file - initializing empty charts
master <-> metaloggers module: listen on *:9419
master <-> chunkservers module: listen on *:9420
main master server module: listen on *:9421
mfsmaster daemon initialized properly
[iyunv@bogon mfs]# netstat -anpt | grep mfs    //过滤出mfs的信息
tcp        0      0 0.0.0.0:9419                0.0.0.0:*                   LISTEN      80808/mfsmaster     
tcp        0      0 0.0.0.0:9420                0.0.0.0:*                   LISTEN      80808/mfsmaster     
tcp        0      0 0.0.0.0:9421                0.0.0.0:*                   LISTEN      80808/mfsmaster
　　二、Metalogger



[iyunv@bogon mfs-1.6.27]# useradd -M -s /sbin/nologin mfs    //创建用户
[iyunv@bogon ~]# tar -zxvf mfs-1.6.27-5.tar.gz -C /usr/src/
[iyunv@bogon ~]# cd /usr/src/mfs-1.6.27/
[iyunv@bogon mfs-1.6.27]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs
--with-default-group=mfs --disable-mfschunkserver --disable-mfsmount
[iyunv@bogon mfs-1.6.27]# make && make install
[iyunv@bogon ~]# cd /usr/local/mfs/etc/mfs/
[iyunv@bogon ~]# cp mfsmetalogger.cfg.dist mfsmetalogger.cfg
[iyunv@bogon ~]# vim /usr/local/mfs/etc/mfs/mfsmetalogger.cfg
修改：
MASTER_HOST = 192.168.1.1    //这里的IP指向mfsmaster
端口号注释去掉

[iyunv@bogon ~]# /usr/local/mfs/sbin/mfsmetalogger restart  //启动
[iyunv@bogon ~]# netstat -anpt | grep mfs
tcp        0      0 192.168.1.2:36637           192.168.1.1:9419            ESTABLISHED 77862/mfsmetalogger
　　三、三台chunk server一样



[iyunv@bogon ~]# useradd -M -s /sbin/nologin mfs
[iyunv@bogon ~]# tar -zxvf mfs-1.6.27-5.tar.gz -C /usr/src/
[iyunv@bogon ~]# cd /usr/src/mfs-1.6.27/
[iyunv@bogon mfs-1.6.27]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs
--with-default-group=mfs --disable-mfsmaster --disable-mfsmount
[iyunv@bogon mfs-1.6.27]# make && make install


[iyunv@bogon ~]# cd /usr/local/mfs/etc/mfs/
[iyunv@bogon mfs]# cp mfschunkserver.cfg.dist mfschunkserver.cfg
[iyunv@bogon mfs]# cp mfshdd.cfg.dist mfshdd.cfg


[iyunv@bogon ~]# vim /usr/local/mfs/etc/mfs/mfschunkserver.cfg
添加：
MASTER_HOST = 192.168.1.1

[iyunv@bogon ~]# mkdir /data
[iyunv@bogon ~]# vim /usr/local/mfs/etc/mfs/mfshdd.cfg 添加： /data
[iyunv@bogon ~]# mkdir /data  
[iyunv@bogon ~]# /usr/local/mfs/sbin/mfschunkserver restart    //启动服务
[iyunv@bogon ~]# netstat -anpt | grep mfs
[iyunv@bogon mfs]# netstat -anpt | grep mfs
tcp        0      0 0.0.0.0:9422                0.0.0.0:*                   LISTEN      15593/mfschunkserve
tcp        0      0 192.168.1.4:49182           192.168.1.1:9420            ESTABLISHED 15593/mfschunkserve
　　四、client
　　安装fuse



[iyunv@bogon ~]# tar -zxvf fuse-2.9.2.tar.gz -C /usr/src/
[iyunv@bogon ~]# cd /usr/src/fuse-2.9.2/
[iyunv@bogon fuse-2.9.2]# ls
aclocal.m4  config.guess  configure.in  doc          fuse.pc.in  lib          Makefile.in  README.NFS
AUTHORS     config.rpath  COPYING       example      include     ltmain.sh    missing      util
ChangeLog   config.sub    COPYING.LIB   FAQ          INSTALL     m4           NEWS
compile     configure     depcomp       Filesystems  install-sh  Makefile.am  README
[iyunv@bogon fuse-2.9.2]# ./configure && make && make install


[iyunv@bogon fuse-2.9.2]# vim /etc/profile　　　　　　//更改环境变量
添加：
export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH   
[iyunv@bogon fuse-2.9.2]# source /etc/profile   //重启生效
　　安装mfs



[iyunv@bogon ~]# useradd -M -s /sbin/nologin mfs
[iyunv@bogon ~]# tar -zxvf mfs-1.6.27-5.tar.gz -C /usr/src/
[iyunv@bogon ~]# cd /usr/src/mfs-1.6.27/
[iyunv@bogon mfs-1.6.27]# ./configure --prefix=/usr/local/mfs --with-default-user=mfs
--with-default-group=mfs --disable-mfsmaster --disable-mfschunkserver --enable-mfsmount
[iyunv@bogon mfs-1.6.27]# make && make install



[iyunv@bogon mfs-1.6.27]# modprobe fuse　　　　　　//模块导入到内核
[iyunv@bogon mfs-1.6.27]# mkdir /list　　　　　　　　//创建挂载点
[iyunv@bogon mfs-1.6.27]# /usr/local/mfs/bin/mfsmount /list -H 192.168.1.1   //指定主服务器挂载MFS


[iyunv@bogon mfs-1.6.27]# mount




/dev/sda3 on / type ext4 (rw)
proc on /proc type proc (rw)
sysfs on /sys type sysfs (rw)
devpts on /dev/pts type devpts (rw,gid=5,mode=620)
tmpfs on /dev/shm type tmpfs (rw,rootcontext="system_u:object_r:tmpfs_t:s0")
/dev/sda1 on /boot type ext4 (rw)
none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)
vmware-vmblock on /var/run/vmblock-fuse type fuse.vmware-vmblock (rw,nosuid,nodev,default_permissions,allow_other)
none on /sys/kernel/config type configfs (rw)
/dev/sr0 on /media/CentOS_6.5_Final type iso9660 (ro,nosuid,nodev,uhelper=udisks,uid=0,gid=0,iocharset=utf8,mode=0400,dmode=0500)
gvfs-fuse-daemon on /root/.gvfs type fuse.gvfs-fuse-daemon (rw,nosuid,nodev)
/dev/sr0 on /mnt type iso9660 (ro)
192.168.1.1:9421 on /info type fuse.mfs (rw,nosuid,nodev,allow_other,default_permissions)
返回信息



[iyunv@bogon mfs-1.6.27]# df -hT　　　　　　//查看磁盘空间状态
Filesystem       Type      Size  Used Avail Use% Mounted on
/dev/sda3        ext4       57G   17G   37G  32% /
tmpfs            tmpfs     491M  224K  491M   1% /dev/shm
/dev/sda1        ext4     1008M   62M  896M   7% /boot
/dev/sr0         iso9660   4.2G  4.2G     0 100% /media/CentOS_6.5_Final
/dev/sr0         iso9660   4.2G  4.2G     0 100% /mnt
192.168.1.1:9421 fuse.mfs   83G     0   83G   0% /info


[iyunv@bogon ~]# vim /etc/profile
添加：
export PATH=/usr/locla/mfs/bin:$PATH
[iyunv@bogon ~]# source /etc/profile
[iyunv@bogon mfs-1.6.27]# ln -s /usr/local/mfs/bin/* /usr/local/bin
　　五、客户机里面验证



[iyunv@bogon mfs-1.6.27]# mfsgetgoal -r /list
/info:
directories with goal  1 :          1
　　mfsgetgoal命令用来查询文件被复制的份数，用-r可以对整个目录进行递归，goal是文件被复制的份数



[iyunv@bogon ~]# mfsgetgoal -r /info
[iyunv@bogon ~]# mfssetgoal -r 3 /info
注意：生产环境Chunk Server节点数应至少大于2，文件的副本数应小于小于等于Chunk Server服务器数
[iyunv@bogon ~]# touch /data/mfs/info_1
[iyunv@bogon ~]# mfsgetgoal /data/mfs/info_1

　　可以看懂chunk server的data文件夹下都是一些大小为4.0K的数据存储单元，最大是64M，三个服务都是

　　在客户端的/list下我存放大文件，chunk server就在使用空间

　　我贴出来了一个完整的给大家看看





[iyunv@bogon ~]# du -sh /data/*
4.0K    /data/00
4.3M    /data/01
380K    /data/02
4.0K    /data/03
296K    /data/04
72K    /data/05
4.0K    /data/06
2.1M    /data/07
24K    /data/08
4.0K    /data/09
108K    /data/0A
1.1M    /data/0B
4.0K    /data/0C
216K    /data/0D
84K    /data/0E
4.0K    /data/0F
68K    /data/10
76K    /data/11
4.0K    /data/12
52K    /data/13
1.3M    /data/14
4.0K    /data/15
28K    /data/16
84K    /data/17
4.0K    /data/18
800K    /data/19
104K    /data/1A
4.0K    /data/1B
40K    /data/1C
64K    /data/1D
4.0K    /data/1E
80K    /data/1F
16K    /data/20
4.0K    /data/21
11M    /data/22
28K    /data/23
4.0K    /data/24
652K    /data/25
76K    /data/26
4.0K    /data/27
148K    /data/28
92K    /data/29
4.0K    /data/2A
452K    /data/2B
100K    /data/2C
4.0K    /data/2D
40K    /data/2E
48K    /data/2F
4.0K    /data/30
11M    /data/31
164K    /data/32
4.0K    /data/33
72K    /data/34
220K    /data/35
4.0K    /data/36
24K    /data/37
28K    /data/38
4.0K    /data/39
396K    /data/3A
2.7M    /data/3B
4.0K    /data/3C
36K    /data/3D
72K    /data/3E
4.0K    /data/3F
232K    /data/40
64K    /data/41
4.0K    /data/42
72K    /data/43
48K    /data/44
4.0K    /data/45
20K    /data/46
132K    /data/47
4.0K    /data/48
104K    /data/49
280K    /data/4A
4.0K    /data/4B
36K    /data/4C
52K    /data/4D
4.0K    /data/4E
28K    /data/4F
20K    /data/50
4.0K    /data/51
44K    /data/52
32K    /data/53
4.0K    /data/54
904K    /data/55
228K    /data/56
4.0K    /data/57
104K    /data/58
168K    /data/59
4.0K    /data/5A
736K    /data/5B
2.3M    /data/5C
4.0K    /data/5D
32K    /data/5E
40K    /data/5F
4.0K    /data/60
1.4M    /data/61
60K    /data/62
4.0K    /data/63
448K    /data/64
128K    /data/65
4.0K    /data/66
432K    /data/67
764K    /data/68
4.0K    /data/69
184K    /data/6A
32K    /data/6B
4.0K    /data/6C
100K    /data/6D
1.3M    /data/6E
4.0K    /data/6F
508K    /data/70
372K    /data/71
4.0K    /data/72
124K    /data/73
11M    /data/74
4.0K    /data/75
2.5M    /data/76
2.1M    /data/77
4.0K    /data/78
20K    /data/79
128K    /data/7A
4.0K    /data/7B
80K    /data/7C
132K    /data/7D
4.0K    /data/7E
196K    /data/7F
32K    /data/80
4.0K    /data/81
160K    /data/82
1.3M    /data/83
4.0K    /data/84
36K    /data/85
24K    /data/86
4.0K    /data/87
236K    /data/88
440K    /data/89
4.0K    /data/8A
112K    /data/8B
72K    /data/8C
4.0K    /data/8D
52K    /data/8E
60K    /data/8F
4.0K    /data/90
5.1M    /data/91
1.4M    /data/92
4.0K    /data/93
88K    /data/94
52K    /data/95
4.0K    /data/96
84K    /data/97
508K    /data/98
4.0K    /data/99
3.3M    /data/9A
36K    /data/9B
4.0K    /data/9C
52K    /data/9D
176K    /data/9E
4.0K    /data/9F
344K    /data/A0
56K    /data/A1
4.0K    /data/A2
36K    /data/A3
40K    /data/A4
4.0K    /data/A5
2.3M    /data/A6
188K    /data/A7
4.0K    /data/A8
16K    /data/A9
16K    /data/AA
4.0K    /data/AB
880K    /data/AC
1.7M    /data/AD
4.0K    /data/AE
132K    /data/AF
136K    /data/B0
4.0K    /data/B1
832K    /data/B2
80K    /data/B3
4.0K    /data/B4
64K    /data/B5
1.2M    /data/B6
4.0K    /data/B7
68K    /data/B8
120K    /data/B9
4.0K    /data/BA
76K    /data/BB
1016K    /data/BC
4.0K    /data/BD
40K    /data/BE
32K    /data/BF
4.0K    /data/C0
120K    /data/C1
856K    /data/C2
4.0K    /data/C3
48K    /data/C4
1.1M    /data/C5
4.0K    /data/C6
136K    /data/C7
96K    /data/C8
4.0K    /data/C9
24K    /data/CA
11M    /data/CB
4.0K    /data/CC
92K    /data/CD
24K    /data/CE
4.0K    /data/CF
404K    /data/D0
184K    /data/D1
4.0K    /data/D2
1.1M    /data/D3
72K    /data/D4
4.0K    /data/D5
972K    /data/D6
672K    /data/D7
4.0K    /data/D8
196K    /data/D9
1.2M    /data/DA
4.0K    /data/DB
28K    /data/DC
5.4M    /data/DD
4.0K    /data/DE
128K    /data/DF
824K    /data/E0
4.0K    /data/E1
24K    /data/E2
936K    /data/E3
4.0K    /data/E4
1.2M    /data/E5
208K    /data/E6
4.0K    /data/E7
148K    /data/E8
52K    /data/E9
4.0K    /data/EA
128K    /data/EB
1.8M    /data/EC
4.0K    /data/ED
4.1M    /data/EE
108K    /data/EF
4.0K    /data/F0
52K    /data/F1
2.0M    /data/F2
4.0K    /data/F3
216K    /data/F4
836K    /data/F5
4.0K    /data/F6
104K    /data/F7
56K    /data/F8
4.0K    /data/F9
12M    /data/FA
192K    /data/FB
4.0K    /data/FC
8.3M    /data/FD
168K    /data/FE
4.0K    /data/FF
View Code　　这样就达到了分布式存储数据文件的效果

MFS监控
　　1）Master中：
[iyunv@bogon ~]# /usr/local/mfs/sbin/mfscgiserv restart  //启动监控的服务
2）Client中：
[iyunv@bogon ~]# firefox http://192.168.1.1:9425 &  //访问，在9425端口
　　查看服务器的一些状态存储信息

　　MFS的维护和灾难恢复
1）MFS集群的启动顺序
2）MFS集群的停止顺序
3）MFS灾难恢复