Heartbeat + DRBD + NFS 高可用文件共享

2168575

　　Heartbeat为我们提供了廉价的、可伸缩的高可用集群方案。我们通过heartbeat+drbd+nfs在Linux下创建一个高可用(HA)的集群 服务器。
一．DRBD是一种块设备，可以被用于高可用(HA)之中。它类似于一个网络RAID-1功能。当你将数据写入本地文件系统时，数据还将会被发送到网络中另一台主机上。以相同的形式记录在一个文件系统中。本地(主节点)与远程主机(备节点)的数据可以保证实时同步。当本地系统出现故障时，远程主机上还会保留有一份相同的数据，可以继续使用。
二．案例拓扑：
　　

一．Heratbeat 配置


1.修改hosts文件

[root@node1 ~]# vim /etc/hosts
127.0.0.1               localhost.localdomain localhost
::1             localhost6.localdomain6 localhost6
192.168.10.1 node1.a.com
192.168.10.2 node2.a.com
2.修改network文件
[root@node1 ~]# hostname node1.a.com
[root@node1 ~]# vim /etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=localhost.localdomain
NISDOMAIN=node1.a.com
3.配置yum源
[root@node1 ~]# hwclock -s      //同步时间
[root@node1 ~]# mkdir /mnt/cdrom
[root@node1 ~]# mount /dev/cdrom /mnt/cdrom
[root@node1 ~]# vim /etc/yum.repos.d/rhel-debuginfo.repo
[rhel-server]
name=Red Hat Enterprise Linux server
baseurl=file:///mnt/cdrom/Server
enabled=1
gpgcheck=0
gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-redhat-release
[rhel-cluster]
name=Red Hat Enterprise Linux cluster
baseurl=file:///mnt/cdrom/Cluster
enabled=1
gpgcheck=0
gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-redhat-release
node1与node2 的配置同样。
[root@node1 ~]# scp /etc/yum.repos.d/rhel-debuginfo.repo node2.a.com:/etc/yum.repos.d/
Heartbeat
4.安装heartbeat所需的包。
[root@node1 ~]# yum localinstall  heartbeat-2.1.4-9.el5.i386.rpm heartbeat-lnoded-2.1.4-9.el5.i386.rpm heartbeat-pils-2.1.4-10.el5.i386.rpm heartbeat-stonith-2.1.4-10.el5.i386.rpm  libnet-1.1.4-3.el5.i386.rpm  perl-MailTools-1.77-1.el5.noarch.rpm --nogpgcheck -y
[root@node1 ~]# cd /usr/share/doc/heartbeat-2.1.4/
[root@node1 heartbeat-2.1.4]# cp authkeys haresources ha.cf /etc/ha.d/
[root@node1 heartbeat-2.1.4]# vim ha.cf
94 bcast   eth1        //产生广播监听eth1
213 node  node1.a.com  //定义节点
214 node  node2.a.com
5.验证使用md5 认证密文
[root@node1 ~]# echo "123" |openssl md5
ba1f2511fc30423bdbb183fe33f3dd0f
[root@node1 heartbeat-2.1.4]# vim authkeys
auth 3
3 md5  ba1f2511fc30423bdbb183fe33f3dd0f
[root@node1 ha.d]# chmod 600  authkeys //修改权限
6.修改资源文件/etc/ha.d/haresources，定义HA群集的资源
[root@node1 ~]# cp /usr/share/doc/heartbeat-lnoded-2.1.4/lnoded.cf   /etc/ha.d/
[root@node1 ha.d]# vim haresources
node1.a.com IPaddr::192.168.10.254/24/eth0 drbddisk::web Filesystem::/dev/drbd0::/public::ext3 killnfsd
[root@node1 ~]# vim /etc/exports
/public  192.168.10.0/24(rw,sync)
二．DRBD的配置
1 简介：
Distributed Replicated Block Device(DRBD)是一个用软件实现的、无共享的、服务器之间镜像块设备内容的存储复制解决方案。Node1，node2上DRBD 配置
1.添加一块磁盘分区
[root@node1 ~]# fdisk /dev/sdb
Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-1044, default 1):
Using default value 1
Last cylinder or +size or +sizeM or +sizeK (1-1044, default 1044): +1G  
Command (m for help): P
Disk /dev/sdb: 8589 MB, 8589934592 bytes
255 heads, 63 sectors/track, 1044 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1         123      987966   83  Linux
Command (m for help): W
The partition table has been altered!
2.修改hosts
[root@node1 ~]# vim /etc/hosts
192.168.10.1 node1.a.com
192.168.10.2 node2.a.com
[root@node1 ~]# scp /etc/hosts 192.168.20.2:/etc/
[root@node1 ~]# rpm -ivh drbd83-8.3.8-1.el5.centos.i386.rpm   //需要网上下载。
[root@node1 ~]# rpm -ivh kmod-drbd83-8.3.8-1.el5.centos.i686.rpm
3.编辑配置文件
[root@node1 ~]# vim /etc/drbd.conf   //在里面输入如下
:r /usr/share/doc/drbd83-8.3.8/drbd.conf
[root@node1 ~]# cd /etc/drbd.d/
[root@node1 drbd.d]# vim global_common.conf    // 1,$d 干掉所有添如下内容
global {
        usage-count yes;
        # minor-count dialog-refresh disable-ip-verification
}
common {
        protocol C;



        startup {


                wfc-timeout  120;

                degr-wfc-timeout 120;
         }
        disk {
                  on-io-error detach;
                  fencing resource-only;

          }


        net {

                cram-hmac-alg "sha1";
                shared-secret  "mydrbdlab";
         }
        syncer {
                  rate  100M;
         }
}

[root@node1 drbd.d]# vim web.res
resource  web {
        on node1.a.com {
        device   /dev/drbd0;
        disk    /dev/sdb1;
        address  192.168.10.1:7789;
        meta-disk       internal;
        }
        on node2.a.com {
        device   /dev/drbd0;
        disk    /dev/sdb1;
        address  192.168.10.2:7789;
        meta-disk       internal;
        }
}

　　
[root@node1 drbd.d]# scp * node2.a.com:/etc/drbd.d   //拷贝到配置到节点2上。5.开始初始化双方借点上都要执行
[root@node1 drbd.d]# drbdadm  create-md  web
6.在双方的节点上启动服务   [root@node1 drbd.d]#service drbd start
7. 查看状态   [root@node1~]# cat  /proc/drbd
version: 8.3.8 (api:88/proto:86-94)
GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by mockbuild@builder10.centos.org, 2010-06-04 08:04:16
0: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r----
ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:987896
都为second 状态，没有同步
也可以
[root@node2 ~]# drbd-overview
0:web  Connected Secondary/Secondary Inconsistent/Inconsistent C r----  
8.在主机点上执行
[root@node1 ~]#  drbdadm --  --overwrite-data-of-peer primary web
然后查看同步过程  watch  -n 1 'cat /proc/drbd' //一般速度比较快不容易发现
[root@node1 ~]# drbd-overview     //节点1是主 节点2是备
  0:web  Connected Primary/Secondary UpToDate/UpToDate C r----
[root@node2 ~]# drbd-overview
  0:web  Connected Secondary/Primary UpToDate/UpToDate C r----
9.创建文件系统（在主节点上实现）
[root@node1 ~]# mkfs -t ext3  -L drbdweb  /dev/drbd0    //-L 表示卷标
[root@node1 ~]# mkdir /mnt/public
[root@node1 ~]# mount /dev/drbd0 /mnt/public
[root@node1 ~]# cd /mnt/public
10.执行I/O操作
[root@node1 public]# cp /etc/grub.conf ./
[root@node1 public]# ll
-rw------- 1 root root   746 01-19 21:11 grub.conf
drwx------ 2 root root 16384 01-19 21:03 lost+found
[root@node1 public]# cd
[root@node1 ~]# umount /mnt/public
[root@node1 ~]# drbdadm secondary web
[root@node1 ~]# drbd-overview
0:web  Connected Secondary/Secondary UpToDate/UpToDate C r----
[root@node2 ~]# drbdadm primary web        //手动设置节点2为主
[root@node2 ~]# drbd-overview
0:web  Connected Primary/Secondary UpToDate/UpToDate C r----  //本身设备主/对方设备辅
[root@node2 ~]# mount /dev/drbd0 /mnt/public
[root@node2 ~]# cd /mnt/public
[root@node2 1]# ll
总计 20
-rw------- 1 root root   746 2013-01-19 grub.conf
drwx------ 2 root root 16384 2013-01-19 lost+found
[root@node2 public]# cp /etc/passwd ./
[root@node2 public# cd
[root@node2 ~]# umount /mnt/1
[root@node2 ~]# drbdadm secondary web
11.切换到主节点1上查看
[root@node1 ~]# drbdadm primary web
[root@node1 ~]# mount /dev/drbd0 /public
[root@node1 ~]# cd /public
[root@node1 public]# ll
总计 24
-rw------- 1 root root   746 01-19 21:11 grub.conf   //节点1上的I/O操作
drwx------ 2 root root 16384 01-19 21:03 lost+found
-rw-r--r-- 1 root root  1560 01-09 13:43 passwd   //节点2上的I/O操作
只有手动将一个节点设置为主节点时，才可访问该节点下的内容，不符合智能化的要求，可以使用heartbeat工具，将drbd作为其资源，实现主节点和 备份节点的自动切换。在两个节点上都安装nfs服务，将分区共享出来，这样客户端就可以看到这些内容
三．NFS搭建
1.配置node1.a.com的NFS server：  node2上做同样的配置
NFS服务是默认安装的，使用时直接启动即可；
# service nfs start       # service portmap start
2.编写共享清单：
[root@node1 ~]#  vim /etc/exports
/public  192.168.10.0/24(rw,sync)
# exportfs -rv     导出共享清单：
exporting 192.168.10.0/24:/public       -r 导出；   -v 详细信息；
3.修改nfs启动脚本：
# vim /etc/init.d/nfs
122         killproc nfsd -9
4.改变nfs服务的资源控制文件的权限：
# chmod 755 /etc/ha.d/resource.d/killnfsd
5.创建nfs服务的资源控制文件：
# vim /etc/ha.d/resource.d/killnfsd
killall -9 nfsd ; /etc/init.d/nfs restart ; exit 0
6.改变nfs服务的资源控制文件的权限：
# chmod 755 /etc/ha.d/resource.d/killnfsd
启动node1.a.com节点的heartbeat的服务：
# service heartbeat start
启动node2.a.com节点的heartbeat的服务：
# service heartbeat start
7.查看heartbeat两节点的状态：
[root@node1 ~]# drbd-overview
  0:web  Connected Primary/Secondary UpToDate/UpToDate C r---- /public ext3 950M 18M 885M 2%


四．测试：
1. 开启一个客户端：
配置一个临时地址： # ifconfig eth0 192.168.10.3
创建一个挂载点：
# mkdir /mnt/nfs     # mount 192.168.10.254:/public /mnt/nfs
查看挂载的状态：
　　
　　2 当heartbeat正常运行时： 查看NFS网络文件系统：
[root@clent ~]# cd /mnt/nfs
[root@clent nfs]# ll
-rw------- 1 root root   746 01-19 16:11 grub.conf
drwx------ 2 root root 16384 01-19 16:03 lost+found
-rw-r--r-- 1 root root  1560 01-09 08:43 passw
3.在node1.a.com中将heartbeat服务关闭：
[root@node1 ~]# service heartbeat stop
[root@node2 ~]# drbd-overview

[root@node2 ~]# ifconfig
　　[root@node2 ~]# mount
　　nfsd on /proc/fs/nfsd type nfsd (rw)
/dev/drbd0 on /public type ext3 (rw)
4.NFS网络文件系统仍然可以使用
[root@clent ~]# cd /mnt/nfs
[root@clent nfs]# ll
总计 24
-rw------- 1 root root   746 01-19 16:11 grub.conf
drwx------ 2 root root 16384 01-19 16:03 lost+found
-rw-r--r-- 1 root root  1560 01-09 08:43 passwd
通过上述案例可以实现高可用性，以及通过heartbeart控制DRDB的自动切换，而且保证文件系统的高可用性。

4.定义资源