HA 高可用性

我爱小虾

　　一、基础知识：
　　1 简介：
　　Distributed Replicated Block Device(DRBD)是一个用软件实现的、无共享的、服务器之间镜像块设备内容的存储复制解决方案。
　　2 原理：
　　DRBD的核心功能通过Linux的内核实现，最接近系统的IO栈，但它不能神奇地添加上层的功能比如检测到EXT3文件系统的崩溃。
　　3 DRBD的工具：
　　3.1 drbdadm：高级管理工具，管理/etc/drbd.conf，向drbdsetup和drbdmeta发送指令；
　　3.2 drbdsetup：配置装载进kernel的DRBD模块，平时很少直接用；
　　3.3 drbdmeta：管理META数据结构，平时很少直接用；
　　4 DRBD的模式：
　　4.1 单主模式：典型的高可靠性集群方案。
　　4.2 复主模式：需要采用共享cluster文件系统，如GFS和OCFS2。用于需要从2个节点并发访问数据的场合，需要特别配置。
　　5 复制模式：3种模式：
　　5.1 协议A：异步复制协议。本地写成功后立即返回，数据放在发送buffer中，可能丢失。
　　5.2 协议B：内存同步（半同步）复制协议。本地写成功并将数据发送到对方后立即返回，如果双机掉电，数据可能丢失。
　　5.3 协议C：同步复制协议。本地和对方写成功确认后返回。如果双机掉电或磁盘同时损坏，则数据可能丢失。
　　一般用协议C。选择协议将影响流量，从而影响网络时延。
　　二、案例：
　　1 拓扑图：

　　2 案例说明：
　　通过heartbeat实现HA高可用性群集，通过DRBD实现存储复制来达到存储的高可用性，通过NFS实现网络文件系统共享；
　　3 配置步骤：
3.1 Heartbeat高可用性群集搭建：
　　3.1.1(1) 配置director1群集服务器：
　　配置director1的网卡地址：
　　外出接口网卡：

　　心跳网卡：

　　重启网络服务：

　　同步时钟：
　　# hwclock -s
　　配置director1的主机名：
　　# vim /etc/sysconfig/network

　　# hostname dir1.abc.com //配置后需要注销一次；

　　配置director1的本地DNS解析：
　　# vim /etc/hosts

　　将heartbeat的安装包使用ftp导入director1：

　　挂载光盘：
　　# mkdir /mnt/cdrom
　　# mount /dev/cdrom /mnt/cdrom
　　使用yum安装heartbeat相应的软件包：
　　# yum localinstall -y heartbeat-2.1.4-9.el5.i386.rpm heartbeat-pils-2.1.4-10.el5.i386.rpm heartbeat-stonith-2.1.4-10.el5.i386.rpm libnet-1.1.4-3.el5.i386.rpm perl-MailTools-1.77-1.el5.noarch.rpm --nogpgcheck

　　拷贝heartheat的配置文件到相应的位置：
　　# cd /usr/share/doc/heartbeat-2.1.4/
　　# cp ha.cf /etc/ha.d/
　　# cp haresources /etc/ha.d/
　　# cp authkeys /etc/ha.d/
　　编辑心跳探测配置文件ha.cf：
　　# cd /etc/ha.d/
　　# vim ha.cf

　　//定义心跳网卡；

　　//声明群集的节点；
　　配置验证钥匙（为了实现双方身份验证）：
　　# vim authkeys

　　改变authkeys的权限：
　　# chmod 600 authkeys
　　3.1.1(2) 配置director2群集服务器：
　　配置director2的网卡地址：
　　外出接口网卡：

　　心跳网卡：

　　重启网络服务：

　　同步时钟：
　　# hwclock -s   
配置director2的主机名：
　　# vim /etc/sysconfig/network

　　# hostname dir2.abc.com //配置后需要注销一次；

　　配置director2的本地DNS解析：
　　# vim /etc/hosts

　　将heartbeat的安装包使用ftp导入director1：

　　挂载光盘：
　　# mkdir /mnt/cdrom
　　# mount /dev/cdrom /mnt/cdrom
　　使用yum安装heartbeat相应的软件包：
　　# yum localinstall -y heartbeat-2.1.4-9.el5.i386.rpm heartbeat-pils-2.1.4-10.el5.i386.rpm heartbeat-stonith-2.1.4-10.el5.i386.rpm libnet-1.1.4-3.el5.i386.rpm perl-MailTools-1.77-1.el5.noarch.rpm --nogpgcheck

　　拷贝heartheat的配置文件到相应的位置：
　　# cd /usr/share/doc/heartbeat-2.1.4/
　　# cp ha.cf /etc/ha.d/
　　# cp haresources /etc/ha.d/
　　# cp authkeys /etc/ha.d/
　　编辑心跳探测配置文件ha.cf：
　　# cd /etc/ha.d/
　　# vim ha.cf

　　//定义心跳网卡；

　　//声明群集的节点；
　　配置验证钥匙（为了实现双方身份验证）：
　　# vim authkeys

　　改变authkeys的权限：
　　# chmod 600 authkeys
3.2 DRBD服务搭建：
　　3.2.1(1) 在dir1.abc.com主机中创建一个NFS共性分区：
　　从sda硬盘中划分一个分区：
　　# fdisk /dev/sda
　　创建一个扩展分区：

　　创建一个扩展分区：

　　查看分区表：

　　保存并退出：

　　通过内核从新读取分区表：
　　# partprobe /dev/sda
　　3.2.1(2) 在dir2.abc.com主机中创建一个NFS共性分区：
　　从sda硬盘中划分一个分区：
　　# fdisk /dev/sda
　　创建一个扩展分区：

　　创建一个扩展分区：

　　查看分区表：

　　保存并退出：

　　通过内核从新读取分区表：
　　# partprobe /dev/sda
　　3.2.2(1) 在dir1.abc.com中安装DRBD相关软件包：   
导入DRBD相应的安装包：

　　安装drbd服务：
　　# rpm -ivh drbd83-8.3.8-1.el5.centos.i386.rpm
　　安装drbd的内核模块：
　　# rpm -ivh kmod-drbd83-8.3.8-1.el5.centos.i686.rpm
　　3.2.2(2) 在dir2.abc.com中安装DRBD相关软件包：
　　导入DRBD相应的安装包：

　　安装drbd服务：
　　# rpm -ivh drbd83-8.3.8-1.el5.centos.i386.rpm
　　安装drbd的内核模块：
　　# rpm -ivh kmod-drbd83-8.3.8-1.el5.centos.i686.rpm
　　3.2.3(1) 在dir1.abc.com编辑drbd文档：
　　编辑drbd主配置文件：
　　# vim /etc/drbd.conf
　　读取样例文件内容：底行模式

　　编辑通用资源：
　　# vim /etc/drbd.d/global_common.conf

　　编辑详细资源：
　　# vim /etc/drbd.d/web.res

　　初始化drbd：
　　# drbdadm create-md web

　　3.2.3(2) 在dir2.abc.com编辑drbd文档：
　　编辑drbd主配置文件：
　　# vim /etc/drbd.conf
　　读取样例文件内容：底行模式

　　编辑通用资源：
　　# vim /etc/drbd.d/global_common.conf

　　编辑详细资源：
　　# vim /etc/drbd.d/web.res

　　初始化drbd：
　　# drbdadm create-md web

　　3.2.4(1) 启动dir1.abc.com的DRBD服务：
　　# service drbd start
　　3.2.4(1) 启动dir2.abc.com的DRBD服务：
　　# service drbd start
　　3.2.5(1) 查看dir1.abc.com的设备状态：
　　# drbd-overview

　　3.2.5(2) 查看dir2.abc.com的设备状态：
　　# drbd-overview

　　3.2.6 将dir1.abc.com的设备调整为主设备：
　　# drbdadm -- --overwrite-data-of-peer primary web

　　3.2.7 格式化/dev/drbd0：
　　# mkfs -t ext3 -L drbdweb /dev/drbd0
　　3.2.8(1) 在dir1.abc.com上对/dev/drbd0进行挂载：
　　创建挂载点：
　　# mkdir /public
　　挂载：
　　# mount /dev/drbd0 /public/
　　3.2.8(2) 在dir1.abc.com上对/dev/drbd0进行挂载：
　　创建挂载点：
　　# mkdir /public
　　3.2.9(1) 查看dir1.abc.com的drbd当前状态：

　　3.2.9(2) 查看dir2.abc.com的drbd当前状态

3.3 NFS搭建
　　3.3.1(1) 配置dir1.abc.com的NFS server：
　　NFS服务是默认安装的，使用时直接启动即可；
　　# service nfs start
　　# service portmap start
　　编写共享清单：
　　# vim /etc/exports

　　导出共享清单：
　　# exportfs -rv
　　exporting 192.168.10.0/24:/public
　　-r 导出；
　　-v 详细信息；
　　修改nfs启动脚本：
　　# vim /etc/init.d/nfs

　　3.3.1(2) 配置dir2.abc.com的NFS server：
　　NFS服务是默认安装的，使用时直接启动即可；
　　# service nfs start
　　# service portmap start
　　编写共享清单：
　　# vim /etc/exports

　　导出共享清单：
　　# exportfs -rv
　　exporting 192.168.10.0/24:/public
　　-r 导出；
　　-v 详细信息；
　　修改nfs启动脚本：
　　# vim /etc/init.d/nfs

3.4 编辑heartbeat资源文件：
　　3.4.1(1) 在dir1.abc.com节点上heartbeat资源配置：
　　# vim /etc/ha.d/haresources

　　创建nfs服务的资源控制文件：
　　# vim /etc/ha.d/resource.d/killnfsd

　　改变nfs服务的资源控制文件的权限：
　　# chmod 755 /etc/ha.d/resource.d/killnfsd
　　3.4.1(2) 在dir2.abc.com节点上heartbeat资源配置：
　　# vim /etc/ha.d/haresources

　　创建nfs服务的资源控制文件：
　　# vim /etc/ha.d/resource.d/killnfsd

　　改变nfs服务的资源控制文件的权限：
　　# chmod 755 /etc/ha.d/resource.d/killnfsd
　　3.4.2(1) 启动dir1.abc.com节点的heartbeat的服务：
　　# service heartbeat start
　　3.4.2(2) 启动dir2.abc.com节点的heartbeat的服务：
　　# service heartbeat start
　　3.4.3 查看heartbeat两节点的状态：

　　4 测试：
　　4.1 开启一个客户端：
　　配置一个临时地址：
　　# ifconfig eth0 192.168.10.20
　　创建一个挂载点：
　　# mkdir /mnt/nfs
　　# mount 192.168.10.10:/public /mnt/nfs
　　查看挂载的状态：

　　4.2 当heartbeat正常运行时：
　　查看NFS网络文件系统：

　　4.3 在dir1.abc.com中将heartbeat服务关闭：
　　# service heartbeat stop

　　此时NFS网络文件系统仍然可以使用：