双机热备heartbeat+drbd+mysql

木一

                       Heartbeat+drbd

双机热备+mysql
1.  heartbeat
用于搭建双机热备环境，可以通过专门的心跳线来连接双机，也可以通过普通的网线来连接。
下载地址http://www.linux-ha.org/
2.  drbd
通过网络通信来同步镜像整个设备，有点类似于一个网络RAID的功能。也就是说当你将数据写入本地的DRBD设备上的文件系统时,数据会同时被发送到网络中的另外一台主机之上，并以完全相同的形式记录在一个文件系统中（实际上文件系统的创建也是由DRBD的同步来实现的）。本地节点（主机）与远程节点（主机）的数据可以保证实时的同步，并保证IO的一致性。所以当本地节点的主机出现故障时,远程节点的主机上还会保留有一份完全相同的数据,可以继续使用，以达到高可用的目的。
下载地址http://www.drbd.org/

heartbeat可以独立完成双机热备功能
drbd用于镜像主备机之间的数据,不需要可不安装

Heartbeat安装
本文中使用yum服务自动安装heartbeat全部程序
版本为heartbeat-2.1.3-3.x86_64
注：所有节点都要安装，并且配置一样

一.安装heartbeat
  1.首先，我安装这个软件的时候用的搜狐的yum源；只需要执行以下两步，就会自动给你安

装一个可用的yum源
  # wget http://mirrors.sohu.com/fedora-epel/6/x86_64/epel-release-6-7.noarch.rpm
  # rpm -ivh epel-release-6-7.noarch.rpm
   这时，在我们的/etc/yum.repos.d里面就会多出两个yum源
  2.安装好yum源，之后，我们就可以用yum安装heartbeat了，一键搞定的
   # yum install heartbeat* -y
  3.下面，我们就要找到heartbeat的配置文件，但是，我们的配置目录中是找不到它的配
置文件的，这时候，我们可以先进入配置文件目录
   # cd /etc/ha.d/
   这样进去之后，会发现README.config这个配置文件，我们进去看一下
   # vim README.config
   有一段内容如下：
   If you installed heartbeat using rpm packages then
this command will show you where they are on your system:
                rpm -q heartbeat -d
   这段是告诉我们要rpm -q heartbeat -d这个命令来找到配置文件
   # rpm -qd heartbeat
    执行完这个命令之后，我们可以看到如下内容：
/usr/share/doc/heartbeat-3.0.4/AUTHORS
/usr/share/doc/heartbeat-3.0.4/COPYING
/usr/share/doc/heartbeat-3.0.4/COPYING.LGPL
/usr/share/doc/heartbeat-3.0.4/ChangeLog
/usr/share/doc/heartbeat-3.0.4/README
/usr/share/doc/heartbeat-3.0.4/apphbd.cf
/usr/share/doc/heartbeat-3.0.4/authkeys
/usr/share/doc/heartbeat-3.0.4/ha.cf
/usr/share/doc/heartbeat-3.0.4/haresources
/usr/share/man/man1/cl_status.1.gz
/usr/share/man/man1/hb_addnode.1.gz
/usr/share/man/man1/hb_delnode.1.gz
/usr/share/man/man1/hb_standby.1.gz
/usr/share/man/man1/hb_takeover.1.gz
/usr/share/man/man5/authkeys.5.gz
/usr/share/man/man5/ha.cf.5.gz
/usr/share/man/man8/apphbd.8.gz
/usr/share/man/man8/heartbeat.8.gz
   这时候，我们只需要将 ha.cf， haresources，authkeys这三个配置文件cp到/etc/ha.d/

目录下就好了
   # cp /usr/share/doc/heartbeat-3.0.4/ha.cf /etc/ha.d/
   # cp /usr/share/doc/heartbeat-3.0.4/authkeys /etc/ha.d/
   # cp /usr/share/doc/heartbeat-3.0.4/haresources /etc/ha.d/
   到此，所有的配置文件都全了，开始修改配置吧！

authkeys 双机互联验证配置文件
haresources 集群资源配置文件

ha.cf 主配置文件
#vi /etc/ha.d/ha.cf
logfile /var/log/ha-log #File to write other messages to
logfacility local0 #这个是设置heartbeat的日志，这里是用的系统日志

##设定心跳(监测)时间时间为2秒
keepalive 2 #多长时间检测一次
warntime 5 #连续多长时间联系不上后开始警告提示
deadtime 20 #连续多长时间联系不上后认为对方宕机（单位是妙）
initdead 120 #这里主要是给重启后预留的一段忽略时间段（比如：重启后启动网络等，如果在网络还没有通，keepalive检测肯定通不过，但这时候并不能切换）

#采用eth1的udp广播用来发送心跳信息(eth1为网卡名,可以在ifconfig看到)
#bcast eth1

#采用网卡eth1的udp单播来通知心跳，IP为对方IP，建议采用单播。当一个网段有多台这样cluster话，则一定要采用单播，否则每组cluster都会看到对方的节点，从而报错。(eth1为网卡名,可以在ifconfig看到)
ucast eth1 192.168.1.231

##使用udp端口694 进行心跳监测
udpport 694
auto_failback off #恢复正常后是否需要再自动切换回来，一般都设为off。
##节点1，必须要与 uname -n 指令得到的结果一致。(填写机器名,可能需要在/etc/hosts中设置)
node alsme_probe3
##节点2(填写机器名,可能需要在/etc/hosts中设置)
node alssme_probe4

# #默认heartbeat并不检测除本身之外的其他任何服务，也不检测网络状况。
# #所以当网络中断时，并不会进行Load Balancer和Backup之间的切换。
# #可以通过ipfail插件，设置'ping nodes'来解决这一问题。详细说明参考hearbeat文档。
##通过ping 网关来监测心跳是否正常
ping 192.168.1.1
hopfudge 1
deadping 5
#指定和heartbeat一起启动、关闭的进程
respawn hacluster /usr/local/lib64/heartbeat/ipfail
#系统权限设置(可以不改)
#apiauth ipfail gid=haclient uid=hacluster

authkeys 双机互联验证配置文件
#可以根据实际需要更改，配置文件中有详细说明
#vi / etc/ha.d/authkeys
auth 1
1 crc
#注意authkeys的权限一定要是600.
#chmod 600 / etc/ha.d/authkeys

haresources集群资源配置文件
#vi /etc/ha.d/haresources
server1 IPaddr::192.168.10.3/24/eth1   #这里的ip是我们再ha.cf里定义的主节点ip
在这里，我这里写的比较简单，下面会讲的比较详细的
server1:是我的主服务器上的hostname显示的主机名字
IPaddr::192.168.10.3/24/eth1   #设置虚拟IP

启动和关闭heartbeat的方法
#将heartbeat配置成系统服务
#chkconfig --add heartbeat
#启动
#service heartbeat start
#关闭
#service heartbeat stop

查看heartbeat状态
#service heartbeat status
heartbeat OK [pid 13763 et al] is running on alsme_probe3 [alsme_probe3]...


二．drbd安装
本文中使用yum服务自动安装drbd全部程序
版本为drbd83-8.3.8-1.x86_64
注：所有节点都要安装，并且配置一样

  1.安装yum源
    # wget http://elrepo.org/elrepo-release-6-4.el6.elrepo.noarch.rpm
    # rpm -ivh elrepo-release-6-4.el6.elrepo.noarch.rpm

    修改yum源的配置文件
    # vi /etc/yum.repos.d/elrepo.repo
    将第8行的enable=1改成enable=0
[elrepo]
name=ELRepo.org Community Enterprise Linux Repository - el6
baseurl=http://elrepo.org/linux/elrepo/el6/$basearch/
mirrorlist=http://elrepo.org/mirrors-elrepo.el6
enabled=0         --->就是修改这个地方
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-elrepo.org
protect=0
    到这里，安装drbd的yum源已经安装好了，可以一键安装了

2.开始安装drbd及依赖的软件
# yum --enablerepo=elrepo install drbd83-utils kmod-drbd83 -y
到这里drbd就安装完了

3.drbd.conf主配置文件
#vi /etc/drbd.conf

global {
usage-count yes;                  #参加DRBD使用者统计，默认为yes
}
common {
syncer { rate 100M; }      #设备主备节点同步时的网络速度最大值，我这里是100M网
startup {
    degr-wfc-timeout 120;      #同步超时时间
    wfc-timeout 120;
}
}
#资源配置
resource db {
protocol C;      #使用协议c，表示收到远程主机的写入确认后，则认为写入完成
disk {
on-io-error detach;
#size 1G; #两台服务器硬盘大小不同，才需要设置drbd的大小
}

net {
cram-hmac-alg sha1; #设置主备机之间通信使用的信息算法。
shared-secret "FooFunFactory";
}

#节点1
on server1 {
device /dev/drbd0;        #将使用的分区,该分区映射到 /dev/sdb5
#块文件
disk /dev/sda5;
address 192.168.5.200:7791;        #指定IP地址和端口号
meta-disk internal;               #网络通信属性
}
#节点2
on server2 {
device /dev/drbd0;
#块文件
disk /dev/sda5;
address 192.168.5.199:7791;
meta-disk internal;
}
}

注:配置中同一资源在各个节点块文件（例如disk /dev/sda5）大小需要完全一样。

# mkfs.ext4 /dev/sdb5 ＃使用ext4格式分区格式化/dev/sdb5
# dd if=/dev/zero of=/dev/sdb5 bs=1M count=1;sync
# drbdadm create-md db ＃初始化drbd的metadata，db是前面定义的resource。
# /etc/init.d/drbd start ＃启动Master上的drbd时，就去启动backup的drbd，否则Master无法启动。
# ps -aux|grep drbd
注：drbd设备有三个进程：drbd0_worker是drbd0的主进程，drbd0_asender是primary上drbd0的数据发送进程，drbd0_receiver是secondary上drbd0的数据接收进程。
# cat /proc/drbd #查看drbd状态，此时结果应为st:Secondary/Secondary，ds:Inconsistent/Inconsistent。
======================仅主机执行=============================================
# drbdsetup /dev/drbd0 primary -o #设置主节点，仅第一次使用drbdsetup，以后则用drbdadm。
# cat /proc/drbd #查看drbd状态，此时结果应为st:Primary/Secondary ds:UpToDate/Inconsistent。
# mkfs.ext3 /dev/drbd0
# mount /dev/drbd0 /data
# watch -n 1 cat /proc/drbd
=============================================================================
注：/proc/drbd中显示了drbd当前的状态，第一行的st表示两台主机的状态,主机表示为Primary,备机表示为Secondary。
ds是磁盘状态,实时表示为UpToDate，不一致表示为Inconsistent状态。



启动和关闭drbd的方法
#将drbd配置成系统服务
#chkconfig --add drbd
#启动服务
#service drbd start
#关闭服务
#service drbd stop
#节点设置为primary
#drbdadm primary all        #这个命令每次重启drbd的时候，都要执行的
#节点设置为secondary
#drbdadm secondary all

启动之后可以挂载drbd分区（例如device /dev/drbd0）
第一次启动需要格式化drbd分区，使用命令
mkfs.ext3 /dev/drbd0
使用mount命令挂载
该分区可以用于存放数据库的数据文件或其他需要同步文件。

split brain的处理
split brain实际上是指在某种情况下，造成drbd的两个节点断开了连接，都以primary的身份来运行。当drbd某primary节点连接对方节点准备发送信息的时候如果发现对方也是primary状态，那么会会立刻自行断开连接，并认定当前已经发生split brain了，这时候他会在系统日志中记录以下信息：“Split-Brain detected,dropping connection!”当发生split brain之后，如果查看连接状态，其中至少会有一个是StandAlone状态，另外一个可能也是StandAlone（如果是同时发现split brain状态），也有可能是WFConnection的状态。这种情况会造成各个节点中的数据不一致，恢复正常状态需要节点中选出主机，其他节点从主机重新更新数据。

在从机上执行
drbdadm secondary resource db
drbdadm -- --discard-my-data connect resource db
在主机执行
drbdadm connect resource db
注：这里的主机是要保留数据的节点，从机是不需要保留数据的节点。

三．整合heartbeat和drbd
1.为了让heartbeat启动mysql，需要如下的做法：
# ln -s /etc/init.d/mysql /etc/ha.d/resource.d/mysqld
这一步就是让mysql的启动脚本放到heartbeat调用的脚本目录中

2.整合，其实就是修改haresources集群资源配置文件，主要修改我上面加的那句
server1 IPaddr::192.168.10.3/24/eth1 drbddisk::db Filesystem::/dev/drbd0::/data::ext4 mysqld

解释：
server1:是我的主服务器上的hostname显示的主机名字
IPaddr::192.168.10.3/24/eth1   #设置虚拟IP
drbddisk::db #告诉heartbeat要管理DRBD的资源db。
Filesystem::/dev/drbd0::/data::ext3 #设定需要挂载的drbd设备采用的文件系统，即执行mount与unmout操作。
mysqld #设定要随heartbeat启动的服务。