Heatbeat高可用集群
网络规划主机名
接口
Ip
用途
MASTER
node1.xmfb.com
Eth0
172.16.4.100
提供高可用服务节点
BACKUP
node2.xmfb.com
Eth0
172.16.4.101
备用节点，随时准备接替主节点
NFS
NFS
Eth0
172.16.4.200
提供共享存储
VIP
Eth0:0
172.16.4.1
虚拟ip
配置中所有系统均使用centos6.6 64位
配置HA集群的前提：
（1）节点间时间必须同步：使用ntp协议实现；
1
2
# ntpdate 172.16.0.1 #172.16.0.1是我这里的时间服务器
# ntpdate 172.16.0.1
（2） 节点间需要通过主机名互相通信，必须解析主机至IP地址；
(a)建议名称解析功能使用hosts文件来实现；
(b)通信中使用的名字与节点名字必须保持一致：“uname -n”命令，或“hostname”展示出的名字保持一致；
1
2
3
4
5
6
7
8
# sed -i's@\(HOSTNAME=\).*@\1node1.xmfb.com@g' /etc/sysconfig/network
# hostname node1.xmfb.com
# echo "172.16.4.100node1.xmfb.com node1" >> /etc/hosts
# echo "172.16.4.101node2.xmfb.com node2" >> /etc/hosts
# sed -i's@\(HOSTNAME=\).*@\1node2.xmfb.com@g' /etc/sysconfig/network
# hostname node2.xmfb.com
# echo "172.16.4.100node1.xmfb.com node1" >> /etc/hosts
# echo "172.16.4.101 node2.xmfb.comnode2" >> /etc/hosts
（3）考虑仲裁设备是否会用到；
（4） 建立各节点之间的root用户能够基于密钥认证；
#ssh-keygen -t rsa -P ''
#ssh-copy-id -i /root/.ssh/id_rsa.pub root@HOSTNAME
1
2
3
4
5
# ssh-keygen -t rsa -f ~/.ssh/id_rsa-P ''
# ssh-copy-id -i .ssh/id_rsa.pubnode2
# ssh-keygen -t rsa -f ~/.ssh/id_rsa-P ''
# ssh-copy-id -i .ssh/id_rsa.pubnode1
注意：定义成为集群服务中的资源，一定不能开机自动启动；因为它们将由crm管理；
安装heartbeat说明：heartbeat在centos6.6上没有被添加到自带的rpm包中，所以需要去网上自行下载rpm包安装。
Heartbeat安装包功能说明：
1
2
3
4
5
6
7
heartbeat-2.1.4-12.el6.x86_64.rpm 核心包
heartbeat-debuginfo-2.1.4-12.el6.x86_64.rpm调试包
heartbeat-devel-2.1.4-12.el6.x86_64.rpm开发包
heartbeat-gui-2.1.4-12.el6.x86_64.rpm 提供图形配置页面
heartbeat-ldirectord-2.1.4-12.el6.x86_64.rpm 为ipvs提供后端健康状态检查的工具
heartbeat-pils-2.1.4-12.el6.x86_64.rpm 依赖的一些库
heartbeat-stonith-2.1.4-12.el6.x86_64.rpm提供stonith完成节点隔离
安装方法：
1
2
3
4
# yum –y install net-snmp-libs libnet PyXML
# rpm -ivhheartbeat-2.1.4-12.el6.x86_64.rpm heartbeat-pils-2.1.4-12.el6.x86_64.rpmheartbeat-stonith-2.1.4-12.el6.x86_64.rpm
# yum install net-snmp-libs libnetPyXML
# rpm -ivhheartbeat-2.1.4-12.el6.x86_64.rpm heartbeat-pils-2.1.4-12.el6.x86_64.rpmheartbeat-stonith-2.1.4-12.el6.x86_64.rpm
Heartbeat配置文件和参数说明配置文件：
/etc/ha.d目录下：
ha.cf:主配置文件，定义各节点上的heartbeat HA集群的基本属性；
authkeys：集群内节点间彼此传递消息时使用加密算法及密钥；
haresources:为heartbeat v1提供资源管理器配置接口；v1版本专用的配置接口；
heartbeat没有在/etc/ha.d下面提供配置文件，但是在/usr/share/doc/heartbeat-2.1.4/下面提供了样例配置文件，可以直接拿来使用。
复制配置文件到/etc/ha.d目录下
1
2
3
4
5
6
7
8
9
10
11
# cp/usr/share/doc/heartbeat-2.1.4/{authkeys,ha.cf,haresources} /etc/ha.d/
# ll /etc/ha.d/
total 48
-rw-r--r-- 1 root root 645 May 30 10:15 authkeys
-rw-r--r-- 1 root root 10539 May 30 10:15 ha.cf
-rwxr-xr-x 1 root root 745 Sep 10 2013 harc
-rw-r--r-- 1 root root5905 May 30 10:15 haresources
drwxr-xr-x 2 root root4096 May 30 09:58 rc.d
-rw-r--r-- 1 root root 692 Sep 10 2013 README.config
drwxr-xr-x 2 root root4096 May 30 09:58 resource.d
-rw-r--r-- 1 root root7864 Sep 10 2013 shellfuncs
Ha.cf配置文件参数说明
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
#start
#debugfile /var/log/ha-debug #是否启用debug功能
logfile /var/log/ha-log #指定日志文件位置
#logfacility local0 #记录日志的设施，如果local0，没有被指定文件，则无法记录日志
日志推荐设置方法，注释logfacility和debugfile，启用logfile
#keepalive 2 #多长时间发一次心跳，单位为秒
#deadtime 30 #死亡时间，30秒接受不到对方心跳信息，则认为对方当机了
#warntime 10 #等待心跳时间，此值需要设置大于keepalived，小于deadtime
#initdead 120#节点启动时等待第二个节点多长时间，如果等待不到不建立集群
#udpport649#heartbeat监听的端口
指定传递心跳信息的串行线缆设备
#serial /dev/ttyS0 # Linux
#serial /dev/cuaa0 # FreeBSD
#serial /dev/cuad0 # FreeBSD 6.x
#serial /dev/cua/a # Solaris
#设置广播发送心跳信息
bcast eth0 # Linux 在一个网卡广播
#bcasteth1eth2 # Linux 在多个网卡广播
#bcastle0 # Solaris
#bcastle1le2 # Solaris
mcast eth0 225.0.0.181 694 1 0 #心跳方式
参数解释：
Mcast：多播
eth0：指定心跳的网卡
255.0.0.181：多播地址
649：多播端口
1：ttl值
0：多播心跳
#设置单播发送心跳信息（不推荐使用）
#ucast eth0 192.168.1.2#地址填写的是对方的地址
auto_failback on#自动故障转回（主节点坏了，对方接管了，我修好了，是不是自动回来）
#设置当前集群的节点，node后面的名字需要和uname –r的名字保持一致
node node1.xmfb.com
node node2.xmfb.com
#ping 10.10.10.254#指定pingnode
#ping_group group1 10.10.10.254 10.10.10.253 #指定多个主机为仲裁设备
#compression bz2 #是否对节点传递的信息进行压缩
#compression_threshold 2#压缩的起点，小于起点不进行压缩
说明，如果心跳方式设置为多播，需要网卡支持：出现MULTICAST就是支持多播
1
2
3
4
5
# ip link show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdiscnoqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:22:c5:c2 brd ff:ff:ff:ff:ff:ff
启动网卡多播的命令
1
# ip link set eth0 multicast on
authkeys
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
# Authentication file.Must be mode600 #权限必须为600
#
#
# Must have exactly one auth directive at thefront.
# auth send authentication usingthis method-id
#
# Then,list the method and key that go with that method-id
#
# Available methods: crc sha1, md5. Crc doesn't need/want a key.#设置认证方式crc、 sha1、 md5其中Crc的方式不需要密钥
#
# Younormally only have one authentication method-id listed in this file
#
# Putmore than one to make a smooth transition when changing auth
# methods and/or keys.
#
#
# sha1 is believed to be the "best",md5 next best. #sha1是最好的，md5下最好
#
# crcadds no security, except from packet corruption.#crc不***全
# Use only on physically secure networks.
#
#auth 1
#1 crc
#2 sha1 HI!
#3 md5 Hello!
生成md5编码
# dd if=/dev/random count=1 bs=512 |md5sum
0+1 records in
0+1 records out
128 bytes (128 B) copied, 0.000120379 seconds, 1.1MB/s
e797b227dba49b6b744f8175b5d7ef52-#md5编码
设置配置文件，最后两行添加如下内容
# vim /etc/ha.d/authkeys
auth 1 #auth的编号和选择的认真方式编号必须一致，如果上面是2下面也必须是2
1 md5e797b227dba49b6b744f8175b5d7ef52
如果是sha1的方式，那么最后两行添加如下内容
auth 1
1 sha147e9336850f1db6fa58bc470bc9b7810eb397f04
Haresources设置主节点 设置虚拟IP地址 设置集群服务
1
node1.xmfb.com IPaddr::192.168.100.10/24/eth0 httpd
部署heartbeat实现web高可用集群
Httpd测试页提供Centos6已经自带了httpd，无需安装，只需要设置不同的页面,测试web是否正常，如果正常就关闭服务，而且不能让服务开机自动启动
1
2
3
4
# echo "<h1>node1.xmfb.com</h1>" >>/var/www/html/index.html
# service httpd start
# echo "<h1>node2.xmfb.com</h1>" >>/var/www/html/index.html
# service httpd start
访问测试是否正常
1
2
3
4
# curl http://node1
<h1>node1.xmfb.com</h1>
# curl http://node2
<h1>node2.xmfb.com</h1>
关闭服务
1
2
# service httpd stop
# service httpd stop
修改ha.cf配置ha.cf主要就是修改心跳方式和添加集群节点，ping node和日志，其他功能保持默认即可。
1
2
3
4
5
6
7
8
9
logfile /var/log/ha-log #设置日志记录方式
#logfacility local0
mcast eth0 225.0.0.118 694 1 0 #指定心跳方式为多播
node node1.xmfb.com #设置集群节点
node node2.xmfb.com
ping 172.16.0.1 #设置仲裁设备为自己的网关
修改authkeys配置文件
设置权限为600，如果不设置会无法启动
1
# chmod 600 /etc/ha.d/authkeys
生成md5编码
1
2
3
4
5
# dd if=/dev/random count=1 bs=512 |md5sum
0+1 records in
0+1 records out
128 bytes (128 B) copied, 0.000120379 seconds, 1.1MB/s
e797b227dba49b6b744f8175b5d7ef52-#md5编码
设置配置文件，最后两行添加如下内容
1
2
3
# vim /etc/ha.d/authkeys
auth 1
1 md5 e797b227dba49b6b744f8175b5d7ef52
修改haresources配置文件设置主机点为node1.benet.com 虚拟IP地址为192.168.100.10作用在eth0网卡 集群服务为httpd
1
2
# vim /etc/ha.d/haresources
node1.xmfb.com IPaddr::172.16.4.1/24/eth0 httpd
设置完成复制authkeys、haresources、ha.cf到node2节点
1
2
3
4
# scp authkeys haresources ha.cfnode2:/etc/ha.d/
authkeys 100%652 0.6KB/s 00:00
haresources 100%5951 5.8KB/s 00:00
ha.cf 100% 10KB10.3KB/s00:00
启动heartbeat服务
1
2
# service heartbeat start
# ssh node2 'service heartbeat start'
查看主节点已经启动了80服务和VIP地址
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
# netstat -lnt | grep :80
tcp 0 0 :::80 :::* LISTEN
# ifconfig
eth0 Link encap:EthernetHWaddr00:0C:29:22:C5:C2
inet addr:172.16.4.100 Bcast:172.16.255.255 Mask:255.255.0.0
inet6 addr: fe80::20c:29ff:fe22:c5c2/64 Scope:Link
UPBROADCAST RUNNING MULTICAST MTU:1500Metric:1
RX packets:125042 errors:0 dropped:0overruns:0 frame:0
TXpackets:27145 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RXbytes:148587982 (141.7 MiB)TXbytes:2926379 (2.7 MiB)
eth0:0 Link encap:EthernetHWaddr00:0C:29:22:C5:C2
inet addr:172.16.4.1 Bcast:172.16.4.255 Mask:255.255.255.0
UPBROADCAST RUNNING MULTICAST MTU:1500Metric:1
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UPLOOPBACK RUNNINGMTU:65536Metric:1
RXpackets:0 errors:0 dropped:0 overruns:0 frame:0
TXpackets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RXbytes:0 (0.0 b)TX bytes:0 (0.0 b)
使用VIP地址访问web正常
测试主备转换/usr/lib64/heartbeat/目录下面有很多的测试脚本，其中hb_standby就是将自己转换为被动节点的脚本
# sh /usr/lib64/heartbeat/hb_standby
设置完成之后查看备节点已经启用web服务和虚拟IP地址
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
# netstat -lnt | grep 80
tcp 0 0 :::80 :::* LISTEN
# ifconfig
eth0 Link encap:EthernetHWaddr00:0C:29:F1:DD:B2
inet addr:172.16.4.101 Bcast:172.16.255.255 Mask:255.255.0.0
inet6 addr: fe80::20c:29ff:fef1:ddb2/64 Scope:Link
UPBROADCAST RUNNING MULTICAST MTU:1500Metric:1
RXpackets:26398 errors:0 dropped:0 overruns:0 frame:0
TXpackets:3469 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RXbytes:11756906 (11.2 MiB)TXbytes:454918 (444.2 KiB)
eth0:0 Link encap:EthernetHWaddr00:0C:29:F1:DD:B2
inet addr:172.16.4.1 Bcast:172.16.4.255 Mask:255.255.255.0
UPBROADCAST RUNNING MULTICAST MTU:1500Metric:1
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UPLOOPBACK RUNNINGMTU:65536Metric:1
RXpackets:10 errors:0 dropped:0 overruns:0 frame:0
TXpackets:10 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RXbytes:985 (985.0 b)TX bytes:985 (985.0b)
使用VIP访问web服务，出现的是node2的页面
设置基于nfs的heartbeat集群环境拓扑正常环境，由于VIP地址在node1节点，所以请求会到node1
Node1故障情况：vip地址和httpd以及NFS都会漂移到node2节点继续提供服务。
缺点：在集群中使用NFS就意味这集群中出现了单点，如果生产环境有条件最好使用分布式存储。
NFS服务器端配置
1
2
3
4
5
# mkdir /www
# echo "NFS" >/www/index.html
# vim /etc/exports
/www 172.16.0.0/16(ro)
# service nfs start
NFS客户端配置查看nfs共享目录，客户端不需要挂载，而是由集群资源管理器完成挂载操作
1
2
3
# showmount -e 172.16.4.200
Export list for 172.16.4.200:
/www 172.16.0.0/16
Heartbeat配置Heartbeat的ha.cf和authority文件不需要做任何修改，只需要修改haresources配置文件即可。
配置之前停止heartbeat服务
1
2
# ssh node2 '/etc/init.d/heartbeatstop'
# service heartbeat stop
修改haresources文件
1
2
3
# vim /etc/ha.d/haresources
node1.xmfb.com IPaddr::172.16.4.1/24/eth0 Filesystem::172.16.4.200:/www::/var/www/html::nfshttpd
# scp /etc/ha.d/haresourcesnode2:/etc/ha.d/
配置完成之后启动服务
1
2
# service heartbeat start
# ssh node2 'service heartbeat start'
说明：如果对haresources中NFS资源定义不是特别了解，可以参考下面手动启动NFS设置。
/etc/ha.d/resource.d/Filesystem 172.16.4.200:/www/var/www/html nfs start
就是在启动脚本后面，添加NFS服务器设备，本地挂载位置，设备类型即可。
验证基于nfs的heartbeat集群NFS挂载验证
1
2
# mount
172.16.4.200:/www on /var/www/html type nfs (rw,vers=4,addr=172.16.4.200,clientaddr=172.16.4.1)
Httpd验证
1
2
# netstat -lnt | grep 80
tcp 0 0 :::80 :::* LISTEN
虚拟ip地址验证
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
# ifconfig
eth0 Link encap:EthernetHWaddr 00:0C:29:22:C5:C2
inet addr:172.16.4.100 Bcast:172.16.255.255 Mask:255.255.0.0
inet6 addr: fe80::20c:29ff:fe22:c5c2/64 Scope:Link
UPBROADCAST RUNNING MULTICAST MTU:1500Metric:1
RXpackets:140118 errors:0 dropped:0 overruns:0 frame:0
TXpackets:35448 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RXbytes:150543131 (143.5 MiB)TXbytes:4462618 (4.2 MiB)
eth0:0 Linkencap:EthernetHWaddr00:0C:29:22:C5:C2
inet addr:172.16.4.1 Bcast:172.16.4.255 Mask:255.255.255.0
UPBROADCAST RUNNING MULTICAST MTU:1500Metric:1
lo Link encap:Local Loopback
inet addr:127.0.0.1Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UPLOOPBACK RUNNINGMTU:65536Metric:1
RXpackets:0 errors:0 dropped:0 overruns:0 frame:0
TXpackets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RXbytes:0 (0.0 b)TX bytes:0 (0.0 b)
访问验证
测试主备切换
1
# sh /usr/lib64/heartbeat/hb_standby
查看资源是否转移到备节点
1
2
3
4
5
6
7
8
# mount
172.16.4.200:/www on /var/www/html type nfs(rw,vers=4,addr=172.16.4.200,clientaddr=172.16.4.1)
# netstat -lnt | grep 80
tcp 0 0 :::80 :::* LISTEN
# ifconfig eth0:0
eth0:0 Link encap:EthernetHWaddr00:0C:29:F1:DD:B2
inet addr:172.16.4.1Bcast:172.16.4.255Mask:255.255.255.0
UPBROADCAST RUNNING MULTICAST MTU:1500Metric:1
访问vip出现的还是nfs页面
页:
[1]