LVS+heartbeat 高可用LINUX服务器

go4321 发表于 2019-1-5 08:44:05

LVS+heartbeat 高可用LINUX服务器

主ha服务器设置：

主机名    lvs.abc.com

Ip地址    eth0：192.168.50.9

         eth1：192.168.60.9

从ha服务器设置：

主机名    lvs1.abc.com

IP地址    eth0:192.168.50.8

         Eth1:192.168.60.8

Realserver1 设置

主机名    web1.abc.com

IP地址    eth0:192.168.50.5

         Eth1:192.168.60.5

Realserver2 设置

主机名    web2.abc.com

IP地址    eth0:192.168.50.6

         Eth1:192.168.60.6

实验拓扑图：
http://blog.运维网.com/attachment/201209/145507305.jpg

Heartbeat 安装依赖和支持软件：

[*]yum –y install libnet*
[*]yum –y install heartbeat*
[*]yum -y install heartbeat
[*]yum –y install ipvsadm*

配置haeartbeat：

复制配置文件

[*]cp /usr/share/doc/heartbeat-2.1.3/ha.cf /etc/ha.d/
[*]cp /usr/share/doc/heartbeat-2.1.3/authkeys /etc/ha.d/
[*]cp /usr/share/doc/heartbeat-2.1.3/haresources /etc/ha.d/
[*]cp /usr/share/doc/heartbeat-ldirectord-2.1.3/ldirectord.cf /etc/ha.d/

修改配置文件/etc/ha.d/ha.cf

[*]vim /etc/ha.d/ha.cf

[*]logfile /var/log/ha-log
[*]debugfile /var/log/ha-debug
[*]logfacility local0
[*]keepalive 2 #主从切换的保持时间
[*]deadtime 30 #宣布对方死亡时间
[*]warntime 10 #警告时间
[*]udpport 694 #主从之间的通信端口
[*]ucast eth0 192.168.50.8#采用单播方式探测心跳，bcast是广播方式；后面的地址是对端地址
[*]auto_failback on #自动恢复，就是说如果主从故障中恢复会抢回主的位置
[*]node lvs.abc.com #主节点主机名 hostname后的名称
[*]node lvs1.abc.com#从节点主机名 hostname后的名称
[*]ping 192.168.50.8 （最好是网关地址）
[*]ping_group group1 192.168.50.8 192.168.50.9
[*]ping_group group1 192.168.60.8 192.168.60.9
[*]respawn hacluster /usr/lib/heartbeat/ipfail
[*] #如果是64位系统，则目录应该为/usr/lib64/heartbeat/ipfail
[*]apiauth ipfail gid=haclient uid=hacluster#用户已经自动建立

修改authkeys 验证文件

[*]vim /etc/ha.d/authkeys

[*]auth 2       #去掉下面哪行的注释就填上哪行的行号，此文件主从必须一样。
[*]#1 crc       #crc算法是求和
[*]2 sha1 HI!    #sha1是hash加密 HI！是被加密的值
[*]#3 md5 Hello! # md5 加密 hello 加密值

设置验证权限authkeys 的权限（注意：此文件主从必须都是600的权限）

[*]chmod 600 /etc/ha.d/authkeys

修改ldirectord.cf资源管理文件

[*]vim /etc/ha.d/ldirectord.cf

[*]checktimeout=3 #隔3秒没有收到realserver的返回页面，ha认定宕机服务将不使用
[*]#该realserver提供服务.
[*]checkinterval=1 #间隔1秒访问一次real根目录的test.html文件
[*]#fallback=127.0.0.1:80# 此处针对全局下面的fallback 是针对局部的。
[*]autoreload=yes    #当realserver 恢复正常后自动加入队列提供服务
[*]logfile="/var/log/ldirectord.log"#log日志的路径
[*]logfile="local0"
[*]emailalert=XXXXX@fantong.com #接收告警邮件的邮箱
[*]emailalertfreq=3600
[*]emailalertstatus=all
[*]quiescent=no
[*]# Sample for an http virtual service
[*]virtual=192.168.50.80:80    #virtual IP 对外IP
[*] real=192.168.50.5:80 gate Weight 8 #真实服务器必须空4格，Weight 是权重。
[*] real=192.168.50.6:80 gate Weight 10 #权重高对应的承载能力就高
[*] #real=192.168.6.6:80 gate
[*]
[*] fallback=127.0.0.1:80 gate    #real机器全部宕机由谁来承担。
[*] service=http
[*] scheduler=wrr                #轮询加权
[*] protocol=tcp                   #tcp协议也支持UDP协议
[*] checktype=negotiate #很多种选择默认是negotiate通过页面来检测rs
[*] checkport=80                #检测的端口
[*] request="test.html"       #验证文件必须位于rs机器的网页根目录
[*] receive="Test Page"          #验证文件的内容必须相同
[*] #virtualhost=www.x.y.z

修改/etc/ha.d/haresources文件

[*]vim /etc/ha.d/haresources

[*]lvs.abc.com 192.168.50.80 lvs ldirectord
[*] #主ha的主机名 + virtual ip（对外提供的IP）+ 需要启动的服务（lvs是下面脚本的名称）

写资源脚本lvs 文件（注意需要根据自身情况修改网卡名）

[*]vim /etc/init.d/lvs

[*]#!/bin/bash
[*] # description: start LVS of DirectorServer
[*] #Written by :NetSeekhttp://www.linuxtone.org GW=192.168.1.254
[*]
[*] # website director vip.
[*] GW=192.168.50.80    #网关地址千万不要填错了，否则你的辅助(浮动)ip是无法访问的。
[*] WEB_VIP=192.168.50.80#virtual ip 对外的唯一IP
[*] WEB_RIP1=192.168.50.5
[*] WEB_RIP2=192.168.50.6
[*] #WEB_RIP3=1.1.1.18
[*] #WEB_RIP3=1.1.1.19
[*] . /etc/rc.d/init.d/functions
[*] logger $0 called with $1
[*] case "$1" in
[*] start)
[*] # Clear all iptables rules.
[*] /sbin/iptables -F
[*] #这个地方要注意一下，如果公司最外端有防火墙，就可以清空iptables内容(都做允许，或#者停止)，把改行注释掉；如果没有就需要有防火墙了，自己写策略或者写脚本。
[*] # Reset iptables counters.
[*] /sbin/iptables -Z
[*] #同上
[*] # Clear all ipvsadm rules/services.
[*] /sbin/ipvsadm -C
[*] #set lvsvip for dr
[*] /sbin/ipvsadm --set 30 5 60
[*] /sbin/ifconfig eth0:0 $WEB_VIP broadcast $WEB_VIP netmask 255.255.255.255 up
[*]
[*] /sbin/route add -host $WEB_VIP dev eth0:0
[*] /sbin/ipvsadm -A -t $WEB_VIP:80 -s wrr -p 3
[*] /sbin/ipvsadm -a -t $WEB_VIP:80 -r $WEB_RIP1:80 -g -w 1
[*]
[*] /sbin/ipvsadm -a -t $WEB_VIP:80 -r $WEB_RIP2:80 -g -w 2
[*]
[*] #/sbin/ipvsadm -a -t $WEB_VIP:80 -r $WEB_RIP3:80 -g -w 1
[*]
[*] #/sbin/ipvsadm -a -t $WEB_VIP:80 -r $WEB_RIP4:80 -g -w 1
[*]
[*] touch /var/lock/subsys/ipvsadm>/dev/null 2>&1
[*]
[*] # set Arp
[*] /sbin/arping -I eth0 -c 5 -s $WEB_VIP $GW >/dev/null 2>&1
[*]
[*] ;;
[*] stop)
[*] /sbin/ipvsadm -C
[*] /sbin/ipvsadm -Z
[*] ifconfig eth0:0 down
[*] route del $WEB_VIP >/dev/null 2>&1
[*]
[*] rm -rf /var/lock/subsys/ipvsadm>/dev/null 2>&1
[*]
[*] /sbin/arping -I eth0 -c 5 -s $WEB_VIP $GW
[*] echo "ipvsadmstoped"
[*] ;;
[*] status)
[*] if [ ! -e /var/lock/subsys/ipvsadm ];then
[*] echo "ipvsadm is stoped"
[*] exit 1
[*] else
[*] ipvsadm -ln
[*] echo "..........ipvsadm is OK."
[*] fi
[*] ;;
[*] *)
[*] echo "Usage: $0 {start|stop|status}"
[*]
[*] exit 1
[*] esac
[*] exit 0

以上文件写好之后，做如下操作

[*]chmod 755 /etc/init.d/lvs
[*]ln –s /etc/init.d/lvs /etc/ha.d/resource.d/lvs

#ldirectord 启动的时候会从/etc/init.d和 /etc/ha.d/resource.d 下搜索资源（这里说的资源#就是指脚本）

设置heartbeat ipvsadm 的开机自启动

[*]Chkconfig heartbeat on
[*] Chkconfig ipvsadm on

从ha服务器设置：

同样安装所有的依赖和支持软件，操作和主-ha一样的

其他配置文件相同通过scp 从主ha上拷贝修改即可。

[*]scp root@192.168.50.9:/etc/ha.d/* /etc/ha.d/

复制资源脚本

[*]scp root@192.168.50.9:/etc/init.d/lvs /etc/init.d/lvs

复制完成后修改ha.cf，其他文件保持一致不必修改（注意看看authkeys的权限）

ucast 192.168.50.9#单播方式探测心跳，跟的是对端地址主ha的IP地址

ping 192.168.50.9

资源脚本的链接

[*]chmod 755 /etc/init.d/lvs
[*] ln –s /etc/init.d/lvs /etc/ha.d/resource.d/lvs

realserver 真实服务器的配置

创建脚本（用来屏蔽arp，否则会和其他机器产生冲突）：

[*]vim /usr/local/real.sh

[*]#/bin/sh
[*] VIP=192.168.50.80                      #virtual ip的地址
[*] source /etc/rc.d/init.d/functions
[*] case "$1" in
[*] start)
[*] echo "start LVS of RealServer"
[*] /sbin/ifconfig lo:0 ${VIP} broadcast ${VIP} netmask 255.255.255.255 up
[*]
[*] echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
[*]
[*] echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
[*]
[*] echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
[*] echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
[*]
[*] ;;
[*] stop)
[*] /sbin/ifconfig lo:0 down
[*] echo "Close LVS of RealServer"
[*] echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
[*]
[*] echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
[*]
[*] echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
[*] echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
[*]
[*] ;;
[*] *)
[*] echo "wrong,please use start|stop"
[*]
[*] exit 1
[*] esac

保存脚本退出

修改权限：

[*]Chmod 755 /usr/local/real.sh

加入启动：

[*]Vim /etc/rc.local
[*] /usr/local/real.sh start

保存后退出

创建index.html test.html2个文件

[*]Vim /var/www/html/index.html

[*]test 192.168.50.5

另外的realserver机器写test 192.168.50.6 方便测试

vim /var/www/html/test.html

#这个文件和/etc/ha.d/ldirectord.cf下的receive="Test Page"选项内容保持一致.

否则该机器将无法正常提供服务

主从服务器和真实服务器配置完成.

测试部分

启动主ha服务器

Service heartbeat start
http://blog.运维网.com/attachment/201209/160110771.jpg

tail –F /var/log/ha-log
http://blog.运维网.com/attachment/201209/160253374.jpg

tail –F /var/log/message
http://blog.运维网.com/attachment/201209/160309335.jpg

Heartbeat 正常启动

我们看看网卡是不是正常获取到了virtual ip
http://blog.运维网.com/attachment/201209/160324396.jpg

看到了吧eth0:0 已经获得了192.168.50.80 的虚拟IP地址了

下面我们看看ipvsadm 的状况：
http://blog.运维网.com/attachment/201209/160413783.jpg

正常的找到了realserver 机器。

从机器也同样启动 heartbeat

Tail –F /var/log/ha-log
http://blog.运维网.com/attachment/201209/161009206.jpg

正常启动

Ipvsadm 和ifconfig
http://blog.运维网.com/attachment/201209/161101244.png

由于是从机器必须探测到主机器故障后才能启动LVS 和资源等。

访问http://192.168.50.80

就可以看到test 192.168.50.5 按ctrl+F5 就能看到test 192.168.50.6 之间切换。

按F5 刷新之后看主ha的ipvsadm –L –n –stats
http://blog.运维网.com/attachment/201209/161156615.jpg

页: [1]

运维网's Archiver

LVS+heartbeat 高可用LINUX服务器