LVS + keepalive 前端高可用负载均衡器的实现
一、Keepalived详解1、什么是keepalived
keepalived是个基于VRRP协议来实现的LVS服务高可用方案，可以用来避免单点故障。一个LVS服务包含两台运行着keepalived服务的服务器，一台为主服务器（MASTER），一台为备份服务器（BACKUP），但是对外只表现为一个虚拟IP（VIP），主服务器会发送特定的消息给备份服务器。如果主服务器宕机时，备份服务器就收不到这个消息，此时备份服务器就会接管虚拟IP，继续提供服务，以实现高可用。
2、VRRP协议
在现实网络中，两台主机之间并没有直接的物理连接，在这种情况下，该如何进行路由选择呢？通常有两种方式：第一，在主机上配置动态路由协议，比如RIP，OSPF等；第二，在主机上配置静态路由。在主机上配置动态路由协议成本较高，所以静态路由协议就比较流行。但路由器往往会成为单点故障。
VRRP的目的就是为了解决静态路由单点故障问题，VRRP通过竞选(election)协议，动态的将路由任务交给虚拟路由器中的某台VRRP路由器。
3、VRRP工作机制
在一个VRRP虚拟路由器中，有多台物理的VRRP路由器，但是这多台的物理的机器并不能同时工作，而是由一台称为MASTER的负责路由工作，其它的都是BACKUP。MASTER并非一成不变，VRRP让每个VRRP路由器参与竞选，最终获胜的就是MASTER。MASTER拥有一些特权，比如，拥有虚拟路由器的IP地址，我们的主机就是用这个IP地址作为静态路由的。拥有特权的MASTER要负责转发发送给网关地址的包和响应ARP请求。
VRRP通过竞选协议来实现虚拟路由器的功能，所有的协议报文都是通过多播(multicast)(多播地址224.0.0.18)形式发送的。虚拟路由器由VRID(范围0-255)和一组IP地址组成，对外表现为一个MAC地址。所以，在一个虚拟路由 器中，不管谁是MASTER，对外都是相同的MAC和IP(即VIP)。
在一个虚拟路由器中，只有作为MASTER的VRRP路由器会一直发送VRRP通告信息，BACKUP不会抢MASTER，除非它的优先级(priority)更高。当MASTER不可用时(BACKUP收不到通告信息)， 多台BACKUP中优先级最高的这台会被抢占为MASTER。这种抢占是非常快速的(<1s)，以保证服务的连续性。
4、VRRP工作流程
（1）初始化
路由器启动时，如果路由器的优先级是255(最高优先级，路由器拥有路由器地址)，要发送VRRP通告信息，并发送广播ARP信息通告路由器IP地址对应的MAC地址为路由虚拟MAC，设置通告信息定时器准备定时发送VRRP通告信息，转为MASTER状态；否则进入BACKUP状态，设置定时器检查定时检查是否收到MASTER的通告信息。
（2）Master
二、实验环境
1.使用Centos6.6系统，在虚拟机上克隆了4台。分别为：
Node1:192.168.1.119 作为RS1
Node2:192.168.1.120 作为RS2
Master：192.168.1.121
Slave：192.168.1.122
VIP：192.168.1.215
2.时间同步
node1
1
#ntpdate 202.120.2.101
node2
1
#ntpdate 202.120.2.101
Master
1
#ntpdate 202.120.2.101
Slave
1
#ntpdate 202.120.2.101
3.主机名解析
node1
1
2
3
4
5
6
# cat /etc/hosts
127.0.0.1localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
172.16.0.1 server.magelinux.com server
192.168.1.119 node1.zhoushuyu.com node1
192.168.1.120 node2.zhoushuyu.com node2
把该配置文件传递给node2
1
# scp /etc/hosts192.168.1.120:/etc/
三、实现过程
node1
1.安装httpd
1
# yum install httpd
2.配置httpd
1
2
# vim /var/www/html/index.html
<h1>RS1</h1>
3.启动httpd服务
1
# service httpd start
4.测试
5.设置开机自启动
1
2
3
# chkconfig httpd on
# chkconfig httpd --list
httpd 0:off 1:off 2:on 3:on 4:on 5:on 6:off
6.配置node1
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
#mkdir src
#cd src
# vim realserver.sh
#!/bin/bash
./etc/rc.d/init.d/functions
VIP=192.168.1.215
host=`/bin/hostname`
case"$1" in
start)
/sbin/ifconfig lo down
/sbin/ifconfig lo up
echo 1 >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 >/proc/sys/net/ipv4/conf/lo/arp_announce
echo 1 >/proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 >/proc/sys/net/ipv4/conf/all/arp_announce
/sbin/ifconfig lo:0 $VIP broadcast $VIPnetmask 255.255.255.255 up
/sbin/route add -host $VIP dev lo:0
;;
stop)
/sbin/ifconfig lo:0 down
echo 0 >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo 0 >/proc/sys/net/ipv4/conf/lo/arp_announce
echo 0 >/proc/sys/net/ipv4/conf/all/arp_ignore
echo 0 >/proc/sys/net/ipv4/conf/all/arp_announce
;;
status)
islothere=`/sbin/ifconfig lo:0 | grep$VIP`
isrothere=`netstat -rn | grep"lo:0" | grep $VIP`
if [ ! "$islothere" -o !"$isrothere" ];then
echo "RS Stopped"
else
echo "RS Running"
fi
;;
*)
echo "$0: Usage:$0{start|status|stop}"
exit 1
;;
esac
# chmod +x realserver.sh
# ll
total 4
-rwxr-xr-x 1root root 985 Oct 21 12:03 realserver.sh
# ./realserver.sh start
7.查看配置
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
# ifconfig
eth1 Link encap:EthernetHWaddr 00:0C:29:DC:10:96
inet addr:192.168.1.119Bcast:192.168.1.255Mask:255.255.255.0
inet6 addr:fe80::20c:29ff:fedc:1096/64 Scope:Link
UP BROADCAST RUNNING MULTICASTMTU:1500Metric:1
RX packets:4706 errors:0 dropped:0overruns:0 frame:0
TX packets:2293 errors:0 dropped:0overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:2440828 (2.3 MiB)TX bytes:302434 (295.3 KiB)
lo Link encap:Local Loopback
inet addr:127.0.0.1Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNINGMTU:65536 Metric:1
RX packets:0 errors:0 dropped:0overruns:0 frame:0
TX packets:0 errors:0 dropped:0overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 b)TX bytes:0 (0.0 b)
lo:0 Link encap:Local Loopback
inet addr:192.168.1.215Mask:255.255.255.255
UP LOOPBACK RUNNINGMTU:65536 Metric:1
# route -n
Kernel IProuting table
Destination Gateway Genmask Flags Metric Ref Use Iface
168.1.215 0.0.0.0 255.255.255.255 UH 0 0 0 lo
168.1.0 0.0.0.0 255.255.255.0 U 1 0 0 eth1
0.0.0 192.168.1.1 0.0.0.0 UG 0 0 0 eth1
# cat /proc/sys/net/ipv4/conf/lo/arp_ignore
1
# cat /proc/sys/net/ipv4/conf/lo/arp_announce
2
# cat /proc/sys/net/ipv4/conf/all/arp_ignore
1
# cat /proc/sys/net/ipv4/conf/all/arp_announce
2
node2
1.配置httpd，并启动服务
1
2
3
# vim /var/www/html/index.html
<h1>RS2</h1>
# service httpd start
2.测试
3.设置开机自启动
1
2
3
# chkconfig httpd on
# chkconfig httpd --list
httpd 0:off 1:off 2:on 3:on 4:on 5:on 6:off
4.配置node2
1
2
3
4
5
# mkdir src
# cd src
在node1上将realserver.sh传过来
# scp realserver.sh192.168.1.120:/root/src/
# ./realserver.sh start
5.查看配置
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
# ifconfig
eth1 Link encap:EthernetHWaddr 00:0C:29:CB:6B:06
inet addr:192.168.1.120Bcast:192.168.1.255Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:fecb:6b06/64Scope:Link
UP BROADCAST RUNNING MULTICASTMTU:1500 Metric:1
RX packets:2986 errors:0 dropped:0overruns:0 frame:0
TX packets:1398 errors:0 dropped:0overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:2292870 (2.1 MiB)TX bytes:143620 (140.2 KiB)
lo Link encap:Local Loopback
inet addr:127.0.0.1Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNINGMTU:65536 Metric:1
RX packets:0 errors:0 dropped:0overruns:0 frame:0
TX packets:0 errors:0 dropped:0overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 b)TX bytes:0 (0.0 b)
lo:0 Link encap:Local Loopback
inet addr:192.168.1.215Mask:255.255.255.255
UP LOOPBACKRUNNINGMTU:65536Metric:1
# route -n
Kernel IProuting table
Destination Gateway Genmask Flags Metric Ref Use Iface
168.1.215 0.0.0.0 255.255.255.255 UH 0 0 0 lo
168.1.0 0.0.0.0 255.255.255.0 U 1 0 0 eth1
0.0.0 192.168.1.1 0.0.0.0 UG 0 0 0 eth1
# cat /proc/sys/net/ipv4/conf/lo/arp_announce
2
# cat /proc/sys/net/ipv4/conf/lo/arp_ignore
1
# cat /proc/sys/net/ipv4/conf/all/arp_ignore
1
# cat /proc/sys/net/ipv4/conf/all/arp_announce
2
master(192.168.1.121)和slave(192.168.1.222)
1.安装keepalived和ipvsadm
1
yum install keepalived ipvsadm -y
2.修改配置文件
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
!Configuration File for keepalived
global_defs{
notification_email {
root@localhost
}
notification_email_fromAlexandre.Cassen@firewall.loc
smtp_server 172.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_instanceVI_1 {
state MASTER
interface eth1
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass f6de2fd2
}
virtual_ipaddress {
192.168.1.215
}
}
virtual_server192.168.1.215 80 {
delay_loop 6
lb_algo rr
lb_kind DR
nat_mask 255.255.255.0
#persistence_timeout 50
protocol TCP
real_server 192.168.1.119 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 2
nb_get_retry 3
delay_before_retry 1
}
}
real_server 192.168.1.120 80 {
weight 1
HTTP_GET {
url {
path /
status_code 200
}
connect_timeout 2
nb_get_retry 3
delay_before_retry 1
}
}
}
3.将配置文件传递给192.168.1.122
1
# scp keepalived.conf 192.168.1.122:/etc/keepalived/
4.修改一下.122主机上的配置文件
1
2
state BACKUP
priority 99
5.启动Master和Slave上的keepalived服务
1
# service keepalived start
6.查看LVS状态
1
2
3
4
5
6
7
# ipvsadm -L -n
IP VirtualServer version 1.2.1 (size=4096)
ProtLocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP192.168.1.215:80 rr
-> 192.168.1.119:80 Route 1 0 0
->192.168.1.120:80 Route 1 0 0
7.使用ip addr list 查看，此处VIP在Master主机上
模拟故障
1.停止node1
1
2
# service httpd stop
Stoppinghttpd:
2.在master上查看lvs
1
2
3
4
5
6
# ipvsadm -L -n
IPVirtual Server version 1.2.1 (size=4096)
ProtLocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP192.168.1.215:80 rr
->192.168.1.120:80 Route 1 0 0
3.测试
此时只能在slave上请求到node2
重启node1
1
2
# service httpd start
Starting httpd: httpd: Could not reliablydetermine the server's fully qualified domain name, using 211.98.71.195 forServerName
再次查看lvs状态
4.关闭master上的keepalived
1
2
#service keepalived stop
Stoppingkeepalived:
5.查看slave的状态
slave已经拿到了VIP192.168.1.215 在master上执行如下命令 说明slave已经接替了master
配置sorry server
当所有的RS都宕机后，客户端访问时会出现错误页面，这将使很不友好的；所以我们要提供一个维护页面来提醒用户。1.在master和slave上安装httpd
1
# yum install httpd
2.配置维护页面
1
# vim /var/www/html/index.html
3.启动httpd服务并测试
1
# service httpd start
4.修改配置文件，在文件的末尾加入一行
1
sorry_server 127.0.0.1 80
5.关闭所有RS
1
2
3
# service httpd stop
重启master和slave的keepalived
# service keepalived restart
6.查看一下master和slave上的lvs
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# ipvsadm -L -n
IPVirtual Server version 1.2.1 (size=4096)
ProtLocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP192.168.1.215:80 rr
->127.0.0.1:80 Local 1 0 0
这是slave上的：
# ipvsadm -L -n
IPVirtual Server version 1.2.1 (size=4096)
ProtLocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP192.168.1.215:80 rr
-> 127.0.0.1:80 Local 1 0 0
You have new mail in /var/spool/mail/root
7.测试
如何完成维护模式下keepalived的切换？
1.修改配置文件
1
2
3
4
5
6
7
8
9
10
11
12
在global_defs {} 和vrrp_instanceVI_1{}之间加入如下内容
vrrp_scriptchk_schedown {
svript "[ -e /etc/keepalived/down ]&& exit 1 || exit 0"
interval 1
weight -5
fall 2
rise 1
}
在vrrp_instance VI_1{}中加入如下内容
track_script{
chk_schedown
}
2.测试
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
在master上创建一个down，然后ip addr list 查看VIp是否已经转移到slave上。
# touch down
# ip addr list
1: lo:<LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
2: eth1:<BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen1000
link/ether 00:0c:29:27:c6:65 brdff:ff:ff:ff:ff:ff
inet 192.168.1.121/24 brd 192.168.1.255scope global eth1
inet6 fe80::20c:29ff:fe27:c665/64 scopelink
valid_lft forever preferred_lft forever
3: pan0:<BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN
link/ether e6:55:94:ce:b7:1d brd ff:ff:ff:ff:ff:ff
在slave上
这样就完成了通过监控脚本实现维护模式的切换
页:
[1]