Gentoo下keepalived+LVS实验

li26598296

KEEPLIVE+LVS实现高可用服务器集群

　　Keepalived简介（摘自百度百科）

keepalived是一个类似于layer3,4&5交换机制的软件，也就是我们平时说的第3层、第4层和第5层交换。Keepalived的作用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的web服务器。

　　LVS简介（摘自百度百科）

LVS是LinuxVirtualServer的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。章文嵩博士目前工作于阿里集团，主要从事集群技术、操作系统、对象存储与数据库的研究。

　　生产环境网络图及Keepalived+lvs环境实际访问流程
　　
　　实验环境
　　VMware8.0.2下开4台LINUX服务器，WEBreal01和WEBreal02预先配置过LAMP环境，具体配置如下：
　　CPU：单个双核
　　硬盘：20GSATA
　　内存：256M
　　操作系统：Linux-gentoo-3.8.13
　　网络环境，如下图：
　　Geteway:192.168.254.2/24
　　VirtualIP:192.168.254.10/32(掩码32位，保证和4台真实的服务器不在同一个网段)
　　DRMASTER:192.168.254.11/24
　　DRBACKUP:192.168.254.12/24
　　WEBreal01:192.168.254.101/24
　　WEBreal02:192.168.254.102/24
　　
　　实验目的：
实现在DRMASTER服务器出现故障时，DRBACKUP会自动充当DRMASTER角色，实现集群服务器的高可用。
　　所需软件：
　　Ipvsadm管理虚拟服务器软件
　　Keepalived服务器高可用软件
　　实验步骤:
1.重新编译内核添加LVS（Linuxvitualservers）网络支持;//MASTER&BACKUP
1.1内核编译
cd/usr/src/linux
makemenuconfig

Networksupport---> 　　NetworkOptions---> 　　NetworkPacketflilteringframework(Netfilter)---> 　　IPvirtualserversupport 　　 IPvirtualserverdebugging 　　(12)IPVSconnectiontablesize(theNthpowerof2) 　　 TCPloadbalancingsupport 　　 UDPloadbalancingsupport 　　round-robinscheduling 　　weightedround-robinscheduling 　　least-connectionscheduling 　　weightedleast-connectionscheduling

make&&makemodels_install

cparch/i386/boot/bzImage/boot/gentoo-kernel-3.8.13-lvs

通过以上编译，LVS服务器支持两种协议（TCP/UDP）四种调度算法（rr/wrr/lc/wlc）的负载均衡，如果有其他需要可以另外添加。

1.2grub启动菜单编辑

vi/boot/grub/grub.conf

titleGentooLinux3.8.13-gentoo-lvs root(hd0,0) kernel/boot/kernel-3.8.13-gentoo-lvsroot=/dev/sda3

1.3重启系统选择kernel-3.8.13-gentoo-lvs登录

2.ipvsadm的安装

USE="static-libs"emerge-avlibnlpoptipvsadm;//MASTER&BACKUP

3.keepalived的安装

emerge-avkeepalived;//MASTER&BACKUP

4.开启负责路由机制

vi/sbin/sysctl.conf;//MASTER&BACKUP

net.ipv4.ip_forward=1 net.ipv4.conf.default.rp_filter=1 net.ipv4.conf.all.rp_filter=1 net.ipv4.conf.all.accept_source_route=0 net.ipv4.conf.all.accept_redirects=0

sysctl-p;//查看

5.touch/var/lib/ipvsadm/roules-save;//否则会报错,MASTER&BACKUP

chmod755-R/var/lib/ipvadm/roules-save

6.在DRMASTER和DRBACKUP编写lvs-master.sh/lvs-backup.sh，脚本见附件

Ifconfig查看虚拟子端口

Ipvsadm–ln查看虚拟服务器状态

7.在WEBREAL01和WEBREAL02上编写realserver.sh,脚本见附件

8.编辑keepalived的配置文件

Cp/etc/keepalived/keepalived.conf/etc/keepalived/keepalived.conf.bak

Vi/etc/keepalived/keepalived.conf

DRMASTER配置文件

见附件keepalived-master.conf

DRBACKUP配置文件

见附件keepalived-backup.conf

9.WEBREAL01&WEBREAL02上的sysctl.conf配置

Vi/etc/sysctl.conf

net.ipv4.ip_forward=0 net.ipv4.conf.default.rp_filter=1 net.ipv4.conf.all.rp_filter=1 net.ipv4.conf.lo.arp_ignore=1 net.ipv4.conf.lo.arp_announce=2 net.ipv4.conf.all.arp_ignore=1 net.ipv4.conf.all.arp_announce=2

10.运行DRMASTER&DRBACKUP脚本

Shlvs.shstart

Ifconfig查看虚拟子端口

Ipvsadm–ln查看虚拟服务器状态

11.运行WEBREAL01&WEBREAL02上的脚本

Shlvs.shstart

12.开启keepalived服务

/etc/init.d/keepalivedstart

Rc-updateaddkeepaliveddefault

13．测试

13.1打开DRMASTER&DRBACKUP上日志文件

Tail–f/var/log/messages

13.2重新打开一个终端连接到DRMARSTER

关闭keepalived服务，或者直接在DRMASTER上关闭网络，留意DRBACKUP上日志的变化

打开keeplived服务，留意DRBACKUP上日志的变化

DRMASTER上的日志变化

到这里说明keepalived高可用已经起作用了

13.3测试2

在realserver01上，vi/var/www/localhost/htdocs/index.php,添加

Thisisrealserver01,Ipaddressis192.168.254.101

在realserver02上，vi/var/www/localhost/htdocs/index.php,添加

Thisisrealserver02,Ipaddressis192.168.254.102

找两台可以访问192.168.254.0/24网段的机器，打开浏览器，访问http://192.168.254.10，如果是做的轮询，应该是101和102都有访问，关闭其中一台realserver看是否可以正常访问另一台，注意：keepalived.conf中的persistence_timeout（登录保留时间限制，测试的时候可以注销掉）配置。

14.遇到的问题

14.1LVS不转发到实际的服务

　　故障原因：内核编译少了下面两项，就是TCP和UDP负载均衡支持。
　　

TCPloadbalancingsupport
　　

UDPloadbalancingsupport
　　
14.2负载均衡轮询机制没有起作用，所有的都转发到realserver02上，关闭
realserver02以后LVS又不能转发
故障原因：keepalived配置文件中mcast_src_ip选项都配置成了mcast_src_ip
192.168.254.11，将BACKUP机器修改为192.168.254.12，问题解决！

附1：keepalived.conf配置

脚本见附件keepalived.conf

附2：LVS的简单说明

lvs目前有三种IP负载均衡技术（VS/NAT、VS/TUN和VS/DR）；

八种调度算法（rr,wrr,lc,wlc,lblc,lblcr,dh,sh）。
在调度器的实现技术中，IP负载均衡技术是效率最高的。在已有的IP负载均衡技术中有通过网络地址转换（NetworkAddressTranslation）将一组服务器构成一个高性能的、高可用的虚拟服务器，我们称之为VS/NAT技术（VirtualServerviaNetworkAddressTranslation），大多数商品化的IP负载均衡调度器产品都是使用此方法，如Cisco的LocalDirector、F5的Big/IP和Alteon的ACEDirector。在分析VS/NAT的缺点和网络服务的非对称性的基础上，我们提出通过IP隧道实现虚拟服务器的方法VS/TUN（VirtualServerviaIPTunneling），和通过直接路由实现虚拟服务器的方法VS/DR（VirtualServerviaDirectRouting），它们可以极大地提高系统的伸缩性。所以，IPVS软件实现了这三种IP负载均衡技术，它们的大致原理如下（我们将在其他章节对其工作原理进行详细描述），

VirtualServerviaNetworkAddressTranslation（VS/NAT）
通过网络地址转换，调度器重写请求报文的目标地址，根据预设的调度算法，将请求分

派给后端的真实服务器；真实服务器的响应报文通过调度器时，报文的源地址被重写，再返

回给客户，完成整个负载调度过程。

VirtualServerviaIPTunneling（VS/TUN）
采用NAT技术时，由于请求和响应报文都必须经过调度器地址重写，当客户请求越来越

多时，调度器的处理能力将成为瓶颈。为了解决这个问题，调度器把请求报文通过IP隧道

转发至真实服务器，而真实服务器将响应直接返回给客户，所以调度器只处理请求报文。由

于一般网络服务应答比请求报文大许多，采用VS/TUN技术后，集群系统的最大吞吐量可以

提高10倍。

VirtualServerviaDirectRouting（VS/DR）
VS/DR通过改写请求报文的MAC地址，将请求发送到真实服务器，而真实服务器将响应

直接返回给客户。同VS/TUN技术一样，VS/DR技术可极大地提高集群系统的伸缩性。这种

方法没有IP隧道的开销，对集群中的真实服务器也没有必须支持IP隧道协议的要求，但是

要求调度器与真实服务器都有一块网卡连在同一物理网段上。

针对不同的网络服务需求和服务器配置，IPVS调度器实现了如下八种负载调度算法：使用比较多的是以下四种：

轮叫（RoundRobin）
调度器通过"轮叫"调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均

等地对待每一台服务器，而不管服务器上实际的连接数和系统负载。

加权轮叫（WeightedRoundRobin）
调度器通过"加权轮叫"调度算法根据真实服务器的不同处理能力来调度访问请求。这样

可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载

情况，并动态地调整其权值。

最少链接（LeastConnections）
调度器通过"最少连接"调度算法动态地将网络请求调度到已建立的链接数最少的服务

器上。如果集群系统的真实服务器具有相近的系统性能，采用"最小连接"调度算法可以较好

地均衡负载。

加权最少链接（WeightedLeastConnections）
在集群系统中的服务器性能差异较大的情况下，调度器采用"加权最少链接"调度算法优

化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动

问询真实服务器的负载情况，并动态地调整其权值。

附件：http://down.运维网.com/data/2363340