lvs配置使用篇

???紵

　　1. lvs安装

　　根据内核选版本，我的内核是2.6.18，所以用1.24版本
　　[root@DS1 ~]# wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz
　　[root@DS1 ~]# tar zxvf ipvsadm-1.24.tar.gz

　　[root@DS1 ~]# cd ipvsadm-1.24

　　[root@DS1 ipvsadm-1.24]# make  如果make报错，需要执行

　　[root@DS1 kernels]# ln -s /usr/src/kernels/2.6.18-371.11.1.el5-x86_64/ /usr/src/linux

　　如果/usr/src/kernels目录下是空的，则先执行
　　[root@DS1 kernels]# yum install  kernel-devel
　　[root@DS1 ipvsadm-1.24]# make&&make install

　　[root@DS1 ipvsadm-1.24]# ipvsadm
　　IP Virtual Server version 1.2.1 (size=4096)
　　Prot LocalAddress:Port Scheduler Flags
　　-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
　　至此 lvs安装完成
　　2. 配置lvs-DR(无高可用)
　　拓扑图

　　使用如下脚本配置
　　注意：dr模式不需要开启ip转发，REAL server上必须开启虚拟ip和抑制arp
　　+++++++++++++++++++++++++++++Direct server+++++++++++++++++++++++++++++++++++++++++++++++++++++++、
　　#!/bin/bash
　　# description: Start LVS of Director server
　　VIP=192.168.137.201
　　RIP1=192.168.137.10
　　RIP2=192.168.137.20
　　case "$1" in
　　start)
　　echo " start LVS of Director Server"
　　# set the Virtual  IP Address and sysctl parameter
　　/sbin/ifconfig eth0:0 $VIP broadcast $VIP netmask 255.255.255.255 up
　　 echo "1" >/proc/sys/net/ipv4/ip_forward   #dr模式下此动作可以省略
　　#Clear IPVS table
　　/sbin/ipvsadm -C
　　#set LVS
　　/sbin/ipvsadm -A -t $VIP:80 -s rr -p 120
　　/sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g
　　/sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g
　　#Run LVS
　　/sbin/ipvsadm
　　;;
　　stop)
　　echo "close LVS Directorserver"
　　echo "0" >/proc/sys/net/ipv4/ip_forward
　　/sbin/ipvsadm -C
　　/sbin/ifconfig eth0:0 down
　　;;
　　*)
　　echo "Usage: $0 {start|stop}"
　　exit 1
　　esac
　　===========================REAL server=================================================
　　#!/bin/bash
　　#description; Start real server
　　VIP=192.168.137.201
　　case "$1" in
　　start)
　　echo " Start LVS of Real Server"
　　/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
　　/sbin/route add -host $VIP dev lo:0   #dr模式下此动作可以省略。
　　echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
　　echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
　　echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
　　echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
　　;;
　　stop)
　　/sbin/ifconfig lo:0 down
　　echo " Stop LVS of Real Server"
　　echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
　　echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
　　echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
　　echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
　　;;
　　*)
　　echo "Usage: $0 {star|stop}"
　　exit 1
　　esac
　　测试效果：
　　因为我们加入了-p 120 两分钟的会话保持时间。如果从一个浏览器测试，请求会始终往一台机器上转发这个是正常的。
　　[root@DS1 init.d]# ipvsadm -L
　　IP Virtual Server version 1.2.1 (size=4096)
　　Prot LocalAddress:Port Scheduler Flags
　　-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
　　TCP  192.168.137.201:http rr persistent 120
　　-> 192.168.137.20:http          Route   1      2          6
　　-> 192.168.137.10:http          Route   1      0          0
　　[root@DS1 init.d]#
　　此时请求都转给了192.168.137.20，这个时候我们把192.168.137.20上的apache停止，再刷新页面的时候会提示找不到页面。这就是lvs和nginx的区别，lvs不会自己检测real server的健康状态，而nginx有端口检测机制，一旦一台real server故障，nginx自己会检测并将其剔除。lvs实现此功能需要keepalived的tcpcheck或者用脚本实现。
　　3. lvs-NAT(无高可用)
　　注: nat模式的real server不需要虚拟ip和抑制arp
　　nat模式也可以不需虚拟ip，可以直接用dr的物理网卡ip
　　nat模式下real server不限制操作系统类型。
　　nat模式可以做端口映射
　　拓扑图

　　+++++++++++++++++++++++++++++Direct server+++++++++++++++++++++++++++++++++++++++++++++++++++++++
　　#!/bin/bash
　　# description: Start LVS of Director server
　　VIP=192.168.138.201
　　RIP1=192.168.137.10
　　RIP2=192.168.137.20
　　case "$1" in
　　start)
　　echo " start LVS of Director Server"
　　# set the Virtual  IP Address and sysctl parameter
　　/sbin/ifconfig eth1:0 $VIP broadcast $VIP netmask 255.255.255.255 up
　　       echo "1" >/proc/sys/net/ipv4/ip_forward #nat模式下该操作是必须的
　　#Clear IPVS table
　　/sbin/ipvsadm -C
　　#set LVS
　　/sbin/ipvsadm -A -t $VIP:80 -s rr
　　/sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -m
　　/sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -m
　　#Run LVS
　　/sbin/ipvsadm
　　;;
　　stop)
　　echo "close LVS Directorserver"
　　echo "0" >/proc/sys/net/ipv4/ip_forward
　　/sbin/ipvsadm -C
　　/sbin/ifconfig eth1:0 down
　　;;
　　*)
　　echo "Usage: $0 {start|stop}"
　　exit 1
　　esac
　　+++++++++++++++++++++++++++++++++++REAL SERVER+++++++++++++++++++++++++++++++++++++++++++++++
　　无需抑制arp，无需虚拟ip，只需要把网关指向dr的虚拟ip即可
　　route add defatul gw 192.168.137.100

　　测试效果：

　　访问192.168.138.201不停的刷新即可看到效果。
　　

　　

　　

　　

　　3. lvs-TUNNL(无高可用)

　　

　　拓扑图：

　　++++++++++++++++++++++++++++++==dr配置++++++++++++++++++++++++++++++++++++++
　　#!/bin/bash
　　# description: Start LVS of Director server
　　modprobe ipip
　　VIP=192.168.137.201
　　#VIP=192.168.138.201
　　RIP1=192.168.137.10
　　RIP2=192.168.137.20
　　case "$1" in
　　start)
　　echo " start LVS of Director Server"
　　# set the Virtual  IP Address and sysctl parameter
　　/sbin/ifconfig tunl0 $VIP broadcast $VIP netmask 255.255.255.255 up
　　#Clear IPVS table
　　/sbin/ipvsadm -C
　　#set LVS
　　/sbin/ipvsadm -A -t $VIP:80 -s rr -p 30
　　/sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -i
　　/sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -i
　　#Run LVS
　　/sbin/ipvsadm
　　;;
　　stop)
　　echo "close LVS Directorserver"
　　/sbin/ipvsadm -C
　　/sbin/ifconfig tunl0 down
　　;;
　　*)
　　echo "Usage: $0 {start|stop}"
　　exit 1
　　esac
　　+++++++++++++++++++++++++++RS配置+++++++++++++++++++++++++++++++++++++++++++
　　#description; Start real server
　　modprobe ipip
　　VIP=192.168.137.201
　　case "$1" in
　　start)
　　echo " Start LVS of Real Server"
　　/sbin/ifconfig tunl0 $VIP broadcast $VIP netmask 255.255.255.255 up
　　#/sbin/route add -host $VIP dev lo:0
　　echo "1" >/proc/sys/net/ipv4/conf/tunl0/arp_ignore
　　echo "2" >/proc/sys/net/ipv4/conf/tunl0/arp_announce
　　echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
　　echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
　　;;
　　stop)
　　/sbin/ifconfig tunl0 down
　　echo " Stop LVS of Real Server"
　　echo "0" >/proc/sys/net/ipv4/conf/tunl0/arp_ignore
　　echo "0" >/proc/sys/net/ipv4/conf/tunl0/arp_announce
　　echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
　　echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
　　;;
　　*)
　　echo "Usage: $0 {star|stop}"
　　exit 1
　　esac
　　

　　

　　

　　ipvsadm参数解释：
　　

　　

　　

　　

　　

　　ipvsadm -L列出的状态含义解释：
　　[root@DS1 init.d]# ipvsadm -L
　　IP Virtual Server version 1.2.1 (size=4096)
　　Prot LocalAddress:Port Scheduler Flags
　　-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
　　TCP  192.168.137.201:http rr persistent 30
　　-> 192.168.137.20:http          Tunnel  1      0          0
　　-> 192.168.137.10:http          Tunnel  1      0          0
　　

　　

　　

　　  ActiveConn是活动连接数,也就是tcp连接状态的ESTABLISHED;InActConn是指除了ESTABLISHED以外的,所有的其它状态的tcp连接.那既然这样,为什么从lvs里看的ActiveConn会比在真实机上通过netstats看到的ESTABLISHED高很多呢?问得好!这也是笔者一直迷惑而渐渐清晰的一个问题.原来lvs自身也有一个默认超时时间.可以用ipvsadm -L --timeout查看,默认是900 120 300,分别是TCP TCPFIN UDP的时间.也就是说一条tcp的连接经过lvs后,lvs会把这台记录保存15分钟,而不管这条连接是不是已经失效!所以如果你的服务器在15分钟以内有大量的并发请求连进来的时候,你就会看到这个数值直线上升.
      其实很多时候,我们看lvs的这个连接数是想知道现在的每台机器的真实连接数吧?怎么样做到这一点呢?其实知道现在的ActiveConn是怎样产生的,做到这一点就简单了.举个例子:比如你的lvs是用来负载网站,用的模式是dr,后台的web server用的nginx.这时候一条请求过来,在程序没有问题的情况下,一条连接最多也就五秒就断开了.这时候你可以这样设置:ipvsadm --set 5 10 300.设置tcp连接只保持5秒中.如果现在ActiveConn很高你会发现这个数值会很快降下来,直到降到和你用nginx的status看当前连接数的时候差不多.你可以继续增加或者减小5这个数值,直到真实机的status连接数和lvs里的ActiveConn一致.
      that's all.