负载均衡LVS—ipvsadm应用详解

lishenghan

负载均衡LVS—ipvsadm应用详解
环境：64位Centos 6.4
1、在director上安装ipvsadm工具（这里使用RPM包）
//挂载光盘，搜索ipvsadm工具安装包
[root@huangzhong ~]# mount /dev/cdrom /media/cdrom/
[root@huangzhong ~]# cd /media/cdrom/Packages
[root@huangzhong Packages]# ll |grep ipvsadm
//安装ipvsadm工具
[root@huangzhong Packages]# yum install ipvsadm-1.25-10.el6.x86_64.rpm
2、ipvsadm的相关参数和用法
//使用man ipvsadm或ipvsadm --help查看ipvsadm用法
[root@huangzhong ~]# man ipvsadm
NAME
    ipvsadm - Linux Virtual Server administration
SYNOPSIS
       ipvsadm -A|E -t|u|f service-address [-s scheduler]
               [-p [timeout]] [-O] [-M netmask]
       ipvsadm -D -t|u|f service-address
       ipvsadm -C
       ipvsadm -R
       ipvsadm -S [-n]
       ipvsadm -a|e -t|u|f service-address -r server-address
               [-g|i|m] [-w weight] [-x upper] [-y lower]
       ipvsadm -d -t|u|f service-address -r server-address
       ipvsadm -L|l [options]
       ipvsadm -Z [-t|u|f service-address]
       ipvsadm --set tcp tcpfin udp
       ipvsadm --start-daemon state [--mcast-interface interface]
               [--syncid syncid]
       ipvsadm --stop-daemon state
       ipvsadm -h
其中：
第一个service-address:是指虚拟服务器的IP地址l
第二个service-address:是指的真实服务器的IP地址
scheduler：指定调度算
ipvsadm命令参数选项详细含义如下所示：
-A (--add-service) 在内核的虚拟服务器列表中添加一条新的虚拟IP记录。也就是增加一台新的虚拟服务器。虚拟IP也就是虚拟服务器的IP地址。
-E (--edit-service) 编辑内核虚拟服务器列表中的一条虚拟服务器记录
-D (--delete-service) 删除内核虚拟服务器列表中的一条虚拟服务器记录
-C (--clear) 清除内核虚拟服务器列表中的所有规则
-R (--restore) 恢复虚拟服务器规则
-S (--save) 保存虚拟服务器规则，输出为-R 选项可读的格式
-a (--add-server) 在内核虚拟服务器列表的一条记录里添加一条新的Real Server记录。也就是在一个虚拟服务器中增加一台新的Real Server
-e (--edit-server) 编辑一条虚拟服务器记录中的某条Real Server记录
-d (--delete-server) 删除一条虚拟服务器记录中的某条Real Server记录
-L|-l –list 显示内核中虚拟服务器列表
-Z (--zero) 虚拟服务器列表计数器清零（清空当前的连接数量等）
--set tcp tcpfin udp 设置连接超时值
-t 说明虚拟服务器提供的是tcp服务，此选项后面跟如下格式：
[virtual-service-address:port] or [real-server-ip:port]
-u 说明虚拟服务器提供的是udp服务，此选项后面跟如下格式：
[virtual-service-address:port] or [real-server-ip:port]
-f  fwmark 说明是经过iptables标记过的服务类型
-s   此选项后面跟LVS使用的调度算法
有这样几个选项： rr|wrr|lc|wlc|lblc|lblcr|dh|sh
默认的调度算法是： wlc
-p  [timeout] 在某个Real Server上持续的服务时间。也就是说来自同一个用户的多次请求，将被同一个Real Server处理。此参数一般用于有动态请求的操作中，timeout 的默认值为360 分钟。例如：-p 600，表示持续服务时间为600分钟。
-r 指定Real Server的IP地址，此选项后面跟如下格式：
[real-server-ip:port]
-g (--gatewaying) 指定LVS 的工作模式为直接路由模式（此模式是LVS 默认工作模式）
-i (-ipip) 指定LVS 的工作模式为隧道模式
-m (--masquerading) 指定LVS 的工作模式为NAT模式
-w (--weight) weight 指定Real Server的权值
-c (--connection) 显示LVS目前的连接信息 如：ipvsadm -L -c
-L --timeout 显示“tcp tcpfin udp”的timeout值，如：ipvsadm -L --timeout
-L --daemon 显示同步守护进程状态，例如：ipvsadm -L –daemon
-L  --stats 显示统计信息，例如：ipvsadm -L –stats
-L  --rate 显示速率信息，例如：ipvsadm -L  --rate
-L  --sort 对虚拟服务器和真实服务器排序输出，例如：ipvsadm -L --sort
注： 保存添加的虚拟ip记录和ipvsadm的规则可以使用service ipvsadm save，还可以用-S或--save。清除所有记录和规则除了使用-C，还以使用--clear。

3、应用实例
（1) 实例1（nat模式）
Step1:NAT模式拓扑图

NAT模式的拓扑图，如图1所示：

图

1

：

NAT

模式拓扑图

Step2：IP地址规划
根据拓扑图，给设备接口规划IP地址如表1所示

表1 IP地址规划

设备名称	设备接口	IP地址	子网掩码
Director	Eth0	61.130.130.1	255.255.255.0
	Eth1	192.168.2.101	255.255.255.0
Web Server1	Eth0	192.168.2.102	255.255.255.0
Web Server2	Eth0	192.168.2.103	255.255.255.0

说明：由于是NAT模式，所以根据NAT模式工作原理可知director设备有两块网卡分别连接外网和内网，当外部用户访问内部的服务器时，访问的IP地址是director连接外网的IP地址。内部的服务器的IP地址与director连接内网的IP地址在一个网段，并且服务器的网关要指向director连接内网的IP。
Step3：打开director的路由转发功能
[root@huangzhong ~]# vim /etc/sysctl.conf

[root@huangzhong ~]# sysctl -p   //刷新路由协议
Step4：添加虚拟IP记录和规则
[root@huangzhong ~]# ipvsadm -A -t 61.130.130.1:80 -s rr
[root@huangzhong ~]# ipvsadm -a -t 61.130.130.1:80 -r 192.168.2.102 -m
[root@huangzhong ~]# ipvsadm -a -t 61.130.130.1:80 -r 192.168.2.103 -m
说明：rr表示采用轮询调度算法，这里还可以采用其他调度算法如wrr(加权轮询调度算法)，在使用加权轮询调度算法时，还可以在添加规则时改变权值，一般默认权值为1，如改变到Web Server1的权值为5，操作如下：
ipvsadm -a -t 61.130.130.1:80 -r 192.168.2.102 -w 5 -m
//查看记录和规则
[root@huangzhong ~]# ipvsadm -l -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  61.130.130.1:80 rr
  -> 192.168.2.102:80              Route   1      0          0   
  -> 192.168.2.103:80              Route   1      0          0

(2) 实例2（DR模式）
Step1：DR模式拓扑图
DR模式的拓扑图，如图2所示：

图2 DR模式的拓扑图

Step2：IP地址规划
根据拓扑图，给设备接口规划IP地址如表2所示

表2 IP地址规划表

设备名称	设备接口	IP地址	子网掩码
Director设备	Eth0	192.168.2.104	255.255.255.0
	Eth0:0	192.168.2.101	255.255.255.0
Web Server1	Eth0	192.168.2.102	255.255.255.0
	Lo:0	192.168.2.101	255.255.255.255
Web Server2	Eth0	192.168.2.103	255.255.255.0
	Lo:0	192.168.2.101	255.255.255.255

说明：根据DR模式的工作原理可知，director和真是服务器在同一个网络中，而在dirctor设备上vsip应该在物理接口的别名上，物理接口上则配置内网中不同于vsip的地址，而真实服务器的物理接口上配置与director物理接口同一网段的IP地址，除此之外还要在逻辑接口上配置vsip，因为改地址是虚拟的所以应把子网掩码设置为4个255。例如director的vsip地址配置如下：
进入图形界面后，找到网络设备，然后新添加配置如3所示：

图3 director设备visp设置

配置完后重新启动网络服务，使用service network restart命令，如果启动没有出现或失败，先关闭图形界面网络服务，使用service NetworkManager stop命令，然后在重新使用service network restart命令启动。
Step3：添加虚拟IP记录和规则
[root@huangzhong ~]# ipvsadm -A -t 192.168.2.101:80 -s rr
[root@huangzhong ~]# ipvsadm -a -t 192.168.2.101:80 -r 192.168.2.102 -g
[root@huangzhong ~]# ipvsadm -a -t 192.168.2.101:80 -r 192.168.2.103 -g
说明：rr表示采用轮询调度算法，这里还可以采用其他调度算法如wrr(加权轮询调度算法)，在使用加权轮询调度算法时，还可以在添加规则时改变权值，一般默认权值为1，如改变到Web Server1的权值为5，操作如下：
ipvsadm -a -t 192.168.2.101:80 -r 192.168.2.102 -w 5 -g
//查看记录和规则
[root@huangzhong ~]# ipvsadm -l -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.2.101:80 rr
  -> 192.168.2.102:80              Route   1      0          0   
  -> 192.168.2.103:80              Route   1      0          0
Step4：查看，并修改服务器中arp的相关参数
//查看服务器的arp_announce和arp_ignore
[root@huangzhong ~]# sysctl -a |grep arp*
//修改服务器的arp_announce和arp_ignore
[root@huangzhong ~]# echo "net.ipv4.conf.eth0.arp_announce = 2" >> /etc/sysctl.conf
[root@huangzhong ~]# echo "net.ipv4.conf.eth0.arp_ignore = 1" >> /etc/sysctl.conf
[root@huangzhong ~]# sysctl -p
　　说明：arp_announce有3个值，分别为0、1和2，其中0为默认值。0表示将使用任意本地的IP地址，配置在任何接口上；1表示尽量避免使用本地的IP地址；2表示总是使用最好的本地地址。arp_ignore有8个值，分为0、1、2、3....8，其中默认是0，而这里选择1,1表示只有当收到本地IP地址消息时才回应，否则忽略。