在RHEL6.6环境下进行LVS
结合这几天做LVS-NAT结构模型的实验。特总结如下一、准备三台RHEL6.6虚拟机
1台Director
2台RealServer
1、克隆两台RealServer
在装好RHEL6.6后，最好是将装好了的RHEL6.6作为Director。其余两台RS1、RS2通过克隆的方式实现,只能在Director关机的情况下进行克隆。这里我选择的是完整克隆。也可以通过“现有快照”克隆
右击Director——>管理——>克隆
RS2克隆方法同RS1克隆方法一样
2、更新网卡设备名与IP规划
(1)、更新RS1、RS2网卡设备名
因为克隆后的虚拟机与原虚拟机比较改变了网络设备的名，例如，克隆后的网卡为eth1,而原虚拟机则为eth0。
# ifconfig
eth1 Link encap:EthernetHWaddr 00:0C:29:6E:CF:B2
inet addr:172.16.0.9Bcast:172.16.255.255Mask:255.255.0.0
............................................................
# cd /etc/udev/rules.d/
# vim 70-persistent-net.rules
# PCI device 0x8086:0x100f (e1000) (custom name provided by external tool)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:7f:d5:6a", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"
# PCI device 0x8086:0x100f (e1000) (custom name provided by external tool)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:6e:cf:b2", ATTR{type}=="1", KERNEL=="eth*", NAME="eth1"
可看见有两个网卡的配置信息，需要删除掉关于eth0 的信息。然后修改eth1的网卡名称为eth0。
(2)、IP规划
Director:eth0(桥接模式，可浏览外网) IP地址：172.16.0.9 子网掩码：255.255.0.0
默认网关：172.16.1.1 DNS：202.106.0.20
eth1(仅主机模式，不可浏览外网) IP地址：192.168.1.3 子网掩码：255.255.255.0
RS1:eth0(仅主机模式) IP地址：192.168.1.1 子网掩码：255.255.255.0
默认网关：192.168.1.3
RS2:eth0(仅主机模式) IP地址：192.168.1.2 子网掩码：255.255.255.0
默认网关：192.168.1.3
具体实现方法可参照：
http://1343138116.blog.51cto.com/6124664/1680268Vmware虚拟机三种网络模式用途的第3节ifcfg-ethX的配置
配置完成后执行如下操作
#service network restart#重启网络服务，使配置生效。可以省略，直接进行下一步
#reboot #重启系统，让系统重新读取网卡的设备名称
#ifconfig #查看网卡的设备名是否更新
IP地址规划好后测试连通效果。Director:eth0网卡能否PING通互联网，以ping www.baidu.com为例； Director:eth1能否PING通RS1:eth0、RS2:eth0； RS1:eth0、RS2:eth0能否互相PING通。
3、通过yum方式安装ipvsadm
具体实现方法可参照：
http://1343138116.blog.51cto.com/6124664/1681861 RedHat 6.6自建yum仓库
当yum仓库建立完成后通过yum install ipvsadm命令方式安装
二、LVS-NAT实现方法
拓扑图
注：
1、这里的Client我使用的是物理机
2、添加Router只是为了能够看出LVS-NAT的整个流程，在这里没有实际意义
3、RS1、RS2的网关地址是DIP：192.168.1.3
4、RS可以使用Linux或Windows，如果要调内核参数则只能用Linux
1、RS1设置
# rpm -qa|grep httpd #查看是否安装了httpd服务，若没有安装则需要安装以下文件
httpd-2.2.15-39.el6.x86_64
httpd-tools-2.2.15-39.el6.x86_64
#service httpd status #查看httpd服务是否启动，可以看出httpd服务是停止的
httpd is stopped
# service httpd start #启动httpd服务
Starting httpd: httpd: apr_sockaddr_info_get() failed for gnnt
httpd: Could not reliably determine the server's fully qualified domain name, using 127.0.0.1 for ServerName
#这里的意思是需要一个DNS服务器，可以不用理会，本次实验不会用到bind服务
#echo "welcome to RS1.gnnt.com" > /var/www/html/index.html #编辑index.html文件
#setenforce 0 #Permissive=0，代表仅记录安全警告但不阻止可疑行为
setenforce是SElinux的知识，请参阅
http://os.51cto.com/art/201105/265956.htmSELinux入门：了解和配置SELinux
#service iptables stop #一定要将防火墙关闭，否则不能“curl RS2”的内容
#curl http://localhost #访问本机的index.html文件
welcome to RS1.gnnt.com
#curl http://192.168.1.2#访问RS2的index.html文件
welcome to RS2.gnnt.com
2、RS2设置
# rpm -qa|grep httpd#查看是否安装了httpd服务，若没有安装则需要安装以下文件
httpd-2.2.15-39.el6.x86_64
httpd-tools-2.2.15-39.el6.x86_64
#service httpd status #查看httpd服务是否启动，可以看出httpd服务是停止的
httpd is stopped
# service httpd start #启动httpd服务
Starting httpd: httpd: apr_sockaddr_info_get() failed for gnnt
httpd: Could not reliably determine the server's fully qualified domain name, using 127.0.0.1 for ServerName
#这里的意思是需要一个DNS服务器，可以不用理会，本次实验不会用到bind服务
#echo "welcome to RS2.gnnt.com" > /var/www/html/index.html #编辑index.html文件
#setenforce 0 #Permissive=0，代表仅记录安全警告但不阻止可疑行为
#service iptables stop #一定要将防火墙关闭，否则不能“curl RS1”的内容
#curl http://localhost #访问本机的index.html文件
welcome to RS2.gnnt.com
#curl http://192.168.1.1 #访问RS1的index.html文件
welcome to RS1.gnnt.com
注：也要将Director的防火墙关闭
3、Director设置
注：文档最后有对ipvsadm命令详解的补充，想仔细研究的同学也可以根据命令详解设置不同的调度方式
(1)、使用rr调度算法进行负载均衡
#ipvsadm -A -t 172.16.0.9:80 -s rr
#ipvsadm -a -t 172.16.100.1:80 -r 192.168.10.8 -m
#ipvsadm -a -t 172.16.100.1:80 -r 192.168.10.9 -m
#添加一个IP为地址172.16.0.9，端口为80的集群服务器
#添加一个IP为地址192.168.1.1，端口为80的集群RS服务
#添加一个IP为地址192.168.1.2，端口为80的集群RS服务
注：测试前一定要在Director中开启IP转发，重启服务或系统后IP转发会失效。测试步骤在第三节
# cat /proc/sys/net/ipv4/ip_forward
0
# echo 1> /proc/sys/net/ipv4/ip_forward
# cat /proc/sys/net/ipv4/ip_forward
1
#
(2)、查看客户端连接数
# ipvsadm -L -c
IPVS connection entries
pro expire state source virtual destination
TCP 01:58TIME_WAIT 172.16.0.255:53948 172.16.0.9:http 192.168.1.1:http
TCP 01:57TIME_WAIT 172.16.0.255:53944 172.16.0.9:http 192.168.1.1:http
TCP 01:54TIME_WAIT 172.16.0.255:53937 172.16.0.9:http 192.168.1.1:http
TCP 01:55TIME_WAIT 172.16.0.255:53943 172.16.0.9:http 192.168.1.1:http
.............................................................................
(3)、查看统计信息
# ipvsadm -L --stats
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Conns InPktsOutPktsInBytes OutBytes
-> RemoteAddress:Port
TCP172.16.0.9:http 4507 22120 2168520372842504098
-> 192.168.1.1:http 2596 13021 1292611851701491242
-> 192.168.1.2:http 1911 9099 8759 8521141012856
(4)、查看速率信息
# ipvsadm -L --rate
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port CPS InPPS OutPPS InBPS OutBPS
-> RemoteAddress:Port
TCP172.16.0.9:http 4 19 18 2208 1953
-> 192.168.1.1:http 3 14 14 1629 1379
-> 192.168.1.2:http 1 5 5 579 573
(5)、查看超时信息
# ipvsadm -L --timeout
Timeout (tcp tcpfin udp): 900 120 300
(6)、清除ipvsadm规则
# ipvsadm -C
(7)、保存ipvsadm，以便重启以后规则也能生效
推荐使用
# service ipvsadm save #直接保存ipvsadm规则
ipvsadm: Saving IPVS table to /etc/sysconfig/ipvsadm:
或
#ipvsadm -S > /etc/sysconfig/ipvsadm.com #将ipvsadm规则保存指定的文件中
#ipvsadm -R < /etc/sysconfig/ipvsadm.com #从指定的文件中载入ipvsadm规则
三、通过物理机进行测试
通过按F5按钮刷新，查看测试效果
图1
图2
补充：ipvsadm命令详解
默认调度方法：wlc
ipvsadm：
管理集群服务
添加：-A -t|u|f service-address [-s scheduler]
-t: TCP协议的集群
-u: UDP协议的集群
service-address: IP:PORT
-f: FWM: 防火墙标记
service-address: Mark Number
# ipvsadm -A -t 172.16.0.9:80 -s rr
修改：-E
删除：-D -t|u|f service-address
管理集群服务中的RS
添加：-a -t|u|f service-address -r server-address [-g|i|m] [-w weight]
-t|u|f service-address：事先定义好的某集群服务
-r server-address: 某RS的地址，在NAT模型中，可使用IP：PORT实现端口映射；
[-g|i|m]: LVS类型
-g: DR
-i: TUN
-m: NAT
[-w weight]: 定义服务器权重
# ipvsadm -a -t 172.16.0.9:80 -r 192.168.10.1 -m
# ipvsadm -a -t 172.16.0.9:80 -r 192.168.10.2 -m
修改：-e
删除：-d -t|u|f service-address -r server-address
查看
-L|l
-n: 数字格式显示主机地址和端口
--stats：统计数据
--rate: 速率
--timeout: 显示tcp、tcpfin和udp的会话超时时长
-c: 显示当前的ipvs连接状况
删除所有集群服务
-C：清空ipvs规则
保存规则
-S
# ipvsadm -S > /path/to/somefile
载入此前的规则：
-R
# ipvsadm -R < /path/from/somefile
至此，本文档已经结束，文档中难免有不尽人意之处，希望各位能够给出宝贵的建议，谢谢！
紫禁之巅
2015年8月6日 15：44
页:
[1]