一个公网地址部署LVS/DR模式

ph033378

　　网上看了很多关于LVS的文章，在选取2种模式LVS/DR和LVS/NAT，看到很多人的观点都认为DR模型中必须要使用多个公网地址，既DIP,VIP,RIP必须在同一网段内
　　刚开始我的想法也是如此，所知道的唯一的解决方案就是在LVS集群之前再加一台路由器，用路由器做静态NAT转换，后端的LVS集群则使用DR模式。不过这样一来就比较耗成本，要有一台路由器专门负责NAT的转换工作，而且压力都转交给了前端的路由器，而且在性能，速度上相对于单纯的DR模式并没有提升。
　　DR模式的性能是绝对要比NAT要强很多的，一般NAT模式下，realserver不能超过10台，而DR模式中，上百台realserver也是木有问题的
　　这两天也就一直纠结于能不能使用单纯的DR模式，并使用一个公网地址来实现（既VIP为公网地址，RIP和DIP使用私网内部的地址）。参考了一些文档
　　其实章文嵩博士已经在官网上明确表示过配置DR模式，完全可以让VIP和DIP,RIP在不同网段的。参考http://zh.linuxvirtualserver.org/node/155
　　而在此站点中也有关于DR模式使用不同网段的介绍 详见http://www.austintek.com/LVS/LVS-HOWTO/HOWTO/LVS-HOWTO.LVS-DR.html
　　在此，我在章文嵩博士的肯定回答下参考了上面的介绍，总结了一下在真实场景中常见网络架构中的场景
　　下面的图有错误，VIP都是同一个地址200.0.0.10，在此纠正一下

　　这种拓扑是比较常见类型，先分析下LVS的工作时数据包的是如何流转的
　　1.客户发送源IP为1.1.1.1，目标IP为200.0.0.10的服务请求
　　2.数据包经过中间的层层路由，翻山越岭到Director
　　3.Director查询ipvsadm中定义的表项，根据算法选取一个realserver
　　在这里，由于是DR模型，所以Director只改变了数据2层部分的目标mac地址，转发给私网IP的realserver
　　4.Realserver收到数据包后，经过处理，封包转发给客户端
　　关键的一步来了，realserver怎么将数据包回复给客户端？
　　首先，在realserver上定义一条特殊路由，目标为VIP的数据包都从loopback口发出去，于是源地址还是为VIP，数据包的源和目的地址都没有变化。但是由于限制了arp的广播和应答方式，外界并不知道realserver上有VIP的存在，realserver也不知道VIP这个网段中的其它主机，所以数据包就卡在realserver这里了。解决方法就是，在realserver上添加一条默认路由，不知道的包都发往上私网地址的网关，于是路由器接收到数据包后就直接路由转发给客户了,在这个拓扑图中，路由器链接交换机的接口要有2个地址，一个是私网的网关地址，一个是公网的网关地址
　　实现了单个公网IP地址的LVS/DR模式
　　说了一大堆可能看的也晕乎，再来一幅常见的拓扑图

　　在这幅图中，director直接从ISP拉一条专线（至于ISP和Director之间防火墙之类的东西暂做屏蔽）
　　数据包是这样流转的
　　客户-->互联网-- > Director-- > Realserver-- > Gateway-- > 客户
　　拓扑是千变万化的，具体按照实际场景来实施
　　接下来是具体的实现方法，以下实验由虚拟机完成，先给个拓扑
　　这里192网段模拟公网，10网段模拟私网

　　先介绍下实验环境：客户机是我的主机，Director和2台realserver都是虚拟机，他们之间用虚拟交换机VMnet8相连，其中客户既充当客户又充当网关，所以在VMnet8网卡上也配置了2个地址（为了避免混淆，实验最后会通过抓包来验证）
　　director
　　首先配置地址
　　[root@localhost ~]# ifconfig eth0 10.0.0.10 netmask 255.255.255.0
　　[root@localhost ~]# ifconfig eth0:1 192.168.92.100 netmask 255.255.255.0 up
　　然后配置集群服务
　　[root@localhost ~]# ipvsadm -A -t 192.168.92.100:80 -s rr #创建一个http的集群服务，使用轮询的算法
　　[root@localhost ~]# ipvsadm -a -t 192.168.92.100:80 -r 10.0.0.1 –g #添加一个realserver，并使用DR模式。可以看到：提供服务的VIP和realserver的RIP并不在一个网段中
　　[root@localhost ~]# ipvsadm -a -t 192.168.92.100:80 -r 10.0.0.2 –g #同样方法再添加一个realserver
　　至此director配置完成
　　查看下IP地址的配置

　　查看下ipvsadm的配置

　　看到这里是route模式，并在不同网段中
　　realserver
　　首先上来先限制arp的广播和应答
　　[root@ww1 ~]# echo 2  >  /proc/sys/net/ipv4/conf/all/arp_announce
　　[root@ww1 ~]# echo 2  >  /proc/sys/net/ipv4/conf/lo/arp_announce
　　[root@ww1 ~]# echo 1  >  /proc/sys/net/ipv4/conf/all/arp_ignore
　　[root@ww1 ~]# echo 1  >  /proc/sys/net/ipv4/conf/lo/arp_ignore
　　然后配置地址
　　[root@ww1 ~]# ifconfig eth0 10.0.0.1 netmask 255.255.255.0
　　[root@ww1 ~]# ifconfig lo:1 192.168.92.100 netmask 255.255.255.255 broadcast 192.168.92.100 #配置VIP必须不让realserver对外广播
　　接着配置路由
　　[root@ww1 ~]# route add -host 192.168.92.100 dev lo:1 #请求是VIP的包，以lo:1接口出去，于是源地址还是为VIP，不会导致因为从eth0出去将源地址变为RIP
　　[root@ww1 ~]# route add default gw 10.0.0.3  #添加默认路由，指向私网的网关，在此实验中是我的客户机
　　然后启动web服务
　　[root@ww1 ~]# echo "web1"  >  /var/www/html/index.html #创建网页文件，web1做标示。在realserver2中以web2做标示
　　[root@ww1 ~]# service httpd start #启动http服务
　　至此realserver1配置完成，realserver2也同样按照此配置，地址改下，网页文件不同就行
　　查看下IP地址的配置

　　这里再提供下第二台realserver的网卡信息，后面验证数据传送查看mac地址时要用到

　　查看下路由表

　　OK 配置都已经完成，在客户机上打开浏览器验证（浏览过程中用抓包工具抓取VMnet8网卡的数据）
　　多次刷新，发现每次返回的内容是不一样的

　　再到director上看下连接数，发现连接进来了

　　然后抓包看看
　　首先看下本地主机VMnet8的mac地址

　　这个包是本地主机发往director的包，具体每台虚拟机和主机的mac地址可以看前文中查看IP地址的显示结果

　　这个包是director发到realserver上的，源IP和目的IP都没变，director只改变了目的mac地址

　　这个包是realserver传给本地客户的包（查看源和目标mac地址可以验证），源地址还是为VIP，目的地址为本机客户。
　　通过抓包验证了数据的流向。
　　一个公网IP实现LVS/DR是可行的，数据包最终到达客户时，在内部网络中走的是私网的网关，相当于在公司内部饶了一个圈而已，而相比较NAT模式而言，DR模式的效率是NAT所不能比较的，在实际部署LVS中，也应该尽量使用DR模式。