LVS的2种模式，DR/NAT详解和具体配置

旃麒雅

先介绍下几个名词
　　Directer：也可以称为调度器，LVS前端设备
　　realserver：也称为真实内部服务器，是真正在提供服务的
　　VIP：对外公布的IP，即客户请求进来的IP地址
　　DIP：调度器和realserver之间通信的地址
　　NAT模式
　　NAT模式简介：
　　VS/NAT通过调度器接收请求后，通过算法选择一台realserver，然后进行地址的转换，将报文的目标IP修改为realserver的DIP，端口修改为realserver对应的端口，然后发送给realserver。同时会在连接表中记录这个连接，对之后相同源地址的请求都指向这台realserver。在realserver处理包的请求后，再将包转发给调度器，调度器通过连接表的记录，将目标地址转换为客户请求的地址，转发给客户端。所以在NAT模式中，realserver只要运行集群服务，然后将网关指向调度器就行，不需要进行其它额外的配置。因为在此模式中,调度器要对进来和出去的包都进行地址的改写，所以调度器很容易成为整个集群的瓶颈。一般在NAT模式下，后端的realserver不超过5台。
　　realserver配置要求
　　开启对于服务，配置内部私网地址，网关指向调度器
　　Directer配置要求  基本配置
　　调度器需要2块网卡（一块网卡对外，一块网卡对内。1块也可以，配置子接口，对外的VIP和DIP都配置在同一网卡上，不过这样会更加的降低调度器的性能，建议还是双网卡）
　　关闭selinux和iptables
　　setenforce 0
　　service iptables stop
　　（为了避免不必要的麻烦，在每台服务器上都关闭这2个服务）
　　打开包转发功能
　　echo "1" > /proc/sys/net/ipv4/ip_forward
　　这样系统就相当于一台路由器了
　　这个命令只能暂时开启Linux的路由转发功能，重启系统之后就恢复原来的配置了。
　　可以通过在/etc/rc.d/rc.local 文件中加上上述的命令，每次开机启动都会自动开启。
　　另外还可以通过修改/etc/sysctl.conf文件，让包转发功能在系统启动时自动生效:
　　sysctl -w net.ipv4.ip_forward=1
　　配置集群服务
　　首先这里定义3个变量，可以通过实际情况修改
　　$VIP:对外服务的IP
　　$DIP:调度器和realserver的内部私网IP
　　$Port:服务端口
　　[root@localhost ~]# ipvsadm -A –t $VIP：$Port-s rr
　　解释：-A表示添加一个集群服务（可以添加多个，比如添加一个web的80和一个https的443）-t表示是tcp协议 -s表示调度算法是轮询（一共有10种调度算法，可以按照自己实际需要选择）   
[root@localhost ~]# ipvsadm -a –t $VIP：$Port -r $DIP:$Port-m
　　解释：-a表示添加一个realserver，后面跟上之前定义的集群服务的地址端口，-r表示增加具体realserver的地址，-m表示模式为NAT模式
　　DR模式
　　DR模式简介
　　VS/DR通过改写请求报文的MAC地址，将请求的包发送到realserver上，不改变包的源和目标的IP地址，然后realserver直接回复客户端，不再经过LVS调度器，这样大大的减轻了LVS的负担。网上有测试，100 万连接的时候，才用去内存 208 M
　　但是由于LVS需要直接将包转发给realserver，所以调度器和realserver必须在同一个网段上，如果直接在LVS上配置的是公网地址的话，就需要公网IP地址的数量是realserver的数量加1。如果公司出口的路由器性能足够好，在路由器上做一个静态的NAT映射，然后集群配置死亡地址，这样能大量节省IP。
　　Realserver配置要求  基本配置
　　首先先配置限制arp，不然等配置好地址后就产生地址冲突了
　　通过修改内核参数来实现
　　在linux中 ，默认在接口上通告所有接口上IP的arp广播，在接口上应答所有接口上IP的arp请求
　　arp_announce 限制arp通告
　　限制等级
　　0：在接口上通告所有接口上IP的arp广播
　　1：对于其它设备的arp请求，在接口上尽量限制广播通告应答（不够严格）
　　2：只通告本接口上IP的arp广播
　　arp_ignore 限制arp应答
　　限制等级
　　0：对于其它设备 的arp请求，应答所有其它接口的上IP的arp应答
　　1：对于其它设备的arp请求，只应答本接口上IP的arp应答
　　[root@r1 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore   
[root@r1 ~]# echo 2 > /proc/sys/net/ipv4/conf//lo/arp_announce     
[root@r1 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore     
[root@r1 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
　　配置VIP和DIP
　　我们在realserver上的lo口配置VIP，这样配置就限制了VIP不会在物理交换机上产生MAC地址表，从而避免IP冲突
　　[root@r1 ~]# ifconfig lo:1 $VIP broadcast $VIP netmask 255.255.255.255
　　ifconfig eth0 $DIP up
　　注意此VIP的接口的广播地址仍然为VIP，限制其广播，子网掩码是32位，下面调度器上的配置也注意此项
　　配置特殊路由，使目标为VIP的包的以源地址为VIP的lo口出去
　　route add –host $VIP dev lo:1
　　Directer配置要求
　　配置VIP和DIP，VIP配置在物理网卡的子接口上
　　ifconfig eth0 $DIP broadcast $VIP netmask 255.255.255.0 up
　　ifconfig eth0:1 $VIP broadcast $VIP netmask 255.255.255.255 up
　　配置特殊路由，目标是VIP的包从配置了VIP的物理子接口上出去
　　route add –host $VIP dev eth0:1
　　集群配置
　　[root@localhost ~]# ipvsadm -A –t $VIP：$Port-s rr
　　解释：-A表示添加一个集群服务（这里和NAT中的配置一样）
　　
[root@localhost ~]# ipvsadm -a –t $VIP：$Port -r $DIP:$Port-g
　　解释：其它和NAT也差不多，在最后的模式改为-g，即DR模式
　　总结：
　　对于LVS这2种模式的选择上，具体要看不同的应用而定。如果网站规模（其它服务服务也一样）比较大， 后台需要超过5台的web服务器，那么DR模式是不错的选择，能承载更大的访问量，但对地址数量要求高。
　　如果网站规模比较小，提供服务的服务器少于5台，那么NAT模式能节省大量的公网IP地址
　　折中的方式是：公司的出口路由器性能足够强大，做一个静态NAT映射，然后使用DR模式，这样即节省了大量公网IP地址，也提升了集群性能，前提是你有对机房出口路由器的控制权限，而且出口路由器性能足够强
　　这里只是介绍了LVS基本的配置，在真正使用中还要搭配headbeat或者keeplived来使用，实现单点故障转移，这些下次再介绍。
　　下期linux博文预告：搭建基于LVS+squid+apche的高性能高可用集群（内容还在想，可能会加入nginx做反向代理，后面再加squid做缓存，或者用varlish代替squid）