LVS 之 DR model

15468

回顾：
LVS-type:NAT(-m)：
DR(-g)：  
TUN(-i)： internet tunneling
FNAT


DR模型之 可伸缩Cache服务

DR核心：响应过程不经过Director
DR模型 要点：
A.以下3种办法 都能达到：   仅让Director 会响应  Router的 关于VIP 的动态ARP 广播请求,禁止RS上的VIP直接跟前端路由通信
1、修改路由，使用静态ARP；
2、在RS上使用arptables，禁止响应对VIP的ARP广播请求；
3、在RS上修改其内核参数,并向VIP配置在与RIP不同的接口的别名上；
        B. Diretor 转交报文 给 Real Server 时 ，必须 以VIP 为 目标 IP ，并且 Diretor 对报文的做如下动作：修改 报文的目标MAC 为 Real Server MAC，确保报文送到的是 Real Server


        C. 强行定义 路由规则，明确告诉linux： 只要访问目标为 VIP 那么响应的 源IP 就必须是VIP


　　    D. 响应报文从eth0出来后    交给的下一个 主机 ，那么 下个主机一定是 eth0（RIP)的网关。
　　
　　
　　对调整的内核参数解释：




　　
我们一般采用修改 kernel 参数，来屏蔽 Real Server 对VIP 的ARP响应与通告，对此过程做如下解释：
背景：
         HOST上有多个网卡，却在不同一网段，例如 eth0：net0    eth1：net1    eth2：net2 ..... ，这时 如果 net0 网段的主机 发起ARP请求，那么HOST 会把 eth0，eth1，eth2... 这些在HOST的网卡设备的 IP 与MAC 都发给 net0 里的请求端，但是 请求端 拿到了3个 设备的IP与MAC (eth0：IP MAC , eth1：IP MAC  eth2 ： IP MAC)  以为这3个 IP 都能通信，而实际上 ，只有net0 内的eth0 网卡给他的IP和MAC 才能通信 ， 而 eth1，eth2 给的IP与MAC 对于 请求端来说 是没有意义的，
         如何是 arp请求 能准确的 找到能通信的地址？


       在 kernel 2.4.26  和2.6.4 之后，引入了2个网卡设备标识：arp_ignor/arp_announc ,用于实现 调整ARP协议栈 工作模式       arp_ignore      用于定义响应 限制级别
       arp_announce 用于定义通告 限制级别


例如：

通告：当主机接入 net 3.0 时
之前内核：  通告  设备1.1 IP 和MAC  与  设备3.1 IP 与MAC
之后内核：告诉内核：arp_announce=2     则仅 通告 设备 3.1 IP 与MAC
仅宣告： 接入该网络的网卡的IP与MAC
APR忽略：当ARP广播 来自 net 3.0 时
之前内核： 响应 设备1.1 IP 和MAC  与 设备3.1 IP 与MAC
之后内核：告诉内核：arp_ignore=1        则仅  响应 设备3.1 IP 与MAC
对 进入该网卡 arp请求，仅回应 进入网卡的 IP与MAC
那个设备向内核 宣布 arp_announce=2 arp_ignore=1  这表示 那个设备 自己管理自己的设备，不用别的设备 帮我通告了，这样arp 广播 就能找到 用于 准确 通信的 地址了。








一个公网地址 的LVS DR 模型
缺点： 需要直接 做 路由，使请求到 达 互联网
公网地址的LVS DR 模型（VIP 与RIP 同网段）
当然 这个是 比较 常用的 ，省下路由费 ，也解决了路由引起的 负载瓶颈，当然公网IP 需要自己掏钱的
规划：（192.168.195.0 是我虚拟机 网关所在网段，能够自由上网，这里当公网IP用了）
　　
Real Server 配置
解决arp问题

配置所以接口的
      echo 1 >/proc/sys/net/ipv4/conf/all/arp_ignore
      echo 2 >/proc/sys/net/ipv4/conf/all/arp_announce

特地配置lo （告诉kernel 我的设备 我自己管，其他人 就别插手了）
        echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
        echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce


不是用来通信的，只是用在响应客户端的时候，把 VIP 作为源地址而已（屏蔽掉自己响应 VIP 请求）

/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up




定义 目标地址是  VIP 的报文   出去报文的 设备是lo:0
/sbin/route add -host $VIP dev lo:0   
　　Real Server 1:
　　
[root@nod3 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@nod3 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
[root@nod3 ~]# echo 1 >/proc/sys/net/ipv4/conf/all/arp_ignore
[root@nod3 ~]# echo 2 >/proc/sys/net/ipv4/conf/all/arp_announce
[root@nod3 ~]# ifconfig lo:0 192.168.195.150 broadcast 192.168.195.171 netmask 255.255.255.255 up
[root@nod3 ~]# route add -host 192.168.195.150 dev lo:0
[root@nod3 ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
192.168.195.150 0.0.0.0         255.255.255.255 UH    0      0        0 lo
192.168.195.0   0.0.0.0         255.255.255.0   U     0      0        0 eth0
169.254.0.0     0.0.0.0         255.255.0.0     U     1002   0        0 eth0
0.0.0.0         192.168.195.2   0.0.0.0         UG    0      0        0 eth0
[root@nod3 ~]# ifconfig
eth0      Link encap:Ethernet  HWaddr 00:0C:29:6F:42:49
inet addr:192.168.195.171  Bcast:192.168.195.255  Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:fe6f:4249/64 Scope:Link
UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
RX packets:746 errors:0 dropped:0 overruns:0 frame:0
TX packets:471 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:68969 (67.3 KiB)  TX bytes:53295 (52.0 KiB)
lo        Link encap:Local Loopback
inet addr:127.0.0.1  Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING  MTU:16436  Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)
lo:0      Link encap:Local Loopback
inet addr:192.168.195.150  Mask:255.255.255.255
UP LOOPBACK RUNNING  MTU:16436  Metric:1　　
　　Real Server 2
　　
[root@nod2 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@nod2 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
[root@nod2 ~]# echo 1 >/proc/sys/net/ipv4/conf/all/arp_ignore
[root@nod2 ~]# echo 2 >/proc/sys/net/ipv4/conf/all/arp_announce
[root@nod2 ~]# ifconfig lo:0 192.168.195.150 broadcast 192.168.195.170 netmask 255.255.255.255 up
[root@nod2 ~]# route add -host 192.168.195.150 dev lo:0　　
Director 配置

ipvs报文需要 的出口 需要 打开ipforward
echo 1 > /proc/sys/net/ipv4/ip_forward


因为Director的VIP 是用来 提供服务的，必须配置 在出口网卡上，而且 Direcotor 有DIP 所以必须定义路由
  /sbin/ifconfig eth0:1 $VIP broadcast $VIP netmask 255.255.255.255 up
  /sbin/route add -host $VIP dev eth0:1
清空iptables 避免冲突，清空 ipvsadm ，重新设置 rules   
[root@nod1 ~]# iptables -F
[root@nod1 ~]# iptables -Z
[root@nod1 ~]# ipvsadm -Z

提供集群服务
  /sbin/ipvsadm -A -t $VIP:80 -s wlc
提供Real  Server
  /sbin/ipvsadm -a -t $VIP:80 -r $RIP1 -g -w $RSWEIGHT1
  /sbin/ipvsadm -a -t $VIP:80 -r $RIP2 -g -w $RSWEIGHT2


　　Director 配置
　　
[root@nod1 ~]# echo 1 > /proc/sys/net/ipv4/ip_forward
[root@nod1 ~]# ifconfig eth0:1 192.168.195.150 broadcast 192.168.195.150 netmask 255.255.255.255 up
[root@nod1 ~]# route add -host 192.168.195.150 dev eth0:1
[root@nod1 ~]# iptables -F
[root@nod1 ~]# iptables -Z
[root@nod1 ~]# ipvsadm -Z
[root@nod1 ~]# ipvsadm -A -t 192.168.195.150:80 -s wlc
[root@nod1 ~]# ipvsadm -a -t 192.168.195.150:80 -r 192.168.195.170 -g -w 1
[root@nod1 ~]# ipvsadm -a -t 192.168.195.150:80 -r 192.168.195.171 -g -w 2　　

IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port               Conns   InPkts  OutPkts  InBytes OutBytes
-> RemoteAddress:Port
TCP  192.168.195.150:80               5091    25495        0  1824257        0
-> 192.168.195.170:80               1703     8534        0   612007        0
-> 192.168.195.171:80               3388    16961        0  1212250        0