LVS基础详解和NAT/DR模型的实现

2321e21

LVS：Linux Virtual Server
所谓虚拟的服务就是，当客户端请求服务时，将服务在前端调度器上，通过一定方式负载到后端多台服务器上，但对于客户端来说是不可见的，像在访问同一台服务器一样，这就是虚拟的意思

---

原理

• ipvs：使用LVS服务时，在linux内核当中的一个过滤框架，作用在Input链上，通过解析用户请求的ip和端口号，判断是否是集群服务（若较老的版本内核中没有内置则需自行编译安装）
  
  

     当用户请求到达，进入调度器内核空间，由于请求的是本地地址，转发到Input链，通过请求的ip和端口，判断请求的服务是否是集群服务，若不是则根据端口号进入用户空间访问本地服务，是的话将请求报文在Input链上进行处理，转发到FORWARD链，最后到达POSTROUTING链，转发到相应的后端服务节点
     所以LVS和iptables不能同时使用

• ipvsadm：是LVS在用户空间对集群服务进行管理的工具
  
  

---

调度算法实现负载
Scheduler Method（调度方法）：当客户端请求到达时，调度器以什么标准选择后端较为合适的服务器节点进行请求分发
两种类型调度
静态调度：不考虑后台服务器的连接负载情况

• rr（Round Robin ）：轮询
  
• wrr：weight 加权轮询，在轮询之前，计算各服务器权重的比例，再进行调度
  
• sh：source hash 源地址哈希：记录客户端的哈希和对应服务器，下次来自同一主机的请求将根据之前的记录，分配相同的服务器节点处理
  
  

    cookie和session：客户端第一次发起访问时，服务端发送cookie给客户端，客户端保存cookie，之后每次请求都会附加cookie信息，服务端以此对客户端进行标识，并在服务器端的内存内部保存有用户浏览的记录、url等信息，这就是session
     session share：服务集群后端服务节点间session 共享（通过网络，或同步到共享存储当中），这样的话客户端的浏览记录等信息就实现了共享，即使客户请求被分配到不同的节点，即使服务器节点故障，浏览信息是同步的。若是session shared，则不需要这种调度算法，当服务器发生故障，session share也是很好的预防措施

• dh：destination hash 目标地址哈希（针对缓存服务器，第一次请求获得的缓存可能其他的缓存服务器没有缓存，请求同样的内容时，分配到相同的缓存服务器，无需再次缓存）
  
  

动态调度

• lc：最少连接
  比较后端realserver的 active*256+inactive，挑选值小的发送请求
  
• wlc：加权最少连接（lpvs默认）
  比较后端realserver的 （active*256+inactive）/ 权重，挑选值小的发送请求
  
• sed：shortest expect delay 最短期望延迟
  （active+1）*256/ weight
  
• nq：never queue 永不排队
  
  

在sed基础上第一次无论如何每台服务器都发送一次请求

• LBLC：Locality-Based lc 基于本地最少连接
  考虑 cache 连接数，但相同的请求尽可能发送给同一个缓存服务器，相当于动态的 dh
  
• LBLCR：LBLC with Replication Scheduling 带缓存复制功能
  LBLC会考虑最小连接数，但还是会对相同用户请求分发到相同后端缓存服务器，而LBLCR直接对后端的缓存服务器动态调度，并且缓存共享（指部分共享，当请求的缓存服务器没有缓存时，而另外的服务器有，则同步请求的缓存内容）
  
  

---

LVS三种模式：

• NAT：地址转换
  
• DR：直接路由
  
• TUN：隧道模型
  
  

---

NAT模型
实现原理：客户端发起请求，请求到达Director负载均衡器后，根据调度算法，选择适当的后端服务节点进行请求分发，Director再利用返回结果对客户端做出响应，实现负载均衡

规则：

• 集群节点跟director必须在同个网络中
  
• RIP通常是私有地址，仅用于集群节点间通信
  
• director处于client和Realserver之间，负责处理进出的所有通信
  
• realserver必须将网关指向DIP
  
  

以下为一个简单的实验和注意的点
1：地址规划

2：安装ipvsadm
3：查看是否支持ipvs内核功能


4：注意Director和Realserver间的时间同步
5：注意ipvsadm和iptables的使用不可以共存，因为使用的都是netfilter框架的过滤机制
6：地址配置：

• Direct两个网卡分别面向内网和外部网络，虚拟机模式下，内部网络应使用host-only模式
  
• Realserver网关因指向Direct的内网地址
  
  

7：开始配置lvs（使用rr轮询调度）

• -t使用tcp协议的集群，-s指定调度算法，-r指定realserver，-m指定为nat模型
  
  

8：查看配置


9：测试

• RS1网页内容为：This is Realserver1
  
• RS2网页内容为：This is Realserver2
  
  

• 从结果看出已实现轮询调度功能
  
• 若外部主机测试不成功，可能是网卡转发功能没有启动
  
  

10：查看连接状态


11：修改调度算法为（wrr加权轮询，并验证）


效果

---

DR模型
首先，DR模型相对于NAT模型的好处在于Director只接收请求并转发给 Real server，不响应请求，大大增强性能
实现原理：Director和Realserver都配有VIP地址和自身的网卡地址，客户端发起请求，ip报头的源目地址为CIP和VIP，Direct接收到报文后，发现请求的是集群服务，将不改变ip以上的报文数据，源目地址还是CIP和VIP，直接将MAC地址改为Direct MAC和RS MAC，将报文转发给Realserver，Realserver收到报文后，接收请求，生成响应报文，并直接做出响应
流程：

为了实现以上的解决方案，需要解决以下两个问题
1：Director和Realserver都配有VIP地址，若同个网络中有很多个相同的ip地址，将会造成ARP混乱，而我们只需要通告Director的VIP即可

• 利用arp的通告响应级别机制
  
  

arp_announce
级别0：默认级别，本地任何接口地址全部通告
级别1：尽可能不通告和对方网络地址不相同的地址
级别2：不通告和对方网络地址不相同的地址，如：本地的eth0和lo口配的是不同的地址，lo口的地址将不会通告到eth0接口连接的网络中
arp_ignore
级别0：默认级别，本地有的，都给予响应
级别1：只有在请求的地址配置在请求到达的接口上时才给予响应
     可以将VIP设置在Realserver的Lookback口，不做通告和响应
     同时Director的VIP可设置在eth0:0上，正常的回复arp请求

• 或者若对出口路由有控制权的时候，对于VIP直接指静态路由到Director即可
  
  

2：Realserver收到报文后，做出响应，此时源目ip为VIP和CIP，报文如何到达Client
一般情况下，CIP为公网ip，是网络上客户端的ip，VIP也为公网ip，当RIP和VIP不在同一个网段中时，为了让响应报文正常发送，须将Realserver的网关指向出口设备（可能是运营商设备），RIP可以是私网地址，也可以是公网地址
规则

• 各集群节点和director必须在同一个物理网络中
  
• RIP可以使用公网地址，实现便捷的网络管理
  
• director只接收请求，通过real直接响应客户请求
  
• 不支持端口映射
  
• 要求能隐藏 vip 的操作系统作为realserver
  
• 能比nat模型支持更多的节点
  
  

实验（利用内部网络做简单模拟，出口路由设备非运营商设备的情况下）
实验规划：

1：按照规划先配好地址，实验环境下地址都应为桥接模式
2：Realserver应先配置arp的响应级别再配置Lo口的VIP地址，还要设置
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
ifconfig lo:0 192.168.199.133 netmask 255.255.255.255 broadcast 192.168.199.133 up #广播地址为VIP地址，指网络中只有本身一个地址
route add -host 192.168.199.133 dev lo:0 #默认路由表示在当请求的是192.168.199.133这个VIP地址时，进行响应时应该通过lo:0出去，即响应时的ip为VIP而不是eth0的ip
3：在Director上的配置
ifconfig eth0:0 192.168.199.133 netmask 255.255.255.255 broadcast 192.168.199.133 up
router add -host 192.168.199.133 dev lo:0