LVS介绍及工作原理图解

23113fff

   很多人使用过LVS集群系统，但对于LVS集群，大多数人不清楚它到底是个什么东西。接下来我们就聊聊LVS及其工作原理。
一.lvs介绍
  LVS的英文全名为“Linux Virtual Server”，即Linux虚拟服务器，是一个虚拟的四层交换器集群系统，根据目标地址和目标端口实现用户请求转发，本身不产生流量，只做用户请求转发，目前是负载均衡性能最好的集群系统。
二.Lvs原理介绍
  图示如下：

  1.首先用户向负载均衡器调度器（Director Server）发起请求，负载均衡器将请求发往至内核空间，交给内核模块进行检测。
  2.内核模块中的PREROUTING链首先会收到用户请求，判断目标地址是否是负载均衡器的IP地址，如果是，则将数据包发往INPUT链。
  3.IPVS模块是工作在INPUT链上的，当用户请求到达INPUT链上时，IPVS会将用户请求和自己已定义好的集群服务作对比，如果用户请求的就是定义的集群服务，那么IPVA会强行修改数据包里的目标IP地址和目标端口，并将新的数据包发往POSTROUTING链。
  4.POSTROUTING链接收到数据包发现目标IP地址刚好是自己的后端的服务器，那么通过选路，将数据包最终发送给后端的服务器。
三.lvs组成结构
lvs有两组代码，ipvs和ipvsadm。
  ipvs(ip virtual server)：即ip虚拟服务，是工作在内核空间上的一段代码，主要是实现调度的代码。
  ipvsadm：工作在用户空间，负责为ipvs内核框架编写规则，定义谁是集群服务，谁是后端真实服务器。
四.lvs术语
  DS:Director Server，目标服务器，即负载均衡器。
  RS：Real Server,真实服务器，即后端服务器。
五.lvs关于IP的术语
  VIP：virtual IP是外部直接面向用户请求，作为用户请求的目标IP地址。
  DIP：Director Server IP.主要用于和内部主机通信的IP地址。
   RIP：Real Server IP
   CIP：Client IP，客户端IP
注：负载均衡器使用双网卡，一块是指向外部的VIP，一块是指向内部的IP，用于和内部服务器通信。
六.lvs的类型   

根据架构有3种不同的模型
1、lvs-nat  （Network Address Translation）（建议小规模使用）

  2、lvs-dr （Direct Routing 直接路由）（建议大规模使用，也是现在较多使用场景的方法）

  3、lvs-tun  （Tunneling 隧道）（lvs-tun模型比较少用，因为它不能实现全局负载均衡，不能根据用户区域的距离来挑选最近的机房。这个最多为了实现异地容灾来实现的。比方说日本的机房地震了，而此时美国的机房仍然可使用，那么只要将指向到美国机房即可。而一般只有这种场景下才会用到隧道机制）

七.lvs-nat模型

   主要是修改目标IP地址为挑选出新的RS的IP地址。即请求进入负载均衡器时做DNAT，响应出负载均衡器时做SNAT。

1.当用户请求到达Director Server，此时请求的数据报文会先到达内核的PREROUTING链，此时报文的源IP是CIP，目标IP是VIP。

2.PREROUTING链检查发现数据包的目标IP是本机，将数据包送至INPUT链。

3.IPVS内核模块比对数据包请求的服务是否为集群服务，如果是，则修改数据包的目标IP为后端服务器的IP，然后将数据包发至POSTROUTING链，做DNAT转换。此时报文的源IP是CIP，目标IP是RIP

4.POSTROUTING链通过选路，将数据包发送到Real Server。

5.Real Server比对发现目标IP是自己的IP，开始建立响应报文发回给Director Server，此时报文的源IP是RIP，目标IP是CIP.

6.Director Server在响应客户端之前，此时会将源IP地址修改为自己的IP地址，然后响应给客户端，做SNAT转换。此时报文的源IP是VIP。目标IP是CIP。

特性：

1.RS必须使用私有地址，将RS的网关指向DIP。

2.DIP和RIP必须是同一网段内。

3.请求和响应报文都要经过Director Server，高负载场景中，Director Server会出现性能瓶颈。

4.支持端口映射

5.RS可以使用任意操作系统

八.lvs-dr模型

    将请求报文的目标MAC地址设定为天选出来的RS的MAC地址。即做MAC地址转换。

1.当用户请求到达Director Server，此时请求的数据报文huixiandao内核空间的PREROUTING链，此时报文的IP是CIP，目标IP是VIP。

2.PREROUTING链检查发现数据包的目标IP是本机，将数据包送至INPUT链，

3.IPVS内核模块比对数据包请求的服务是否为集群服务，如果是，将请求报文中的源MAC地址修改为DIP的MAC地址，将目标MAC地址修改为RIP的MAC地址，然后将数据包发至POETROUTING链中，此时的源IP和目的IP均未修改，仅修改了源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址。

4.由于DS和RS实在同一网络中，所以两者之间的通信时通过二层协议来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址，那么此时数据包将会发至Real Server。

5.RS发现请求报文的MAC地址是自己的MAC地址，就接受此报文，处理完成以后，将响应报文通过IO接口传送给eth0网卡，然后向外发出，不经过负载均衡器。此时源IP地址为VIP，目标IP是CIP。

6.响应报文最终送至客户端。

特性：

• 保证前端路由将目标地址为VIP的报文全部发送给DS，而不是RS。
  解决方案：
  （1）.在前端路由做静态地址路由绑定，将对于VIP的地址仅路由到DS上。
  存在问题：用户未必有权限操作路由，
  （2）.arptables：在arp层次上实现arp解析时做防火墙规则，过滤RS响应arp请求，由iptables提供。
  （3）.修改RS上内核参数（arp_ignore和arp_announce）将RS上的VIP配置在lo接口的别名上，并限制不能响应对VIP地址的解析请求。
  
  

2.RS可以使用私有地址，也可以使用公网地址，如果使用公网地址，可以直接对RIP进行直接访问。

3.RS和DS必须在同一物理网络中（即必须是同一物理网络）。

4.所有的请求报文经由DS，但响应报文必须不能经过DS。

5.不支持地址转换，即整个过程和不转换IP地址，只转换MAC地址。也不支持端口映射。

6.RS可以使大多数操作系统

7.RS的网关绝对不允许指向DIP，因为不允许响应报文经过DS。

8.RS的lo接口配置VIP的地址。

九.lvs-tun模型

    在原有的IP报文外再次封装多一层IP首部，内部IP首部（源地址为CIP，目标地址为VIP）外部IP地址首部（源地址为DIP，目标地址为RIP）

• 当用户请求报文到达DS，此时请求的数据报文会先到内核的PREROUTING链。此时源IP是CIP,目标IP是VIP。
• PREROUTING链检查发现数据包的目标IP是本机，将数据包送至INPUT链。
• IPVS比对数据包请求的服务是否为集群服务，如果是，在请求报文的首部再次封装一层IP报文，封装源IP为DIP，目标IP是RIP，然后发至POSTROUTING链。此时源IP是为DIP，目标IP是RIP。
• POSTROUTING链根据最新封装的IP报文，将数据包发至RS（因为外层封装多了一层IP首部，所以可以理解为此时通过隧道传输）。此时源IP是DIP，目标IP是RIP。
• RS收到报文后发现是自己的IP地址，就会将报文接受下来，拆除最外层的IP后，会发现里面还有一层IP首部，而且目标地址是自己的lo接口VIP，那么此时RS开始处理此请求，处理完成滞后，通过lo接口送给eth0网卡，然后向外传递。此时的源IP地址为VIP，目标IP为CIP。
• 响应报文送达至客户端。
  
  

特性：

• RIP、VIP、DIP全为公网地址。
• RS的网关不会也不可能指向DIP。
• 所有的请求报文经由DS，但响应报文必须不能经过DS。
• 不支持端口映射。
• RS的系统必须支持隧道模型。
  
  

十.LVS的调度算法

    分为静态方法和动态方法。

1.静态算法

• rr：round robin，轮循，按照顺序将请求分配到后端真实服务器上，不考虑后端服务器负载。
• wrr:weight round robin，带权重的轮询。意为能者多劳，根据后端真实服务器的性能来进行调度，根据后端真实服务器的负载情况，修改权重值来实现动态的调度。
• sh：source hashing，源地址hash，将来自于同一个源IP的请求始终被丁香转发到同一个RS，目的是为了session持久功能，仅实现session的绑定。
• dh：destination hashing，目标地址hash，主要用于实现当你的内部主机有多个防火墙出口时有用。
  
  

2.动态算法

• lc：least connection，最少连接，通过监控后端RS的连接数，根据TCP协议中的某些计数器来判断，将请求调度到已建立的连接数最少后端的真实服务器。计算方法：Overhead=Active*256+Inactive
  
  

Overhead：负载均衡

Overhead越小，表示负载越低。

• wlc：weight lc，加权最少连接
  在集群系统中的服务器，如果性能差异较大的情况下，调度器可以根据采用“加权的最少连接”调度算法来提高负载均衡性能，权值较高的RS将会承接更大比例的负载连接。所以调度器可以根据“加权的最少连接”来判断服务器的负载情况，并动态调整其权重值。
  计算方法：Overhead=(Active*256+Inactive)/weight
  
• sed：shortest expertion delay最短期望延迟
  基于WLC算法，Overhead = （ACTIVE+1）*256/加权，不再考虑非活动状态，把当前处于活动状态的数目+1来实现，数目最小的，接受下次请求，+1的目的是为了考虑加权的时候，非活动连接过多缺陷：当权限过大的时候，会倒置空闲服务器一直处于无连接状态。
  计算方法：Overhead=((Active+1)*256)/weight， 让权重大的优先接收请求
• nq：Never Queue，永不排队
  可以理解第一个请求上来先轮一圈，就是每个都先响应一次，然后在接着使用上面那种方法计算让谁响应。如果有台Real Server的连接数＝0就直接分配过去，不需要在进行sed运行。
• lblc：Locality-Based Least connection基于本地的最小连接
  基于局部性的最少连接算法是针对请求报文的目标IP地址的负载均衡调度。主要用于Cache集群系统，因为Cache中客户请求报文的目标IP会不断发生改变。所以该算法根据请求的目标IP地址找出该目标IP地址最近使用的Real Server，若该服务器是可用的且没有超载，就会使用“最少链接”来挑选一台可用的服务器，将请求发送到该服务器
• lblcr：Replicated lblc带复制功能的lblc，是dh算法的一种改进
  带复制功能的lblc也是针对目标IP地址做负载均衡。主要是根据请求的目标IP找到目标IP对应的服务器组，根据“最小连接”原则，从服务器组中挑选一台服务器。若服务器没有超载，将请求发送到该服务器；若服务器超载，则按“最小连接”原则从这个集群中选出一台服务器，将该服务器加入到服务器组中，将请求发送到该服务器同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的程度。