lvs集群基础及lvs

YY-LIN

　　集群基础知识点：

　　集群类型：LB、HA、HP、DS

　　LB：load balance，负载均衡集群，director：负载均衡器或者调度器，上游服务（upstream server），后端服务器称为real server；
　　HA：high avalilability,高可用集群，评估高可用性能Availability = 平均无故障时间/（平均无故障时间+平均修复时间）
　　HP：high performance 超级计算机类型
　　LB集群的实现：硬件、软件（lvs: Linux Virtual Server、haproxy、nginx、ats (apache traffic server)、perlbal、
　　       基于工作的协议层次划分：
　　  传输层：(工作于内核)可以突破socket 可用端口的限制一共6W多个；lvs, haproxy (mode tcp)
　　  应用层：（用户空间）：haproxy (mode http), nginx, ats, perlbal
　　lvs的实现基于传输层：类型有四种nat、dr(direct routing)、tun、fullnat

　　lvs-nat：多目标的DNAT：通过将请求报文的目标地址和目标端口修改为挑选出某RS的RIP和PORT来实现；
　　(1) RIP和DIP应该使用私网地址，RS的网络应该指向DIP；
　　(2) 请求和响应报文都要经由director转发；极高负载的场景中，Director可能会成为系统瓶颈；
　　(3) 支持端口映射；
　　(4) VS必须为Linux，RS可以是任意的OS；
　　(5) RS的RIP与Director的DIP必须在同一IP网络；
　　lvs-dr：direct routing通过修改请求报文的MAC地址进行转发；IP首部不会发生变化（源IP为CIP，目标IP始终为VIP）；
　　(1) 确保前端路由器将目标IP为VIP的请求报文一定会发送给Director；
　　解决方案：
　　静态绑定；在路由器上静态绑定VIP和director的Mac地址,禁止RS响应VIP的ARP请求；
　　    (a) arptables；
　　    (b) 修改各RS的内核参数，并把VIP配置在特定的接口上实现禁止其响应；
　　(2) RS的RIP可以使用私有地址，也可以使用公网地址；
　　(3) RS跟Director必须在同一物理网络中；
　　(4) 请求报文必须由Director调度，但响应报文必须不能经由Director；
　　(5) 不支持端口映射；
　　(6) 各RS可以使用大多数的OS；
　　lvs-tun：ip tunneling，ip隧道；转发方式：不修改请求报文的IP首部（源IP为CIP，目标IP为VIP），而是在原有的IP首部这外再次封装一个IP首部（源IP为DIP，目标IP为RIP）；
　　
　　(1) RIP，DIP，VIP全得是公网地址；
　　(2) RS的网关不能也不可能指向DIP；
　　(3) 请求报文经由Director调度，但响应报文将直接发给CIP；
　　(4) 不支持端口映射；
　　(5) RS的OS必须支持IP隧道功能；
　　lvs-fullnat：（非标准模型）通过同时修改请求报文的源IP地址（cip-->dip）和目标IP地址（vip --> rip）实现转发；
　　(1) VIP是公网地址；RIP和DIP是私网地址，且可以不在同一IP网络中，但需要通过路由互相通信；
　　(2) RS收到的请求报文的源IP为DIP，因此其响应报文将发送给DIP；
　　(3) 请求报文和响应报文都必须经由director；
　　(4) 支持端口映射；
　　(5) RS可使用任意OS；
　　集群服务管理命令：需要检查内核是否支持ipvs:grep -A 11 -i 'IPVS' /boot/config-3.10.0-327.el7.x86_64
　　安装服务程序：yum install -y ipvsadm
　　ipvsadm命令的用法： （大写用于服务，小写用于RS）
　　管理集群服务命令：
　　ipvsadm  -A|E  -t|u|f  service-address  [-s scheduler]  [-p [timeout]]
　　ipvsadm  -D  -t|u|f service-address
　　-A：添加
　　-E：修改
　　-D：删除
　　service-address：
　　-t, tcp, vip:port
　　-u, udp, vip:port
　　-f, fwm, MARK  Firewalls mask
　　-s scheduler：默认为wlc；加权最少连接
　　管理real server命令：
　　ipvsadm -a|e  -t|u|f service-address -r server-address [-g|i|m] [-w weight]
　　ipvsadm -d -t|u|f service-address -r server-address
　　-a：添加一个RS
　　-e：修改一个RS  修改属性，修改IP地址要先删除再添加
　　-d：删除一个RS  
　　-r server-address：RS地址 rip[:port]
　　-g：GATEWAY （默认） dr模型
　　-i: IPIP             tun隧道模型
　　-m: MASQUERADE       nat模型
　　查看命令：
　　ipvsadm -L|l [options]
　　-n：numeric，数字格式显示地址和端口，名称解析
　　-c：connection，显示ipvs连接；
　　--stats：统计数据；
　　--rate：速率
　　--exact：精确值
　　清空规则：ipvsadm  -C
　　规则保存和重载：
　　保存：ipvsadm -S  > /PATH/TO/SOME_RULE_FILE
　　ipvsadm-save  > /PATH/TO/SOME_RULE_FILE
　　若重启生效：保存至默认路径/etc/sysconfig/ipvsadm
　　ipvsadm-save > /etc/sysconfig/ipvsadm
　　开机生效：systemctl enable ipvsadm
　　重载：ipvsadm  -R < /PATH/FROM/SOME_RULE_FILE
　　         ipvsadm-restore < /PATH/FROM/SOME_RULE_FILE
　　lvs-nat
　　实验环境：centos7x86虚拟机
　　nat模型

　　搭建环境配置
　　1、director核心转发功能设置，打开核心转发功能：两个网卡间，若永久有效编辑配置文件
　　vim /etc/sysctl.d/*conf 添加net.iPv4.ip_forward=1
　　确保RS网关指向director内网地址（内网基于host-only通信），测试是否能通信：

　　2、配置RSweb服务启动

　　3、director请求服务是否正常

　　4、director添加集群服务规则

　　5、lvs集群实现调度的效果

　　总结要点：
　　1.DIP与RIP要在同一网段，RIP网关指向dip
　　2.支持端口映射
　　3.是否用到共享存储  取决于业务要求：
　　lvs-dr
　　在各主机director，RS均需要配置VIP，因此，要解决地址冲突问题，目标是让各个RS上的VIP不可见，

　　仅用接收目标地址为VIP报文，同时又可以作为响应报文的源地址；
　　方案：1.在前端的网关接口上静态绑定
　　          2.在RS上使用arptables
　　          3.在各RS上修改内核参数，来限制arp响应和通告；
　　限制响应级别：arp_ignore
　　       0:使用本地任意接口上配置地址进行响应；
　　       1:仅在请求的目标IP配置在本地主机的接入报文的接口上时，才给予响应；
　　限制通告级别：arp_announce
　　0:默认，把本机所有接口向每一个接口通告；
　　1:尽量避免向本网络通告
　　2:总是避免；
　　模型：

　　调整网络director、rs在同一网络192.168.1，配置IP、vip
　　配置director添加vip方法：
　　1.IP addr add命令实现

　　2.ifconfig interface:alias ip netmask方法：

　　3.rs-vip配置并设置内核参数

　　4.给director添加集群服务规则

　　5.通过本地访问服务：

　　设计要点：
　　（1）：各主机一个接口即可，但需要在同一网络
　　（2）：rip的网关不能指向dip；rip和dip通常应该在同一 网段，但二者未必会与VIP在同一网段；
　　（3）：各rs需先设置内核参数，在设置VIP和路由
　　fwm：在netfilter上实现给报文打记；mangle 需要在PREROUTNG链上打标，mangle可用于所有的链上
　　ipvsadm -A|E -t|u|f service-address [-s scheduler]  [-p [timeout]]
　　-t, -u: service-address
　　ip:port
　　-f: service-address
　　firewall mark $
　　基于fwm定义集群服务的步骤：

　　(1) 打标
　　# iptables -t mangle -A PREROUTING -d $vip -p $protocol --dport $serviceport -j MARK --set-mark #
　　mangle：
　　target: MARK
　　--set-mark value[/mask]16进制整数
　　可以实现多个端口标记：-m multiport
　　(2) 定义集群服务
　　# ipvsadm -A -f # [-s scheduler] [-p [timeout]] 默认300s
　　(3) 定义real server
　　lvs persistence：持久连接
　　功能：无论ipvs使用何种scheduler，其都能够实现在指定时间范围内始终将来自同一个ip地址的请求发往同一个RS；此功能是通过lvs持久连接模板实现，其与调度方法无关；
　　ipvs持久连接的模式：
　　每端口持久（PPC）:per port,一个server可以有多个集群服务指向的端口不一80,8080,只对单个服务集群持久
　　每客户端持久（PCC）：定义tcp或udp协议的0号端口为集群服务端口；对所有服务进行持久,无论访问任何访问，都是同一台服务主机
　　每FWM持久（PFWMC）：只对同一防火墙标记进行持久如http, https绑定
　　eg：pfwmc   https ca
　　iptables -t mangle -A PREROUTING -d 192.168.1.111 -p tcp -m multiport --dport 80,443 -j MARK --set-mark 10
　　ipvsadm -A -f 10 -s rr -p
　　ipvsadm -a -f 10 -r 192.168.1.201 -g
　　ipvsadm -a -f 10 -r 192.168.1.202 -g
　　pcc: 没有添加iptables打标记
　　ipvsadm -A -t 192.168.1.200:0 -s rr -p
　　ipvsadm -a -t 192.168.1.200:0 -r 192.168.1.201 -g -w 1
　　ipvsadm -a -t 192.168.1.200:0 -r 192.168.1.202 -g -w 2