LVS负载群集实验篇

death114

　　上次提到，LVS（linux虚拟服务）负载群集有三种模式，NAT模式 IP隧道模式,DR模式。这次就分析一下LVS的NAT模式和DR模式，因为IP隧道模式不是很常用，也比较麻烦。
NAT模式
　　环境：
　　NAT模式 负载调度器既是客户端访问服务的唯一入口，也是服务器池中各节点响应客户端的出口所以要启用ip转发功能以及vs_ip模块 流量的进出转发不能有阻碍，防火墙要配置。服务器池中就构建web服务了 各个节点要访问统一的网页文件（NFS发布共享）

　　清理一下思路：
　　调度器收到客户端的请求后，目标ip是VIP 根据DNAT和ipvsadm策略，把数据包重写地址，发到服务器中的某一节点服务器。节点服务器回复给调度器，调度器在更具策略更改数据包地址响应给客户端。 所以 数据的进出都要经过调度器。
　　---负载调度器配置：
　　加载vs_ip模块并添加到启动模块
　　modprobe  ip_vs

　　---开启ip转发功能 vim /etc/sysctl.conf
　　把“net.ipv4.ip_forward = 0 ”的值给成1  启用转发

　　重启系统或者执行 命令 sysctl -p 生效

　　配置防火墙 允许80的入站 和转发

　　安装LVS管理工具ipvsadm
　　rpm -ivh ipvsadm-1.25-9.el6.i686.rpm

　　ipvsadm 工具的使用
　　-A 表示添加虚拟服务器 （这里我就把VIP配置成调度器的外部接口12.12.12.1了）
　　-t 指定vip（虚拟ip）的地址和端口
　　-s 指定算法  轮询（rr），加权轮询（wrr），最少链接（lc），加权最少链接（wlc）这是四种最常用的
　　-p 指定保持时间s
　　-a 表示添加真实服务器 （服务器池中的节点）
　　-r 指定RIP（真实ip）的地址和端口
　　-m 工作模式是NAT
　　-g 工作模式DR
　　-i 工作模式 RUN
　　-w 配置权重 默认值是1 为0 时表示暂停
　　创建条目
　　ipvsadm -A -t 12.12.12.1:80 -s rr
　　ipvsadm -a -t 12.12.12.1:80 -r 192.168.1.1:80 -m
　　ipvsadm -a -t 12.12.12.1:80 -r 192.168.1.2:80 -m
　　保存 service ipvsadm save

　　查看 ipvsadm -L 或 ipvsadm -l

　　查看负载链接情况  ipvsadm -lcn   或 -ln   现在为空

　　负载调度器完成
　　---NFS共享服务器（RHEL6)
　　NFS服务依赖于RPC机制，已完成本地的映射过程  所以要安装nfs-utils 用于发布共享和访问 rpcbind用于RPC的支持
　　rpm -ivh rpcbind-0.2.0-8.el6.i686.rpm
　　rpm -ivh nfs-utils-lib-1.1.5-1.el6.i686.rpm
　　rpm -ivh nfs-utils-1.2.2-7.el6.i686.rpm

　　配置共享空间

　　编辑NFS的配置文件 /etc/exports 默认为空 需要手动添加
　　/wwwroot/       192.168.1.0/24(rw,sync,no_root_squash)

　　其中客户机部分可以是主机名 ip地址 网段地址允许用* ？ 通配符表示
　　括号里的rw 表示读写 sync 表示同步写入 root_squash 表示当客户及以root身份访问时赋予本地root权限 （默认是root_quash） 加上no_ 表示将作为nfsnobody的身份对待 ro表示只读权限（可以为不同的主机配置不同的权限）
　　启动服务 注意:rhel5系统中RPC服务脚本是portmap而rhel6系统中RPC服务脚本是rpcbind

　　NFS服务端口较多，且不固定 所以建议关掉防火墙
　　---服务器节点配置
　　启动web服务

　　防火墙配置 允许80

　　挂载共享存储

　　写到/etc/fstab 文件中实现自动挂载
　　echo "192.168.1.10:/wwwroot/      /var/www/html     nfs  defaults,_netdev      0  0" >> /etc/fstab

　　查看

　　两台做相同的配置
　　然后创建 网页文件 做测试

　　客户端访问12.12.12.1做测试

　　负载调度器查看  ipvsadm   -lvn

　　可以看出 调度器把来自12.12.12.2的请求分别交给过192.168.1.1和192.168.1.2两台服务器处理

　　Forward 下面是 Masq 表示 NAT 工作模式  如果是Router 表示DR
DR模式
　　DR模式中，Lvs不在是服务器池中各节点的出口，他们通过自己的路由回应客户端。LVS扮演的角色只是整个群集的入口。从性能上说，是减少了LVS调度器的负担，但是整个群集的安全性相比NAT工作模式下略有不足，但是“安全”一词只能是说没有绝对，无论是哪种方，还得冲其他方面综合考虑。
　　环境：
　　这次没有搭建NFS网络共享（根据需求而定）
　　负载调度器 ：15.15.15.1
　　Webserver 1 ：15.15.15.2
　　Webserver2  ：15.15.15.3
　　群集ip （vip）：15.15.15.10
　　客户端 ： 15.15.15.100

　　DR模式说了，LVS的功能有所改变，他不再做NAT转换了，他怎么监听客户端的请求？收到请求之后如何让服务器池中的各个节点知道（毕竟他们才提供响应的服务）？整个群集是有一个VIP（虚拟ip），就算节点服务器知道有请求，那么请求包中的目标地址也是vip的，怎么以VIP回应客户端？多台节点都要回应客户端，所以ARP是否冲突？
　　①负载调度器如何监听客户端的请求？
　　整个群集还是有一个VIP，他负责监听客户端的请求。单独做LVS-DR 的时候，他要建立在物理接口上面，也就是我们说的虚拟接口。
　　②怎么通知服务器池中的节点？
　　通过ipvsadm 设置的规则 NAT模式中已经介绍了
　　③通常客户端是不会接受自己没有请求过的数据包（tcp三次握手），所以节点服务器不经过LVS调度服务器响应客户端的话就得 以vip的源地址数据包回应客户端
　　④问题三中，响应客户端的节点服务器不止一台。ARP中 已知vip 15.15.15.10 他的MAC 地址是多少，会有N多的答案 造成数据传输混乱。所以要更改系统参数，不让他响应ARP和宣告ARP。
　　有点乱？ 我也有点乱，咱再重新过一遍
　　第一阶段
　　调度器收到客户端的请求，目标地址是VIP 15.15.15.10 的80端口。而自己没有80服务，在根据ipvsadm创建的策略，要把客户端的请求转发给服务器池中的某个节点，具体是哪个？根据ipvsadm策略。
　　第二阶段
　　转发的数据包中，不管源ip地址是谁？（物理ip地址也好，建立在物理网卡上的虚拟ip也好-VIP）他的二层封装 都是一个MAC地址，这个包表达的意思就是客户端要访问群集ip的80端口，你看着办。（另外，还有资料说，这个包只是一个二层的包）
　　第三阶段 （下面详细说）
　　服务器池中的某个节点一看，目标是VIP 根据添加的路由条目，把包直接给自己的lo：0 接口 而Apache默认是监听自己的所有网卡，正中下怀。因为收到的是一个客户端访问VIP：80的请求包所以构建响应包的时候就是VIP到客户端的了，通过自己的网络参数配置，响应客户端了，并没有经过调度器。
　　下面有一步步实现
　　负载调度器：
　　加载 ip_vs 模块  安装ipvsadm包
　　创建虚拟接口

　　修改参数为

　　重启网卡服务后

　　调整系统参数
　　对于DR群集模式来说，由于LVS负载调度器和各节点需要共用VIP地址，为了避免网络内的ARP解析出现异常，应该关闭linux内核的ICMP重定向参数响应。
　　注：ICMP重定向报文是ICMP控制报文中的一种。在特定的情况下，当路由器检测到一台机器使用非优化路由的时候，它会向该主机发送一个ICMP重定向报文，请求主机改变路由。此类报文有可能用以***,所以系统应该拒绝接受ICMP重定向。
　　编辑 /etc/sysctl.conf  添加

　　上图中参数的含义是发送重定向，0表示关闭此项功能。此处修改是为了安全考虑关闭重定向功能。如果具有 eth1、eth2 等多个接口，必须对所有接口执行该操作
　　命令 sysctl -p  修改生效
　　添加 ipvsadm 规则

　　其他方面 注意防火墙的配置 参考NAT
　　节点服务器：
　　开启httpd   防火墙策略
　　最主要的是添加网卡 lo：0
　　ifcf-lo:0的配置   注意子网掩码是四个255 表示地址只有一个

　　重启网卡服务后

　　添加路由
　　route add -host 15.15.15.10 dev lo：0

查看

　　调整参数  禁止ARP响应和宣告
　　编辑/etc/sysctl.conf 文件

　　net.ipv4.conf.default.arp_ignore = 1
　　net.ipv4.conf.all.arp_ignore = 1
　　net.ipv4.conf.lo.arp_ignore = 1
　　arp_ignore:定义了网卡在响应外部ARP请求时候的响应级别0：默认值，不管哪块网卡接收到了ARP请求，只要发现本机有这个MAC都给与响应1：总是使用最合适的网卡来响应，一个主机有多块网卡，其中一块网卡接收到了ARP请求，发现所请求的MAC是本机另一块网卡的，这个时候接收到ARP请求的这块网卡就一定不响应，只有发现请求的MAC是自己的才给与响应。
　　net.ipv4.conf.default.arp_announce =2
　　net.ipv4.conf.all.arp_announce =2
　　net.ipv4.conf.lo.arp_announce = 2
　　定义了网卡在向外宣告自己的MAC-IP时候的限制级别有三个值：0：默认值，不管哪块网卡接收到了ARP请求，只要发现本机有这个MAC都给与响应1：尽量避免响应ARP请求中MAC不是本网卡的，一个主机有多块网卡，其中一块网卡接收到了ARP请求，发现所请求的MAC是本机另一块网卡的，这个时候接收到ARP请求的这块网卡就尽量避免响应2：总是使用最合适的网卡来响应，一个主机有多块网卡，其中一块网卡接收到了ARP请求，发现所请求的MAC是本机另一块网卡的，这个时候接收到ARP请求的这块网卡就一定不响应，只有发现请求的MAC是自己的才给与响应。
　　命令sysctl  -p使修改生效
　　测试

　　刷新后

　　没有配置NFS网络存储  所以建了两个内容不一样的文件

　　END
　　Ps： 有错的地方还请谅解。就到这吧 关于高可用性和ip隧道  有时间再写吧！