LVS实现web服务的负载均衡

qingkuangs

本节索引

• Ipvsadm工具介绍
  
  
• Web服务的负载均衡
  
• 实现http与https的同时调度
  

　　

　　1 ipvsadm工具


我们知道LVS项目已提供了一个实现可伸缩网络服务的Linux Virtual Server框架。在LVS框架中，提供了含有三种"IP负载均衡技术"的IP虚拟服务器软件"IPVS"、"基于内容请求分发的内核Layer-7交 换机KTCPVS"和"集群管理软件"。这里主要说说”IP负载均衡技术”他的管理工具就是ipvsadm。

1）ipvsadm语法
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [-b sched-flags]
ipvsadm -D -t|u|f service-address
ipvsadm -C
ipvsadm -R
ipvsadm -S [-n]
ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight] [-x upper] [-y lower]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]
ipvsadm --set tcp tcpfin udp
ipvsadm --start-daemon state [--mcast-interface interface] [--syncid syncid]
ipvsadm --stop-daemon state
ipvsadm -h2）Ipvsadm选项介绍

选项	说明
-A (--add-service)	在内核的虚拟服务器列表中添加一条新的虚拟IP记录。也就是增加一台新的虚拟服务器。虚拟IP也就是虚拟服务器的IP地址。
-E (--edit-service)	编辑内核虚拟服务器列表中的一条虚拟服务器记录
-D (--delete-service)	删除内核虚拟服务器列表中的一条虚拟服务器记录
-C (--clear)	清除内核虚拟服务器列表中的所有规则
-R (--restore)	恢复虚拟服务器规则
-S (--save)	保存虚拟服务器规则，输出为-R 选项可读的格式
-a (--add-server)	在内核虚拟服务器列表的一条记录里添加一条新的Real Server记录。也就是在一个虚拟服务器中增加一台新的Real Server
-e (--edit-server)	编辑一条虚拟服务器记录中的某条Real Server记录
-d (--delete-server)	删除一条虚拟服务器记录中的某条Real Server记录
-L|-l –list	显示内核中虚拟服务器列
-t	说明虚拟服务器提供的是tcp服务，此选项后面跟如下格式：[virtual-service-address:port] or [real-server-ip:port]
-u	说明虚拟服务器提供的是udp服务，此选项后面跟如下格式：[virtual-service-address:port] or [real-server-ip:port]
-f fwmar	说明是经过iptables标记过的服务类型
-s	此选项后面跟LVS使用的调度算法；有这样几个选项：rr|wrr|lc|wlc|lblc|lblcr|dh|sh。默认的调度算法是： wlc
-p  [timeout]	在某个Real Server上持续的服务时间。也就是说来自同一个用户的多次请求，将被同一个Real Server处理。此参数一般用于有动态请求的操作中，timeout的默认值为360s（帮助文档写的是300s）。例如：-p 100，表示持续服务时间为00s。
-r	指定Real Server的IP地址，此选项后面跟如下格式：[real-server-ip:port]
-g (--gatewaying)	指定LVS 的工作模式为直接路由模式（此模式是LVS 默认工作模式）
-i (-ipip)	指定LVS 的工作模式为隧道模式
-m (--masquerading)	指定LVS 的工作模式为NAT模式
-w (--weight) weight	指定Real Server的权值
-c (--connection)	显示LVS目前的连接信息 例如：ipvsadm -L -c
-L --timeout	显示“tcp tcpfin udp”的timeout值，如：ipvsadm -L --timeout
-L --daemon	显示同步守护进程状态，例如：ipvsadm -L –daemon
-L  --stats	显示统计信息，例如：ipvsadm -L –stats
-L  --rate	显示速率信息，例如：ipvsadm -L  --rate

　　3）说明： 保存添加的虚拟ip记录和ipvsadm的规则可以使用service ipvsadm save，还可以用-S或--save。清除所有记录和规则除了使用-C，还以使用--clear。
　　

2 web服务的负载均衡

1）实验准备：准备4台虚拟机

@@一台作为VS服务器
@@一台作为客户端
@@两台主机作为web服务器，当然了，不只是web服务器。这里只是为了实验方便，web服务最常见，   


2）网络拓扑及地址规划

3）环境配置
为了实验能顺利实现，关闭防火墙和selinux；注意这只是实验环境中。
[root@vin ~]# iptables -F         # 清空防火墙规则
[root@vin ~]# setenforce 0        # 临时禁用selinux
[root@vin ~]#4）web服务器配置
为了让我们看清楚LVS是如何调度的，我们特意将两台web服务器的index.html页面设置的不一样。
@@安装服务：

[root@vin ~]# yum install httpd -y
[root@vin ~]# echo "Linux web1" > /var/www/html/index.html   # 修改主页，web2的主页内容修改为Linux web2@@设置路由：只留一个网卡并且将网关指向Director
[root@vin ~]# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
192.168.14.0    0.0.0.0         255.255.255.0   U     0      0        0 ens33
0.0.0.0         192.168.14.77   0.0.0.0         UG    0      0        0 ens335）VS调度器设置
@@ 安装ipvsadm工具

[root@vin ~]# yum install ipvsadm -y        # yum安装，不过我已经安装了
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
Package ipvsadm-1.27-7.el7.x86_64 already installed and latest version
Nothing to do
[root@vin ~]# mount /dev/sr0 /mnt             # 挂载光盘
mount: /dev/sr0 is write-protected, mounting read-only
[root@vin ~]# rpm -ivh /mnt/Packages/ipvsadm-1.27-7.el7.x86_64.rpm       # rpm安装
[root@vin ~]#@@ 开启核心转发功能
[root@vin ~]# echo 1 > /proc/sys/net/ipv4/ip_forword@@ 定义集群服务
[root@vin ~]# ipvsadm -A -t 172.18.14.100:80 -s wrr
[root@vin ~]# ipvsadm -a -t 172.18.14.100:80 -r 192.168.14.55 -m -w 3     # 定义web1的权重为3
[root@vin ~]# ipvsadm -a -t 172.18.14.100:80 -r 192.168.14.66 -m -w 1     # 定义web2的权重为1（默认也是1；可省略）
[root@vin ~]# ipvsadm -Ln                         # 查看几区服务     
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.18.14.100:80 wrr
  -> 192.168.14.55:80             Masq    3      0          0
  -> 192.168.21.66:80             Masq    1      0          06）测试
在客户端使用for循环向VIP发起http访问请求
[root@vint ~]# for i in {1..10};do curl Linux web1
Linux web1
Linux web2
Linux web2
Linux web2
Linux web1
Linux web2
Linux web2
Linux web2
Linux web1
Linux web27）结果分析
观察访问结果，我们发现，LVS根据我们的算法WRR（加权轮询）及对应的权重（3,1）进行了调度。

3 实现http与https同时调度

方案一：同过添加两个集群服务，分别针对http和https的访问

1）原理剖析：
要实现http（上面我们已经实现了）与https的调度，我们第一步要做的就是：为两台服务提供CA证书，而且这两个服务器上的CA证书必须完全相同（可以采取先给一个授权，在复制到另外一台服务器上），这里我们可以使用Director作为根CA的颁发机构来颁发证书，也可以使用web服务器的自签名证书。然后我们在VS服务器上在添加一个用于https进行调度的集群服务，从而实现调度。
2）在web服务器上实现https服务
@@生成证书：这里就不在说怎么实现CA了，请参考博客：http://vinsent.blog.运维网.com/13116656/1964034
3）VS上添加集群服务
[root@vin ~]# ipvsadm -A -t 172.18.14.100:443 -s wrr
[root@vin ~]# ipvsadm -a -t 172.18.14.100:443 -r 192.168.14.55 -m -w 3     # 定义web1的权重为3
[root@vin ~]# ipvsadm -a -t 172.18.14.100:443 -r 192.168.14.66 -m -w 1     # 定义web2的权重为1（默认也是1；可省略）
[root@vin ~]# ipvsadm -Ln                         # 查看几个集群服务     
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
    -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.18.14.100:80 wrr
    -> 192.168.14.55:80             Masq    3      0          0
    -> 192.168.21.66:80             Masq    1      0          0
TCP  172.18.14.100:443 wrr
    -> 192.168.14.55:443             Masq    3      0          0
    -> 192.168.21.66:443             Masq    1      0          04）测试
[root@vint ~]# for i in {1..10};do curl http://172.18.14.100；curl

方案二：使用防火墙标记，实现http与https的统一调度。
1）明晰思路
上面实现了http与https通过LVS的调度分别按相应算法调度，但是他们的调度依然各是各的，我们怎么能让VS服务将http与https能够看成一个服务进行调度呢，此时我们想到了Netfilter中的MANGLE表，我们可以在防火墙上做策略，让访问我的https和http服务的请求给他们打上标记MARK，这样，在调度的时候，我们只需要根据MARK实现调度即可，至于他是究竟是http还是https我们便不在关心。
2）在VS上配置iptables规则
[root@vint ~]# iptables -F
[root@vint ~]# iptables -F -t nat    # 保证防墙上没有其他规则干扰；注意：这只是实验环境
[root@vint ~]# iptables -A -t mangle PREROUTING -p tcp -m multiport --dport 80,443 \
>-d 172.18.14.100 -j MARK --set-mark 103）设置LVS集群服务
由于我们将二者集合起来调度，在Director看来，http访问与https访问都是同一个服务，所以我们想清空原有的集群服务，在重新添加集群服务。
[root@vint ~]# ipvsadm -C
[root@vint ~]# ipvsadm -Ln         # 确保规则清除
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
    -> RemoteAddress:Port           Forward Weight ActiveConn InActConn   
[root@vint ~]# ipvsadm -Z         # 清空计数器
[root@vin ~]# ipvsadm -A -t -f 10 -s wrr
[root@vin ~]# ipvsadm -a -t -f -r 192.168.14.55 -m -w 3     # 定义web1的权重为3
[root@vin ~]# ipvsadm -a -t -f -r 192.168.14.66 -m -w 1     # 定义web2的权重为1（默认也是1；可省略）4）测试
[root@vint ~]# for i in {1..10};do curl http://172.18.14.100；curl https://172.18.14.100;done

笔者便签

感谢您能读到最后，如果这篇文章能让你有所收获，那将是我的荣幸，如果没能帮到你，那就在送你一句话，与君共勉：If a thing is worth doing it is worth worth doing well ---- 事情值得做，就值得好好做。