基于keepalived的高可用ipvs集群

0987iu

前言:

    前面我们讲到了用lvs搭建集群服务，虽然确实可以提高了服务的负载能力，但是，却依然存在着不少问题，比如调度器的单点，不能实时检测后端服务器的健康状态。所以我们希望可以实现调度器有主备，一台服务器挂掉另外一台立马自动换上，并能根据后端服务器的健康状况增加删除RS。此处就这用到本次要讲到的keepalived了。当然keepalived不仅仅能实现ipvs集群的高可用，只是本次先在ipvs上加入高可用。

正文：
    keepalived主要有三个组建组成，即vrrp stack，ipvs wrapper，checkers，分别用于实现主备，管理ipvs规则以及健康状态检测。

    vrrp虚拟路由冗余协议，其实是为了解决局域网中配置静态网关出现单点失效的路由协议。在此主要是为了解决VS单点失效，我们可以拿两台设备做调度器，并把两个设备虚拟成一台设备，并用一个叫做虚拟路由id的东东标识这个虚拟设备，并且给这个虚拟设备一个ip地址，两台设备中优先级高的设备就是主设备，其他设备就作为从设备，主设备会获得到这个虚拟设备的ip，当主设备由于某种原因挂掉时，从设备就或者这个虚拟设备的ip，从而提供服务，所以简单的主备模式，就一台设备工作，另外一台作为备用。那备用设备是怎么知道主设备是否在线呢？相当于两个人在不同的房间，为了确定一个是否存在，让他一直发出声音让其他人确定他还存在就好了~所以，主备设备也是如此，不过因为只需要很小的范围内传播，所以我们此处用到的并非广播，而是多播而已。

    keepalived可以通过配置文件来设置lvs，与健康状态检测一起来对ipvs进行动态管理。如果我们配置了2台RS，keepalived会根据RS的健康状态配置ipvs规则，如果某台设备down掉，请求就不会转发到此台设备，那如果两台都挂掉怎么办？我们可以让调度器呈现一个sorry server来提示用户，服务不可用等等。

    我们在上篇博客的实现上继续加入keepalived功能把~为了实现高可用，我们在加入一台设备用来当VS的备用设备。其ip为172.16.53.104，两台RS的配置不变，我们直接清空以前的ipvs配置就好。keepalived的配置分三个部分，分别是全局配置，vrrp相关配置和lvs的配置。调度器的配置如下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71

#172.16.53.100 ipvsadm -C  #情况以前的配置 ifconfig eno16777736:0 172.16.53.50 netmask 255.255.255.255 broadcast 172.16.53.50 down     以前手动配置的VIP也down掉 以下配置主备两天设备基本相同 yum install keepalived -y cd /etc/keepalived mv keepalived.conf{,.bak}  #把默认配置当成备份 vim keepalived.conf     global_defs {                #全局配置        notification_email {             root@localhost       #设置提示邮件的接收者，调度器状态转换时可以发送邮件提醒        }        notification_email_from keepalived@localhost #邮件发送者        smtp_server 127.0.0.1                         #邮件的服务器地址        smtp_connect_timeout 30                       #邮件服务连接超时时间        router_id node1                               #标识一台设备        vrrp_mcast_group4 224.0.100.99                #用来通告在线的多播地址     }     vrrp_instance VI_1 {                             #vrrp配置         state BACKUP          #这里是初始状态为从设备，104是主设备此处就为MASTER         interface eno16777736            #虚拟ip设置在哪个接口上         virtual_router_id 99            #标识一台虚拟设备，因为可以配置多个vrrp虚拟设备         priority 98                     #优先级，优先级高的为主设备         advert_int 1                    #vrrp通告的时间间隔；         authentication {                #认证相关，所有设备必须一样                 auth_type PASS                 auth_pass 571f97b2      #只有前8位有效         }         virtual_ipaddress {             #传说中的虚拟IP咯                 172.16.53.50/16 dev eno16777736         #ip和所在的接口         }     }     virtual_server 172.16.53.50 80 {            #lvs相关的配置咯~         delay_loop 3                     #服务轮询的时间间隔；               lb_algo rr                       #定义调度方法为轮询         lb_kind DR                       #定义集群类型，这个要依赖不同的网络架构哟         protocol TCP                     #服务协议，仅支持TCP         sorry_server 127.0.0.1 80        #sorry server的地址，我们用本机         real_server 172.16.53.101 80 {   #定义RS                 weight 1                 #权值，有的调度算法会用到                 HTTP_GET {               #健康检测，检测http的get                         url {                                             path /   #定义监控的url                                 status_code 200   #返回值为200就为健康                         }                         connect_timeout 1         #连接超时时长                         nb_get_retry 3            #重试次数                         delay_before_retry 1       #重试之前的延时时长                 }         }         real_server 172.16.53.102 80 {   #第二个RS                 weight 1                 HTTP_GET {                         url {                                 path /                                 status_code 200                         }                         connect_timeout 1                         nb_get_retry 3                         delay_before_retry 1                 }         }     } systemctl start keepalived    #启动服务 ipvsadm -Ln                   #查看是否有相应的ipvs规则 yum install httpd -y          #配置sorry server vim /var/www/html/index.html     sorry,our system is being maintained systemctl start httpd         #启动sorry server

两个VS的配置基本一致，除了state设置不同以外。虽然我们演示的是http的负载均衡，健康状态检测以及高可用，不过任何的服务都是支持的~毕竟lvs是4层的东东~其它的服务得用到TCP_CHECK字段的配置了。此处就不再详细描述了。直接给出简要的配置说明把~

1 2 3 4 5 6 7

TCP_CHECK {     connect_ip <IP ADDRESS>：向当前RS的哪个IP地址发起健康状态检测请求     connect_port <PORT>：向当前RS的哪个PORT发起健康状态检测请求     bindto <IP ADDRESS>：发出健康状态检测请求时使用的源地址；     bind_port <PORT>：发出健康状态检测请求时使用的源端口；     connect_timeout <INTEGER>：连接请求的超时时长； }

我们所演示的配置为一主一从，如果我们想实现两个RS同时调度请求该怎么办？我们可以在两台设备上弄两个虚拟设备，所以就有两个虚拟ip，在一个虚拟设备中，VS1为主，VS2为从，另一个虚拟设备中VS1为从，VS2为主，然后用dns把一个域名解析到两个ip，因为dns本身就会去进行轮询两个ip，所以就实现了两个调度器的负载均衡~在此处就不做演示了，和上面配置大同小异。此处只是给出一个思路。
    注意：如果在dr模式下设置双主，RS要记得设置两个VIP哟！这个坑博主踩过。。。。


~keepalived出来能做lvs的高可用，也可以做nginx负载均衡的高可用，不过此话题以后在说~