设为首页 收藏本站

运维网

 找回密码
 立即注册
查看: 1268|回复: 0

[经验分享] Linux架构之LVS-DR和keepalived配置

[复制链接]
34212131
累计签到：1 天
连续签到：1 天
发表于 2017-1-12 08:54:29 | 显示全部楼层 |阅读模式
LVS是linux virtual server的简写linux虚拟服务器，是一个虚拟的服务器集群系统，可以再unix/linux平台下实现负载均衡集群功能。 DR模式（直接路由模式）
Virtual server via direct routing (vs/dr)
DR模式是通过改写请求报文的目标MAC地址，将请求发给真实服务器的，而真实服务器响应后的处理结果直接返回给客户端用户。同TUN模式一样，DR模式可以极大的提高集群系统的伸缩性。而且DR模式没有IP隧道的开销，对集群中的真实服务器也没有必要必须支持IP隧道协议的要求。但是要求调度器LB与真实服务器RS都有一块网卡连接到同一物理网段上，必须在同一个局域网环境。
DR模式是互联网使用比较多的一种模式。
DR模式原理图：
QQ截图20170112085400.png
LVS调度算法的生产环境选型：
1、一般的网络服务，如http，mail，mysql等常用的LVS调度算法为：
a.基本轮询调度rr
b.加权最小连接调度wlc
c.加权轮询调度wrc
DR配置
Director serverchumjtest01
eth0 172.31.24.199 VIP:172.31.24.197
Realserver01chumjtest02eth0 172.31.24.200VIP lo:0:172.31.24.197
Realserver02chumjtest03eth0 172.31.24.198VIP lo:0:172.31.24.197
实验准备
1.关闭防火墙 iptables -F;  
2.关闭selinux： setenforce 0
3.在Director Server安装好lvs
4.realserver都需要安装nginx

Dirserver配置
首先为了执行方便编写一个脚本
1
2
3
4
5
6
7
8
9
10
11
12
#!/bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward         //开启转发功能
ipv=/sbin/ipvsadm
vip=172.31.24.197        //VIP的IP地址
rs1=172.31.24.200        //RS1的IP地址         
rs2=172.31.24.198        //RS2的IP地址
ifconfig eth0:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev eth0:0
$ipv -C
$ipv -A -t $vip:80 -s rr        //轮询,意思是一次转发，      
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1    //g表示LVS-DR模式 w表示权重   
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1




Realserver 配置
同样建立一个脚本，分别在放在两台RS上面。
1
2
3
4
5
6
7
8
#!/bin/bash
vip=172.31.24.197
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce



然后director上执行: bash /usr/local/sbin/lvs_dr.sh
两台rs上执行: bash /usr/local/sbin/lvs_dr_rs.sh

测试
1
2
[iyunv@chumjtest04 ~]# curl 172.31.24.197
Chumjtest03




注：
主要realserver 权重不一样要修改dirserver配置文件
1
2
3
4
5
6
7
8
9
10
11
12
#!/bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward         //开启转发功能
ipv=/sbin/ipvsadm
vip=172.31.24.197        //VIP的IP地址
rs1=172.31.24.200        //RS1的IP地址         
rs2=172.31.24.198        //RS2的IP地址
ifconfig eth0:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev eth0:0
$ipv -C
$ipv -A -t $vip:80 -s wrr        //加权轮询,依照优先级转发      
$ipv -a -t $vip:80 -r $rs1:80 -g -w 3    //w表示权重，修改权重
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1





Keepalived安装
如果由之前的配置要清理下
ipvsadm -C
ifconfig eth0:0 down

由于环境限制这里将RS02当做keepalived备机，在真是环境中不建议这么做。最好另外有一台设备当做备机
进入keepalived，对配置文件进行配置
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
[iyunv@chumjtest01 sbin]# cat /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
    state MASTER   #备用服务器上为 BACKUP
    interface eth0
    virtual_router_id 51
    priority 100  #备用服务器上为90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.31.110
    }
}
virtual_server 192.168.31.110 80 {
    delay_loop 6                  #(每隔10秒查询realserver状态)
    lb_algo wlc                  #(lvs 算法)
    lb_kind DR                  #(Direct Route)
    persistence_timeout 60        #(同一IP的连接60秒内被分配到同一台realserver)
    protocol TCP                #(用TCP协议检查realserver状态)
    real_server 192.168.31.100 80 {
        weight 100               #(权重)
        TCP_CHECK {
        connect_timeout 10       #(10秒无响应超时)
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }
real_server 192.168.31.101 80 {
        weight 100
        TCP_CHECK {
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
     }
}



将主机的keepalived配置文件拷贝到备机上
只需要修改
stateMASTER  -> state BACKUP
priority 100 ->priority 90
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
[iyunv@chumjtest01 sbin]# scp keepalived.conf root@172.31.24.200:/etc/keepalived
进入chumjtest02
[iyunv@chumjtest02 keepalived]# vim keepalived.conf
vrrp_instance VI_1 {
    state BACKUP   #备用服务器上为 BACKUP
    interface eth0
    virtual_router_id 51
    priority 90  #备用服务器上为90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        172.31.24.197
    }
}
virtual_server 172.31.24.197 80 {
    delay_loop 6                  #(每隔10秒查询realserver状态)
    lb_algo wlc                  #(lvs 算法)
    lb_kind DR                  #(Direct Route)
    persistence_timeout 60        #(同一IP的连接60秒内被分配到同一台realserver)
    protocol TCP                #(用TCP协议检查realserver状态)
    real_server 172.31.24.200 80 {
        weight 100               #(权重)
        TCP_CHECK {
        connect_timeout 10       #(10秒无响应超时)
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }
real_server 172.31.24.198 80 {
        weight 100
        TCP_CHECK {
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
     }
}



注：

1.配置完keepalived后需要开启端口转发（主从都需要）

2.RS上都需要执行lvs_dr_rs.sh脚本
3.两个director上启动keepalived服务（先主后从）
启动keepalived服务会自动生成vip和ipvsadm规则，不需要再去执行上面提到的/usr/local/sbin/lvs_dr.sh 脚本。

启动keepalived
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
[iyunv@chumjtest01 ~]# service keepalived restart
Stopping keepalived:                                       [  OK  ]
Starting keepalived:                                       [  OK  ]
[iyunv@chumjtest01 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.31.24.197:80 wlc persistent 60
  -> 172.31.24.198:80             Route   100    0          0         
  -> 172.31.24.200:80             Route   100    0          0     
[iyunv@chumjtest01 sbin]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000
    link/ether 00:50:56:b3:79:e3 brd ff:ff:ff:ff:ff:ff
    inet 172.31.24.199/24 brd 172.31.24.255 scope global eth0
    inet 172.31.24.197/32 scope global eth0      //VIP已经启动
    inet6 fe80::250:56ff:feb3:79e3/64 scope link
       valid_lft forever preferred_lft forever



测试
可以将keepalived的master服务停止，看下在备机上是否启动。

1
2
3
[iyunv@chumjtest01 sbin]# service keepalived stop
Stopping keepalived:                                       [  OK  ]
[iyunv@chumjtest01 sbin]#



从备机的日志上看到VIP已经在备机上启动
1
2
3
4
5
6
7
[iyunv@chumjtest02 sbin]# tail -f /var/log/messages
Jan 11 17:21:00 chumjtest02 Keepalived_vrrp[1998]: VRRP_Instance(VI_1) Transition to MASTER STATE
Jan 11 17:21:01 chumjtest02 Keepalived_vrrp[1998]: VRRP_Instance(VI_1) Entering MASTER STATE
Jan 11 17:21:01 chumjtest02 Keepalived_vrrp[1998]: VRRP_Instance(VI_1) setting protocol VIPs.
Jan 11 17:21:01 chumjtest02 Keepalived_vrrp[1998]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 172.31.24.197
Jan 11 17:21:01 chumjtest02 Keepalived_healthcheckers[1997]: Netlink reflector reports IP 172.31.24.197 added
Jan 11 17:21:06 chumjtest02 Keepalived_vrrp[1998]: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 172.31.24.197



1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
[iyunv@chumjtest02 sbin]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet 172.31.24.197/32 brd 172.31.24.197 scope global lo:0
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eth1: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN qlen 1000
    link/ether 00:50:56:b3:0e:c3 brd ff:ff:ff:ff:ff:ff
3: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:50:56:b3:68:a0 brd ff:ff:ff:ff:ff:ff
    inet 172.31.24.200/24 brd 172.31.24.255 scope global eth0
    inet 172.31.24.197/32 scope global eth0     //VIP已经在备机上启动
    inet6 fe80::250:56ff:feb3:68a0/64 scope link
       valid_lft forever preferred_lft forever



注：
keepalived的日志在/var/log/messages，可以通过检查日志来发现问题。

Linux

相关帖子


运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表，该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有，请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意，请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息，一经发现立即删除。若您因此触犯法律，一切后果自负，我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集，我们仅提供一个展示、介绍、观摩学习的平台，我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责，亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏，不得用于商业或者其他用途，否则，一切后果均由您自己承担，我们对此不承担任何法律责任
7、如涉及侵犯版权等问题，请您及时通知我们，我们将立即采取措施予以解决
8、联系人Email：admin@iyunv.com 网址：www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址：https://www.yunweiku.com/thread-327258-1-1.html 上篇帖子： lvs-nat模式 下篇帖子： Lvs群集（DR/NAT）两种模式配置 Linux
回复

使用道具 举报

返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群，最新一手资源尽在官方微信交流群！快快加入我们吧...

扫描微信二维码查看详情

客服 E-mail:iyunvcom@gmail.com

本站由青云提供云计算服务

运维网--中国最专业的运维工程师交流社区

豫ICP备20007574号-1 Copyright © 2012-2025

关于我们

发展历程

联系我们

关注我们

广告服务

广告案例

隐私条款

免责声明

用户登录

用户注册

版主守则

申请版主

手机版

金币获取

帮助中心

每日签到

Good Good

Study

Day Day

UP


客服E-mail:kefu@iyunv.com 客服QQ：1061981298


QQ群⑦：运维网交流群⑦ QQ群⑧：运维网交流群⑧ k8s群：运维网kubernetes交流群


提醒：禁止发布任何违反国家法律、法规的言论与图片等内容；本站内容均来自个人观点与网络等信息，非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来，其版权均归原作者及其网站所有，我们尊重他人的合法权益，如有内容侵犯您的合法权益，请及时与我们联系进行核实删除！



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表