keepalived和应用在同一台机子的配置
先简单说下 这个架构目前大家用LVS+Keepalived + APP 架构都是 2台LVS +Keepalived 然后后端跟着 应用设备
因为我们公司太扣了 说 2台LVS平常没什么压力 还有一台备着(其实可以跑双主)想让我们充分利用起来能不能把后端应用 也部署都LVS上
这样的话 架构就是 #下面讲解2台设备分别部署apache+LVS+keepalived 实现高可用跟设备都在服务(没有空闲设备)
架构图 如下:#不会画图
原理说下吧 (#DR模式)
其实这个跟我们平常部署LVS+Keepalived没什么区别 部署过程我以前写过一个文章 可以去参照那个
当时如果整个过程你按照以前的那种部署思路 发现部署完之后总有那么一台real-server不能服务(我实验过 把备机的keepalived stop就好了)以前也一直纠结这个
原因跟解决方法如下:(摘自 扶凯博客)
当客户端发送数据包给 VIP .比如我们的 Director1 (Master 主)这个接口正在工作,这时 LVS 能接收到这个包,然后根据 keepalived 的配置进行 load balance .这时 Director1 会使用 LVS-DR 的功能给包路由给自己或者 Director2 (Backup).
这时有个问题.在这个例子中因为我们使用了 keepalived .这时 Director2 这台是一台 VIP 的备份服务器.这时 keepalived 默认会立即启动使用 ipvsadm 的规则来配置这台服务器怎么样做备份的处理.来使得更快的故障转移.所以这时这些规则这台备份的 Director2 主机都会存在.
这就有问题了.当从 Director1 (Master 主),比如使用 rr .会转发大约 50% 的包从 Director1 到Director2 (Backup)的 3306 的端口.这时因为 Director2 因为这些 LVS-DR 的配置规则会接着给这些包,在做一次 load balance .又发回去给 Director1.这时会产生一个死的循环.
随着时间的推移，不但不能正常的处理连接,您的服务器也会崩溃，在他们中间或后端不断的反复连接
解决方案: 给进入 eth0 的包打包 mark 的标记,当数据包是发给 VIP:80并且 MAC 不其它 LVS 服务器的话. 才做个 mark ,这样才会对指定的 fwmark 进行 loadbalance 放入到 LVS 中处理.只要数据包是从任意其它的 MAC 地址(非 LVS 的转发)会被发往 VIP:port, 会不在进行 loadbalanced 而是直接转给后面监听的demon 程序进行应用的处理.实际就是我们使用 iptables 来对进入的流量设置 MARK.然后配置 keepalived 只处理有 MARK 过的流量.不在使用以前绑定 VIP 和端口
下面我们来给指定的包打标签吧 (利用iptables)命令如下
在LVS 1上执行
1iptables -t mangle -I PREROUTING -d $VIP -p tcp -m tcp --dport $VPORT -m mac ! --mac -source $MAC_Director2 -j MARK --set -mark 0x3$VIP 为VIP地址 $VPORT 为服务端口
$MAC_Director2 是备机的MAC (keepalived 之间互相监听的那块网卡)
在LVS2上执行
1iptables -t mangle -I PREROUTING -d $VIP -p tcp -m tcp --dport $VPORT -m mac! --mac -source $MAC_Director1 -j MARK --set -mark 0x4$VIP 为VIP地址$VPORT 为服务端口$MAC_Director1 是主 的MAC (keepalived 之间互相监听的那块网卡)改配置文件 ## 跟平常架构配置没大区别关于/etc/init.d/real-server 的脚本 这里就不介绍了 都懂的….然后改下LVS1 的keepalived配置文件 #主vrrp_instance VIP_1 { interface eth0
state MASTER
virtual_router_id 55
priority 100
virtual_ipaddress {
192.168.20.249
}
notify_backup “/etc/init.d/real-server start”## 切到备 后执行的脚本
notify_master “/etc/init.d/real-server stop” ## 切到主 后执行的脚本
notify_fault “/etc/init.d/real-server start” ## 故障状态 后执行的脚本(我也没弄懂这个状态是啥状态 ) }
virtual_server fwmark 380 { ####fwmark 3 为刚才用iptables打的标签
delay_loop 3
lb_algo rr
lb_kind DR
protocol TCP
sorry_server 127.0.0.1 80
real_server 192.168.20.102 80 {
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.20.150 80 {
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
然后改下LVS2 的keepalived配置文件 #备
vrrp_instance VIP_1 {
interface eth0
state MASTER
virtual_router_id 55
priority 80
virtual_ipaddress {
192.168.20.249
}
notify_master“/etc/init.d/real-server stop”##切到主 后执行的脚本
notify_backup“/etc/init.d/real-server start” ##切到备 后执行的脚本
}
virtual_server fwmark 480 { ###fwmark 4 为刚才用iptables打的标签
delay_loop 3
lb_algo rr
lb_kind DR
protocol TCP
sorry_server 127.0.0.1 80
real_server 192.168.20.102 80 {
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.20.150 80 {
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
最后都是启动keepalived测试下
后记吧
这里有个问题如果keepalived切到备份后(这个切换触发条件 有点纠结 我手动把keepalived down了 但是没执行 notify_backup “/etc/init.d/real-server start” 和 notify_fault “/etc/init.d/real-server start” 命令 )那这个时候就有问题了当时如果是机器down了 那没事当时如果是keepalived服务down了机器没down 那 也只能 一台在服务(这个很纠结)所有得重点保障 主的keepalived一直正常那整个平台 设备利用率最高了.
页:
[1]