nginx+keepalived+apache构建高可用集群
本文描述：nginx基于keepalived实现高可用，基于自身的proxy功能代理web服务器，并实现负载均衡。实验环境：redhat5.8
实验拓扑结构：nginx+keepalived服务器2台，apache服务器2台，构建简单的高可用集群
ip分配：
[*]nginx1.weiyang.org 192.168.3.22nginx1
[*]nginx2.weiyang.org 192.168.3.33nginx2
[*]apache1.weiyang.org 192.168.3.205 apache205
[*]apache2.weiyang.org 192.168.3.206 apache206
一、实验环境安装和配置
nginx和apache的安装配置这里就不细说了，我采用的是编译安装；需要注意的是两台apache的网页文件目录下的index.html中内容分别是：it works from 205 和 it works from 206；便于我们来区分是否实现了负载均衡的效果（注：这里只是虚拟机中的简单实验，实际生产环境中文件必须保持一致）
二、在前端两台nginx上安装keepalived
keepalived的下载地址：http://www.keepalived.org/download.html；这里我使用最新的1.2.7版本。
注：事先yum安装开发包组“Development Tools” “Development Libraries” 已事先安装完毕
下载完成后解压安装：
[*]#tar xvf keepalived-1.2.7.tar.gz
[*]#cd keepalived-1.2.7
[*]#./configure --prefix=/usr/local/keepalived##指定keepalived的安装目录
[*]#make && make install
安装完成后，为keepalived提供配置文件和服务脚本
[*]#mkdir /etc/keepalived##为keepalived创建配置文件目录，默认配置文件从/etc/keepalived下读取
[*]#cp /usr/local/keepalived/sbin/keepalived /usr/sbin/ ##复制keepalived的二进制命令
[*]#cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/##提供启动脚本
[*]#cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/ ##keepalived的主配置文件
编辑/etc/keepalived/keepalived.conf文件，修改内容如下：
[*]! Configuration File for keepalived
[*]
[*]global_defs {
[*] notification_email {
[*] acassen@firewall.loc
[*] failover@firewall.loc
[*] sysadmin@firewall.loc##这三个都是邮箱地址，意思是当发生故障时向这三个邮箱发送邮件
[*] }
[*] notification_email_from Alexandre.Cassen@firewall.loc ##以哪个邮箱向上边定义的三个邮箱发送邮件
[*] smtp_server 127.0.0.1
[*] smtp_connect_timeout 30 ##smtp连接超时时间
[*] router_id LVS_DEVEL##服务器标识符
[*]}
[*]
[*]vrrp_instance VI_1 {
[*] state MASTER ##主服务器，从服务器设置为BACKUP；当master发生故障时，会自动转移到从上作为主，当主恢复工作时，再自动转移到定义的主上
[*] interface eth0 ##指定从哪个网卡发送VRRP信息的
[*] virtual_router_id 51 ##虚拟路由的组id，主和从必须在同一个组
[*] priority 100 ##优先权，从的设置为80
[*] advert_int 1
[*] authentication {
[*] auth_type PASS ##认证方式
[*] auth_pass 1111##认证的密钥
[*] }
[*] virtual_ipaddress {
[*] 192.168.3.18 ##VRRP的ip，也就是向客户端开放的ip，即vip
[*] }
[*]}
[*] 配置到这里就可结束了，之下的这里用不到；
在另一台同样的方法配置；只要将priority 100 改为80即可（只要小于主定义的100即可）；
两台服务器上都启动keepalived服务：service keepalived start
测试keepalived的效果
在nginx1上执行如下命令：
[*]# ip addr
[*] 1: lo:mtu 16436 qdisc noqueue
[*] link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
[*] inet 127.0.0.1/8 scope host lo
[*] inet6 ::1/128 scope host
[*] valid_lft forever preferred_lft forever
[*] 2: eth0:mtu 1500 qdisc pfifo_fast qlen 1000
[*] link/ether 00:0c:29:e7:cb:a0 brd ff:ff:ff:ff:ff:ff
[*] inet 192.168.3.22/24 brd 192.168.2.255 scope global eth0
[*] inet 192.168.3.18/32 scope global eth0
[*] inet6 fe80::20c:29ff:fee7:cba0/64 scope link
[*] valid_lft forever preferred_lft forever
[*] 3: sit0:mtu 1480 qdisc noop
[*] link/sit 0.0.0.0 brd 0.0.0.0
[*] ###vip绑定在nginx1上，现在我们停掉nginx1上的keepalived
[*]
[*] #service keepalived stop
[*] ###在nginx2上执行ip addr 命令，看到如下结果：
[*] # ip addr
[*] 1: lo:mtu 16436 qdisc noqueue
[*] link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
[*] inet 127.0.0.1/8 scope host lo
[*] inet6 ::1/128 scope host
[*] valid_lft forever preferred_lft forever
[*] 2: eth0:mtu 1500 qdisc pfifo_fast qlen 1000
[*] link/ether 00:0c:29:4f:9a:9d brd ff:ff:ff:ff:ff:ff
[*] inet 192.168.3.33/24 brd 192.168.2.255 scope global eth0
[*] inet 192.168.3.18/32 scope global eth0
[*] inet6 fe80::20c:29ff:fe4f:9a9d/64 scope link
[*] valid_lft forever preferred_lft forever
[*] 3: sit0:mtu 1480 qdisc noop
[*] link/sit 0.0.0.0 brd 0.0.0.0
[*]
[*]到此为止，基于keepalived实现nginx的高可用就成功了。。
三、下面来做nginx的反向代理，构建简单的高可用负载均衡集群：
在前端两台nginx服务器上做同样的修改：
编辑nginx的配置文件：
[*]#vim /etc/nginx/nginx.conf
[*] user nginx nginx; ##以哪个用户和用户组运行nginx；安装nginx之前要先创建这个组和用户
[*] worker_processes2; ##开启几个进程
[*] events {
[*] use epoll; ##nginx的工作机制
[*] worker_connections1024; ##单进程最大啊连接数，这是默认值，可修改为65535
[*] }
[*]
[*]
[*] http {
[*] include mime.types;
[*] default_typeapplication/octet-stream;
[*] sendfile on;
[*] #tcp_nopush on;
[*]
[*] #keepalive_timeout0;
[*] keepalive_timeout65;##nginx长连接时长
[*]
[*] #gzipon;
[*] upstream weiyang { ##定义后端web服务器的cluster
[*] server 192.168.3.205:80 max_fails=3 fail_timeout=10s; ##后端服务器的ip，以及最大错误数和超时时长
[*] server 192.168.3.206:80 max_fails=3 fail_timeout=10s;
[*] }
[*]
[*]
[*] server {
[*] listen 80;
[*] server_name192.168.3.18; ##vrrp的ip地址
[*] location / {
[*] root html;
[*] indexindex.html index.html;
[*] proxy_pass http://weiyang/; ##为哪个backend做反向代理
[*] proxy_redirect off;
[*] proxy_set_header X-Real-IP $remote_addr;
[*] proxy_set_header X-Forwarded-For Proxy_add_x_forwarded_for;
[*] }
[*] location /nginx { ##nginx的状态页面
[*] access_log off;
[*] stub_status on;
[*] }
[*]
[*] #error_page404 /404.html;
[*]
[*] # redirect server error pages to the static page /50x.html
[*] #
[*] error_page 500 502 503 504/50x.html;
[*] location = /50x.html {
[*] root html;
[*] }
[*] }
[*]}
[*]
[*]##nginx做完配置文件更改后重启nginx服务，同时开启后端两台web服务器的httpd服务
[*]
[*]#service nginx restart
[*]#service httpd start
四、实现nginx+keepalived+apache构建高可用集群，我们还要修改如下信息：
试想，如果nginx1服务器上的nginx服务故障了，但keepalived服务运行正常，照样会形成单点故障；
为了实时的检测nginx服务的运行是否正常，这里写一个小脚本，来检测它的运行情况。
脚本实现思想：当nginx服务故障时，我们就直接杀掉keepalived的进程，来实现故障转移：
脚本如下：
[*]# vim ngpid.sh
[*]#!/bin/bash
[*]N='ps -C nginx --no-header |wc -l' ## 查看是否有nginx进程,并对其做行计算，把计算值赋给变量N
[*]if [ $N -eq 0 ];then ## if语句进行判断，若N不为0，此脚本执行结束；若N为0，试着重启nginx服务，睡2秒，
[*] service nginx start
[*] sleep 2
[*] if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then ##再次判断，若依然为0，
[*] killall keepalived ##则直接杀掉keepalived的所有进程，实现故障转移
[*] fi
[*]fi
[*]# chmod +x ng_pid.sh
[*]
[*]将此脚本放在/root/bash/下，并写入任务计划，每一小时执行一次，如下所示
[*]echo -e '* 1 * * * /root/bash/ngpid.sh' >> /etc/crontab
五、访问测试
在本地主机浏览器中输入如下地址：
http://192.168.3.18查看页面显示结果是否轮询，
这时nginx1为高可用的主：将nginx服务停掉，稍等3秒。。
再次访问http://192.168.3.18查看页面显示是否依然正常轮询
基于nginx的高可用负载均衡到此配置成功，新手一个，大家多多指教。。
页:
[1]