LVS+ldirectord安装配置

dewly_tg

　　 一、   准备工作
　　通过LVS提供的负载均衡技术和Linux操作系统实现一个高性能、高可用的服务器集群。
　　1.    IP负载均衡技术：DR，TUN，NAT（本系统采用DR模式）。
　　2.    负载调度算法：轮叫，加权轮叫，最少链接调度，加权最少链接调度等（本系统采用轮叫调度）。
　　

图1LVS部署安装结构图

　　IP地址规划：
　　
　　安装操作系统
　　本系统采用：
　　ubuntu12.04LTS
　　在DirectorServer上安装IPVS

二、   Director Server的配置
　　(通过ipvsadm命令行方式配置)
（1）首先在Director Server上绑定一个虚拟IP（也叫VIP），此IP用于对外提供服务，执行如下命令：
[iyunv@localhost~]#ifconfig eth0:0 192.168.60.200 broadcast 192.168.60.200 \
>netmask 255.255.255.255 up
此处在eth0设备上绑定了一个虚拟设备eth0:0，同时设置了一个虚拟IP是192.168.60.200，也就是上面我们规划的IP地址，然后指定广播地址也为192.168.60.200，需要特别注意的是，这里的子网掩码为255.255.255.255。
（2）给设备eth0:0指定一条路由，执行如下指令：
[iyunv@localhost ~]#route add -host 192.168.60.200 dev eth0:0
（3）启用系统的包转发功能，从而使系统充当路由器，执行如下指令：
[iyunv@localhost ~]#echo "1" >/proc/sys/net/ipv4/ip_forward
指令中，参数值为1时启用ip转发，为0时禁止ip转发。
（4）然后开始配置ipvs，执行如下操作：
[iyunv@localhost ~]#ipvsadm -C
[iyunv@localhost ~]#ipvsadm -A -t 192.168.60.200:80 -s rr -p 600
[iyunv@localhost ~]#ipvsadm -a -t 192.168.60.200:80 -r 192.168.60.132:80 -g
[iyunv@localhost ~]#ipvsadm -a -t 192.168.60.200:80 -r 192.168.60.144:80 -g
上面操作中，第一行是清除内核虚拟服务器列表中的所有记录，第二行是添加一条新的虚拟IP记录。这个新的IP是192.168.60.200，同时指定持续服务时间为600秒。第三、四行是在新加虚拟IP记录中添加两条新的Real Server记录，并且指定LVS 的工作模式为直接路由模式。
（5）启动LVS服务，执行如下操作：
[iyunv@localhost ~]#ipvsadm
这样，LVS在Director Server上的配置就完成了。

为了管理和配置的方便，可以将上面的操作写出一个脚本文件放在/etc/init.d，命名为lvsDR

#!/bin/sh
# description: Start LVS of Director server
VIP=192.168.60.200
RIP1=192.168.60.132
RIP2=192.168.60.144
. /lib/lsb/init-functions
case "$1" in
    start)
        echo" start LVS of Director Server"
# set the Virtual  IP Address and sysctlparameter
/sbin/ifconfig eth0:0 $VIP broadcast $VIPnetmask 255.255.255.255 up
       echo"1" >/proc/sys/net/ipv4/ip_forward
#Clear IPVS table
      /sbin/ipvsadm -C
#set LVS
/sbin/ipvsadm -A -t $VIP:80 -s rr
/sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -g
/sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -g
#Run LVS
      /sbin/ipvsadm
       ;;
    stop)
        echo"close LVS Directorserver"
        echo"0" >/proc/sys/net/ipv4/ip_forward
       /sbin/ipvsadm -C
       /sbin/ifconfig eth0:0 down
        ;;
    *)
        echo"Usage: $0 {start|stop}"
        exit1
esac

　　执行
　　[iyunv@localhost ~]#chomd755 /etc/init.d/lvsDR
　　最后可以通过下面命令启动或停止LVS服务：
service lvsDR {start|stop}
到此为止，命令行方式配置Director Server完毕。
三、   Real server 的配置
在lvs的DR和TUn模式下，用户的访问请求到达真实服务器后，是直接返回给用户的，而不再经过前端的Director Server，因此，就需要在每个Real server节点上增加虚拟的VIP地址，这样数据才能直接返回给用户，增加VIP地址的操作可以通过创建脚本的方式来实现，(1)创建文件/etc/init.d/lvsrs，脚本内容如下：
#!/bin/bash
VIP=192.168.60.200
/sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
/sbin/route add -host $VIP dev lo:0
echo “1″ >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo “2″ >/proc/sys/net/ipv4/conf/lo/arp_announce
echo “1″ >/proc/sys/net/ipv4/conf/all/arp_ignore
echo “2″ >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p
#end
此操作是在回环设备上绑定了一个虚拟IP地址，并设定其子网掩码为255.255.255.255，与Director Server上的虚拟IP保持互通，然后禁止了本机的ARP请求。

上面脚本也可以写成可启动与停止的服务脚本，内容如下：
[iyunv@localhost ~]#more /etc/init.d/lvsrs
#!/bin/bash
#description : Start Real Server
VIP=192.168.60.200
. /lib/lsb/init-functions

case "$1" in
    start)
        echo" Start LVS  of  Real Server"
/sbin/ifconfig lo:0 $VIP broadcast $VIPnetmask 255.255.255.255 up
        echo"1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
        echo"2" >/proc/sys/net/ipv4/conf/lo/arp_announce
        echo"1" >/proc/sys/net/ipv4/conf/all/arp_ignore
        echo"2" >/proc/sys/net/ipv4/conf/all/arp_announce
        ;;
    stop)
       /sbin/ifconfig lo:0 down
        echo"close LVS Director server"
        echo"0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
        echo"0" >/proc/sys/net/ipv4/conf/lo/arp_announce
        echo"0" >/proc/sys/net/ipv4/conf/all/arp_ignore
        echo"0" >/proc/sys/net/ipv4/conf/all/arp_announce
        ;;
    *)
        echo"Usage: $0 {start|stop}"
        exit1
esac
然后，修改lvsrs有可执行权限：
[iyunv@localhost ~]#chomd 755 /etc/init.d/lvsrs
最后，可以通过下面命令启动或关闭lvsrs
service lvsrs {start|stop}

修改lvsrs有可执行权限：
[iyunv@localhost~]#chomd 755 /etc/init.d/lvsrs
可以通过下面命令启动或关闭lvsrs
#servicelvsrs {start|stop}
四、   在Director上配置Ldirectord
(1)安装ldirectord
#apt-get installldirectord
(2)Ldirectord的配置文件是/etc/ha.d/ldirectord.cf。
#cp/usr/share/doc/ldirectord-1.0/ldirectord.cf /etc/ha.d/
#vi/etc/ha.d/ldirectord.cf
下面是需要配置的选项，注意，“#”号后面的内容为注释：
# Global Directives
checktimeout=20           #判定realserver出错的时间间隔。
checkinterval=10          #指定ldirectord在两次检查之间的间隔时间。
fallback=127.0.0.1:80     #当所有的real server节点不能工作时，web服务重定向的地址。
autoreload=yes            #是否自动重载配置文件，选yes时，配置文件发生变化，自动载入配置信息。
logfile="/var/log/ldirectord.log"  #设定ldirectord日志输出文件路径。
quiescent=no            
# Sample for anhttp virtual service
virtual=192.168.60.200:80        #指定虚拟的IP地址和端口号，注意，在virtual行后面的行必须缩进4个空格或以一个tab字符进行标记。
real=192.168.60.132:80 gate      #指定RealServer服务器地址和端口，同时设定LVS工作模式，
用gate表示DR模式，ipip表示TUNL模式，masq表示NAT模式。
real=192.168.60.144:80 gate
fallback=127.0.0.1:80 gate      
service=http                     #指定服务的类型，这里是对http服务做负载均衡。
request="index.html"           
receive="TestPage"              #指定请求和应答字串。
scheduler=rr                     #指定调度算法，这里是rr（轮叫）算法。
protocol=tcp                     #指定协议的类型，LVS支持TCP和UDP协议。
checktype=negotiate              #指定Ldirectord的检测类型，默认为negotiate。
checkport=80                     #指定监控的端口号。
virtualhost=www.gaojf.com        #虚拟服务器的名称，随便指定。
（4）给ldirectord配置文件打补丁，因为ubuntu 12.04对ldirectord有bug
#curl -Ohttp://thedatanest.com/user/files/uploads/ldirectord.patch(目录/usr/sbin/)
#cd /usr/sbin/
#cp ldirectordldirectord.backup   备份
#patch-p0<ldirectord.patch        运行补丁
（5）安装libnet-dev
#apt-get installlibnet-dev
#apt-get installsysv-rc-conf
#sysv-rc-conf –addldirectord       加入自启动项
（6）启动或关闭ldirectord服务
#/etc/init.d/ldirectord{start|stop}
五、   测试
1.  Apache的配置
1.下载安装apache,这里下载的是httpd-2.2.26
　　#curl-O http://www.apache.org/dist/httpd/httpd-2.2.26.tar.gz

解压缩。使用命令：#gzip -d httpd-2.2.26.tar.gz将httpd-2.2.26.tar.gz文件解压为：httpd-2.2.26.tar文件。再使用命令：#tarxvfhttpd-2.2.26.tar将httpd-2.2.6.tar文件解压为httpd-2.2.26目录。使用#cdhttpd-2.2.26命令进入httpd-2.2.26目录。

2.配置。在httpd-2.2.26目录下使用命令#./configure使用默认的安装配置就可以。

3.编译。在httpd-2.2.26目录下使用命令#make。

4.安装。在httpd-2.2.26目录下使用命令#makeinstall。

5.编辑配置文件。使用命令#vi/usr/local/apache2/conf/httpd.conf（这步可以省略，配置文件httpd.conf默认安装在这里）。

6.启动服务器。用#cd/usr/local/apache2/bin目录，使用命令#./apachectl -kstart启动服务器。

(默认配置下网页应放在/usr/local/apache2/htdocs目录下。)

到此就可以在别的机器上通过IP地址访问这台Linux的Http服务器了

7.添加/usr/local/apache2/htdocs/index.html网页。此网页用于ldirectord验证realserver是否正常运行所用，故内容必须为“TestPage”，即ldirectord.cf中requist的内容。

2．启动LVS集群服务

首先，启动每个real server节点的服务：
[iyunv@localhost ~]# /etc/init.d/lvsrs start
start LVS  of  REALServer
然后，在Director Server启动ldirectord服务：
[iyunv@localhost ~]# /etc/init.d/ldirectord start

　　此时可以查看Ldirectord输出日志信息

接着，在Director Server启动lvsDR主服务：
[iyunv@xa_web1 ~]# /etc/init.d/lvsDR start

　　通过命令
　　[iyunv@localhost ~]#curl http://192.168.60.200
　　查看是否配置成功
　　注意：启动顺序不能改变，先启动lvs，再启动ldirectord才能正常工作
　　验证时，可以在每个realserver里添加一个helloworld.html，但内容不同，以此来验证，在客户端访问curlhttp://192.168.18.200/helloworld.html。
　　关闭某一realserver，比如把192.168.18.16里的index.html内容变了，在ldiretord服务器看/var/log/ldirectord.log会发现delete了realserver，在客户端访问，会看不到16机子了。