nginx +keepalived

buhao

nginx +keepalived 自己搭建
一 规划
　　准备两台服务器192.168.10.199/192.168.10.200；199上安装tomcat1，nginx，keepalived主；200上安装tomcat，nginx，keepalived备；192.168.10.230作为浮点ip
二 部署
1部署tomcat
　　tar  –xzvf  apache-tomcat-7.0.59.tar
　　./jdk-6u37-linux-x64-rpm.bin
2 安装nginx
　　yum install pcre-devel pcre -y
　　（yum install gcc pcre pcre-devel zlib zlib-devel openssl openssl-devel）
　　#下载Nginx源码包
　　cd /usr/src
　　wget -c http://nginx.org/download/nginx-1.6.2.tar.gz
　　#解压Nginx源码包
　　tar -xzf nginx-1.6.2.tar.gz
　　#进入解压目录，然后sed修改Nginx版本信息为WS
　　cd nginx-1.6.2 ; sed -i -e 's/1.6.2//g' -e 's/nginx\//WS/g' -e
　　's/"NGINX"/"WS"/g' src/core/nginx.h
　　#预编译Nginx
　　useradd www ;./configure --user=www --group=www --prefix=/usr/local/nginx --with-
　　http_stub_status_module --with-http_ssl_module
　　（由于是系统是min的centos遇到如下问题，一般不会出问题：
　　1   ./configure: error: SSL modules require the OpenSSL library.
　　You can either do not enable the modules, or install the OpenSSL library
　　into the system, or build the OpenSSL library statically from the source
　　with nginx by using --with-openssl= option.
　　解决方法：
　　1 )yum -y install openssl-libs偷懒的办法：yum -y install openssl* （本地yum源安装不了），后面发现可以用yum -y install openssl-devel安装
　　2) 借鉴网站http://www.centoscn.com/nginx/2015/0304/4782.html
　　wget http://www.openssl.org/source/openssl-1.0.2.tar.gz
　　tar zxf openssl-1.0.2.tar.gz
　　./configure --user=www --group=www --prefix=/usr/local/nginx --with-
　　http_stub_status_module --with-http_ssl_module  --with-openssl=/home/openssl-1.0.2
　　2 用方法2后，又遇到问题：
　　Operating system: x86_64-whatever-linux2 You need Perl 5.
　　解决方法：
　　安装开发工具：
　　yum -y groupinstall "Development Tools"yum -y groupinstall "Development Tools"
　　）
　　#.configure预编译成功后，执行make命令进行编译
　　make
　　#make执行成功后，执行make install 正式安装
　　make install
　　#自此Nginx安装完毕
　　/usr/local/nginx/sbin/nginx  -t  检查nginx配置文件是否正确，返回OK即正确。
　　[root@localhost ~]# /usr/local/nginx/sbin/nginx -t
　　nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
　　nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful
　　[root@localhost ~]#
　　然后启动nginx，/usr/local/nginx/sbin/nginx 回车即可。查看进程是否已启动：
　　[root@localhost ~]# ps -ef |grep nginx
　　nobody    5381 30285  0 May16 ?        00:04:31 nginx: worker process
　　root     30285     1  0  2014 ?        00:00:00 nginx: master process /usr/local/nginx/sbin/nginx
　　root     32260 32220  0 12:34 pts/0    00:00:00 grep nginx
　　[root@localhost ~]#
1 Nginx常用命令管理及升级
　　查看nginx进程
　　ps -ef|grep nginx
　　说明：nginx的进程由主进程和工作进程组成。
　　启动nginx
　　nginx
　　启动结果显示nginx的主线程和工作线程，工作线程的数量跟nginx.conf中的配置参数worker_processes有关。
　　平滑启动nginx
　　kill -HUP `cat /var/run/nginx.pid`
　　或者

　　nginx -s>　　其中进程文件路径在配置文件nginx.conf中可以找到。
　　平滑启动的意思是在不停止nginx的情况下，重启nginx，重新加载配置文件，启动新的工作线程，完美停止旧的工作线程。
　　完美停止nginx
　　kill -QUIT `cat /var/run/nginx.pid`
　　快速停止nginx
　　kill -TERM `cat /var/run/nginx.pid`
　　或者
　　kill -INT `cat /var/run/nginx.pid`
　　完美停止工作进程（主要用于平滑升级）
　　kill -WINCH `cat /var/run/nginx.pid`
　　强制停止nginx
　　pkill -9 nginx
　　检查对nginx.conf文件的修改是否正确
　　nginx -t -c /etc/nginx/nginx.conf 或者 nginx -t
　　停止nginx的命令
　　nginx -s stop或者pkill nginx
　　查看nginx的版本信息
　　nginx -v
　　查看完整的nginx的配置信息
　　nginx -V
3 安装keepalived
　　Keepalived 安装
　　-----------------------
　　地址: http://www.keepalived.org/download.html
　　wget http://www.keepalived.org/software/keepalived-1.2.7.tar.gz
　　tar -zxf keepalived-1.2.7.tar.gz
　　cd keepalived-1.2.7
　　64 位系统：
　　./configure --sysconf=/etc --prefix=/usr/local/keepalived --with-kernel-dir=/usr/src/kernels/2.6.32-358.2.1.el6.x86_64/
　　或 32 位系统:
　　./configure --sysconf=/etc --prefix=/usr/local/keepalived --with-kernel-dir=/usr/src/kernels/2.6.32-358.6.2.el6.i686/
　　注意：Configure遇到报错：  !!! OpenSSL is not properly installed on your system. !!!
　　可通过 getconf LONG_BIT 得到系统位数。
　　参数解释:
　　--sysconf 指定了配置文件的地址.即：/etc/keepalived/keepalived.conf
　　--prefix 指定了安装目录
　　--with-kernel-dir 指定使用内核源码中的头文件,即 include 目录.只有使用 LVS 时才需要这个参数，其它的时候不需要。
　　（遇到报错:   !!! OpenSSL is not properly installed on your system. !!!
　　!!! Can not include OpenSSL headers files.
　　解决办法：yum install -y openssl openssl-devel
　　）
　　解决:
　　再 configue .成功后提示：
　　Keepalived configuration
　　------------------------
　　Keepalived version       : 1.2.7
　　Compiler                 : gcc
　　Compiler flags           : -g -O2
　　Extra Lib                : -lpopt -lssl -lcrypto
　　Use IPVS Framework       : Yes
　　IPVS sync daemon support : Yes
　　IPVS use libnl           : No
　　Use VRRP Framework       : Yes
　　Use VRRP VMAC            : Yes
　　SNMP support             : No
　　Use Debug flags          : No
　　安装：
　　make
　　make install
　　设置成为服务并开机启动:
　　cp /usr/local/keepalived/sbin/keepalived /usr/sbin/
　　/etc/rc.d/init.d/keepalived status
　　chkconfig --add keepalived
　　chkconfig keepalived on
　　注意：cp /usr/local/keepalived/etc/keepalived/keepalived.conf  /etc/keepalived/keepalived.conf 没有指向这个命令，配置文件要在特定目录下
4 配置nginx
　　/usr/local/nginx/conf/nginx.conf
　　#user www www;
　　user  nobody;
　　#worker_processes  1;
　　worker_processes auto;
　　#error_log  logs/error.log;
　　#error_log  logs/error.log  notice;
　　#error_log  logs/error.log  info;
　　error_log /home/nginx/logs/nginx_error.log crit; #全局错误日志及PID文件
　　pid /home/nginx/nginx.pid;
　　#pid logs/nginx.pid;
　　events {
　　use epoll;
　　worker_connections  65535; #工作模式及连接数上限
　　}
　　http {
　　include mime.types;
　　default_type  application/octet-stream;
　　log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
　　'$status $body_bytes_sent "$http_referer" '
　　large_client_header_buffers 4 32k;
　　client_body_buffer_size 8m; #256k
　　server_tokens off;
　　ignore_invalid_headers on;
　　recursive_error_pages on;
　　server_name_in_redirect off;
　　sendfile on;
　　#timeouts
　　keepalive_timeout 60;
　　#client_body_timeout 3m;
　　#client_header_timeout 3m;
　　#send_timeout 3m;
　　#fastcgi_connect_timeout 60;
　　#fastcgi_send_timeout 180;
　　#fastcgi_read_timeout 180;
　　#fastcgi_buffers 4 256k;
　　#fastcgi_buffer_size 128k;
　　#fastcgi_busy_buffers_size 256k;
　　#fastcgi_temp_file_write_size 256k;
　　#fastcgi_intercept_errors on;
　　#TCP Options
　　tcp_nopush on;
　　tcp_nodelay on;
　　#size limits
　　client_max_body_size 50m;
　　gzip on;
　　gzip_min_length 1k;
　　gzip_buffers 4 16k;
　　gzip_http_version 1.0;
　　gzip_comp_level 2;
　　gzip_types text/plain application/x-javascript text/css application/xml;
　　gzip_vary on;
　　proxy_redirect          off;
　　proxy_set_header        Host $host;
　　proxy_set_header        X-Real-IP $remote_addr;  #获取真实ip
　　#proxy_connect_timeout   90;
　　#proxy_send_timeout      90;
　　#proxy_read_timeout      90;
　　#proxy_buffer_size       4k;
　　#proxy_buffers           4 32k;
　　#proxy_busy_buffers_size 64k;
　　#proxy_temp_file_write_size 64k;
　　proxy_connect_timeout           90;
　　proxy_read_timeout              180;
　　proxy_send_timeout              180;
　　proxy_buffer_size               256k;
　　proxy_buffers                   8 256k;
　　proxy_busy_buffers_size         256k;
　　proxy_temp_file_write_size      256k;
　　upstream myserver {
　　server 192.168.10.199:8080 weight=10 max_fails=0;
　　server 192.168.10.200:8080  weight=10 max_fails=0; #8080为tomcat端口，权重范围好像是1到10，在现网配置20出现过问题
　　}
　　server {
　　listen       9090;
　　#        server_name  192.168.10.230;
　　#charset koi8-r;
　　#access_log  logs/host.access.log  main;
　　location /
　　{
　　#root html;
　　#index index.html index.htm;
　　index index.jsp;
　　proxy_pass http://myserver; #转向tomcat处理
　　#proxy_set_header Host $host;
　　proxy_set_header    Host $host:$server_port;
　　proxy_set_header X-Real-IP $remote_addr;
　　proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
　　}
　　}
　　}
　　注意 ：  server_name  192.168.10.230;
　　如果nginx中只配置一个server域的话，则nginx是不会去进行server_name的匹配的。因为只有一个server域，也就是这有一个虚拟主机，那么肯定是发送到该nginx的所有请求均是要转发到这一个域的，即便做一次匹配也是没有用的。还不如干脆直接就省了。如果一个http域的server域有多个，nginx才会根据$hostname去匹配server_name进而把请求转发到匹配的server域中。此时的匹配会按照匹配的优先级进行，一旦匹配成功进不会再进行匹配，关于具体的匹配规则可以参见nginx官网提供的文档。
5 配置keepalived
　　#######MASTER#####################
　　! Configuration File for keepalived
　　global_defs {
　　notification_email {
　　6@qq.com
　　}
　　notification_email_from Alexandre.Cassen@firewall.loc
　　smtp_server 127.0.0.1
　　router_id LVS_DEVEL
　　}
　　vrrp_instance VI_1 {
　　state MASTER         #BACKUP
　　interface ens160      #对外网口
　　virtual_router_id 22
　　priority 100       #BACKUP上修改为88
　　advert_int 1
　　authentication {
　　auth_type PASS
　　auth_pass 7777
　　}
　　virtual_ipaddress {
　　192.168.10.230  #虚拟ip
　　}
　　}
6 编辑nginx检测脚本
　　/home/nginx/ nginx_pid.sh
　　#!/bin/bash
　　while  :
　　do
　　nginxpid=`ps -C nginx --no-header | wc -l`
　　if [ $nginxpid -eq 0 ];then
　　/usr/local/nginx/sbin/nginx
　　sleep 5
　　if [ $nginxpid -eq 0 ];then
　　/etc/init.d/keepalived stop
　　fi
　　fi
　　sleep 5
　　done
　　nohup /bin/bash /root/nginx_pid.sh &
三  检测
1 网页测试
　　在/home/apache-tomcat-7.0.59/webapps下新建文件夹test，再在test下面新建个文本，就可以直接通过http://192.168.10.199/test/a  访问测试。
2查看keepalived直接是否互相通信
　　tcpdump -v -i ens160 host 192.168.10.199  查看是否有vrrp
　　cat /var/log/messages
3 查看keepalived是否能接换
　　断掉nginx、keepalived检测，通过ip add查看浮点ip是否漂移
四 借鉴网站
　　http://blog.sina.com.cn/s/blog_5f54f0be0101eyff.html （keepalived建议主要按这个）
　　https://wenku.baidu.com/view/4011c9de7cd184254b3535d3.html（安装nginx看这个）
　　http://freeloda.blog.51cto.com/2033581/1189143    （nginx检测脚本）
　　http://www.oschina.net/question/922543_91357?sort=time （server name 无效）
　　http://www.linuxidc.com/Linux/2013-07/88025.htm  （检测两台keepalived直接的通信）
　　注 ：http://freeloda.blog.51cto.com/2033581/1189130 （下次可按这个博客一步步操作）
问题：我安装虚拟ip一直没绑上
　　原因：cp /usr/local/keepalived/etc/keepalived/keepalived.conf  /etc/keepalived/keepalived.conf 没有指向这个命令，配置文件要在特定目录下
　　五 keepalived 放通端口
　　/sbin/iptables -I INPUT -i eth0 -d 224.0.0.0/8 -j ACCEPT
　　/sbin/iptables -A INPUT -p 112 -i eth0 -j ACCEPT
　　/sbin/iptables -A OUTPUT -p 112 -o eth0 -j ACCEPT