Nginx负载均衡集群介绍

小fish

第1章 集群介绍
1.1 集群简介
1.1.1 什么是集群
　　简单说，集群就是一组（若干个）相互独立的计算机，利用高速通信网络组成的一个较大的计算机服务系统，每个集群节点（即集群中的每台计算机）都是运行各自服务的独立服务器，这些服务器之间可以彼此通信，协同向用户提供应用程序，系统资源和数据，并以单一系统的模式加以管理。当用户客户机请求集群系统时，集群给用户的感觉就是一台服务器干一件事。
1.2 集群的优势特点

• 　　高性能（performance）
  

　　一些国家重要的计算密集型应用（如天气预报，核试验模拟等），需要计算机有很强的计算处理能力。以全世界现有的技术，即使是大型机，其计算能力也是有限的，很难单独完成此任务。因为计算时间可能会相当长，也许几天，甚至几年或更久。因此，对于这类复杂的计算业务，便使用了计算机集群技术，集中有几十甚至上百台计算机进行计算。

• 　　高可用（availability）
  

　　单一的计算机系统总会面临设备损毁的问题，例如：CPU，内存，主板，电源，硬盘等，只要一个部件坏掉，这个计算机系统就有可能会宕机，无法正常提供服务。在集群系统中，尽管硬件和软件也还是会发生故障，但整个系统的服务可以是每天24*7可用的。

• 　　数据不能丢
  
• 　　网站7*24不宕机
  
• 　　用户的体验好
  

　　高可用性集群常用的开源软件包括keepalived，heartbeat等。
1.3 集群的分类
　　计算机集群架构按功能和结构可以分成以下几类：

• 　　负载均衡集群（load balancing clusters）,简称LBC或LB.
  
• 　　高可用性集群（HIGH-availability(HA)clusters）,简称HAC.
  
• 　　高性能计算集群（High-performance(HPC)clusters）,简称HPC。
  
• 　　网格计算（grid computing）
  

　　提示：负载均衡和高可用性集群是互联网行业常用的集群架构模式。
　　负载均衡集群的作用为：

• 　　分担用户访问请求及数据流量（负载均衡）。
  
• 　　保持业务连续性，即7*24小时服务（高可用性）
  
• 　　应用于web业务及数据库从库（读）等服务器的业务。
  

　　负载均衡集群典型的开源软件包括LVS,Nginx,Haproxy等
1.4 常见的集群软硬件介绍
　　互联网企业常用的开源集群软件有：Nginx(7 [v1.9] 4),LVS(4层)，haproxy(4,7),keepalived,heartbeat.
　　应用层（http HTTPS）
　　传输层（tcp）
　　互联网企业常用的商业集群硬件有：F5,netscaler,radware,A10等，工作模式相当于haproxy的工作模式。
　　淘宝，赶集网，新浪等公司曾使用过Netscaler负载均衡产品。

• 　　当企业业务重要，技术力量有薄弱，并且希望出钱购买产品及获取更好的服务时，可以选择硬件负载均衡产品，如F5，Netscaler,Radware等，此类公司多为传统的大型非互联网企业，如银行，证券，金融，宝马，奔驰等。
  
• 　　对于门户网站来说，大多会并用软件及硬件产品来分担单一产品的风险，如淘宝，腾讯，新浪等。融资了的企业会购买硬件产品，如赶集网等网站。
  
• 　　中小型互联网企业，由于起步阶段无利润可赚或利润很低，会希望通过使用开源免费的方案来解决问题，因此会雇佣专门的运维人员进行维护。
  

第2章 Nginx负载均衡集群介绍
2.1 反向代理与负载均衡概念简介
　　严格的说，nginx仅仅是作为nginxproxy反向代理使用的，因为这个反向代理功能表现的效果是负载均衡的效果，所以本文称之为nginx负载均衡。那么反向代理和负载均衡有什么区别？
　　普通负载均衡软件，例如大名鼎鼎的LVS，其实现的功能只是对请求数据包的转发（也可能会改写数据包），传递，其中DR模式明显的特征是从负载均衡下面的节点服务器来看，接收到的请求还是来自访问负载均衡器的客户端的真实用户，而反向代理就不一样了，反向代理接受访问用户的请求后，会代理用户重新发起请求代理下的节点服务器，最后把数据返回给客户端用户，在节点服务器看来，访问的节点服务器的客户端用户就是反向代理服务器了，而非真实的网站访问用户。
2.2 负载均衡演示
2.2.1 web服务器上配置站点
2.2.1.1web服务器上配置站点，操作前先备份
　　[root@web01 ~]# cp/application/nginx/conf/nginx.conf{,.bak.lb}
2.2.1.2创建配置文件
　　vim/application/nginx/conf/nginx.conf
　　worker_processes  1;
　　events {
　　worker_connections  1024;
　　}
　　http {
　　include       mime.types;
　　default_type application/octet-stream;
　　sendfile        on;
　　keepalive_timeout  65;
　　log_format  main  '$remote_addr - $remote_user [$time_local]"$request" '
　　'$status $body_bytes_sent"$http_referer" '
　　'"$http_user_agent" "$http_x_forwarded_for"';
　　server {
　　listen       80;
　　server_name  www.etiantian.org;
　　location / {
　　root   html/www;
　　index  index.html index.htm;
　　}
　　access_log  logs/access_www.log  main;
　　}
　　server {
　　listen       80;
　　server_name  bbs.etiantian.org;
　　location / {
　　root   html/bbs;
　　index  index.html index.htm;
　　}
　　access_log  logs/access_bbs.log  main;
　　}
　　}
2.2.1.3创建站点并追加内容到站点目录主页内容
　　mkdir -p/application/nginx/html/{www,bbs}
　　for dir in www bbs;do echo"`ifconfig eth0|egrep -o "10.0.0.[0-9]+"` $dir">/application/nginx/html/$dir/bingbing.html;done
2.2.1.4检查语法并重启服务
　　/application/nginx/sbin/nginx -t

　　/application/nginx/sbin/nginx -s>2.2.1.5lb01 上面进行测试
　　curl 10.0.0.7/bingbing.html
　　curl 10.0.0.8/bingbing.html
　　curl 10.0.0.9/bingbing.html
2.2.2 负载均衡服务器上配置服务
2.2.2.1在负载均衡lb01上配置配置文件（）
　　worker_processes  1;
　　events {
　　worker_connections  1024;
　　}
　　http {
　　include       mime.types;
　　default_type application/octet-stream;
　　sendfile        on;
　　keepalive_timeout  65;
　　upstreamserver_pools {
　　server 10.0.0.7;
　　server 10.0.0.8;
　　server 10.0.0.9;
　　}
　　server {
　　listen       80;
　　server_name  www.etiantian.org;
　　location / {
　　proxy_pass http://server_pools;
　　}
　　}
　　}
　　注：多台负载均衡都要配置upstream服务器地址池。
2.2.2.2重启配置文件
　　[root@lb01 conf]# /application/nginx/sbin/nginx-t
　　nginx: the configuration file/application/nginx-1.10.2/conf/nginx.conf syntax is ok
　　nginx: configuration file/application/nginx-1.10.2/conf/nginx.conf test is successful
　　[root@lb01 conf]# lsof -i:80

　　COMMAND  PID USER  FD   TYPE DEVICE>　　nginx   4717 root   6u  IPv4  16704     0t0  TCP *:http (LISTEN)
　　nginx   4719 www    6u  IPv4 16704      0t0  TCP *:http (LISTEN)

　　[root@lb01 conf]#/application/nginx/sbin/nginx -s>2.2.2.3测试结果
　　[root@lb01-05 conf]# curl10.0.0.5/bingbing.html
　　10.0.0.9
　　10.0.0.255 www
　　[root@lb01-05 conf]# curl10.0.0.5/bingbing.html
　　10.0.0.7
　　10.0.0.255 www
　　[root@lb01-05 conf]# curl10.0.0.5/bingbing.html
　　10.0.0.8
　　10.0.0.255 www
第3章 负载均衡模块说明
　　nginx http 功能模块
　　模块说明
　　ngx_http_proxy_module
　　proxy代理模块，用于把请求后抛给服务器节点或upstream 服务器池。
　　ngx_http_upstream_module
　　负载均衡模块，可以实现网站的负载均衡功能及节点的健康检查，创建一个池子，web服务器。
3.1 Nginxupstream模块
　　nginx的负载均衡功能依赖于ngx_httpstream_module模块，所支持的代理方式包括proxy_pass,fastcgi_pass,memcached_pass等，新版nginx软件支持的方式有所增加。
　　ngx_http_upstream_module模块允许nginx定义一组或多组节点服务器组，使用时可以通过proxy_pass代理方式把网站的请求发送到实现定义好的对应的upstream组的名字上，具体写法为“proxy_pass  http://www_server_pools”,其中www_server_pools就是一个upstream节点服务器组的名字。
3.1.1 upstream的server标签参数说明
　　server标签
　　参数说明
　　server 10.0.0.8:80
　　负载均衡后面的RS配置，可以是IP或域名，如果端口不写，默认是80端口。高并发场景下，IP可以换成域名，通过DNS做负载均衡。
　　weight=1
　　代表服务器的权重，默认值是1.权重数字越大表示接受的请求比例越大。
　　max_fails=1
　　nginx尝试连接后端主机的次数，这个数值是配合proxy_next_upstream，fastcgi_next_upstream和memcached_next_upstream这三个参数来使用，当nginx接收后返回这三个参数定义的状态码时，会将这个请求转发给正常工作的后端服务器，列如404,502,503，max_fails的默认值是1；企业场景：建议2-3次，京东1次，蓝汛10次（CDN），根据业务需求去配置。
　　fail_timeout=10s
　　在max_fails定义的失败次数后，距离下次检查的间隔时间，默认是10s,如果max_fails是5，它就检测5次，如果5次都是502。那么，他就会根据fail_timeout的值，等待10s再去检查，还是只检查一次，如果持续502，在不重新加载nginx配置的情况下，每隔10s都只检测一次，常规业务2-3秒比较合理，比如京东3秒，蓝汛3秒，可根据业务需求去配置。
　　backup
　　热备配置（RS节点的高可用），当前面激活的RS都失败后会自动启用热备RS，这标志这个服务器作为备份服务器，若主服务器全部宕机了，就会向他转发请求；注意，当负载调度算法为ip_hash时，后端服务器在负载均衡调度中的状态不能使weight和backup。
3.1.1.1nginx upstream weight标签测试

• 　　操作前备份
  

　　[root@lb01 ~]# cd/application/nginx/conf/
　　[root@lb01 conf]# pwd
　　/application/nginx/conf
　　[root@lb01 conf]# hostname
　　lb01
　　[root@lb01 conf]# cpnginx.conf{,.bak.before.upsteam}
　　[root@lb01 conf]# cat nginx.conf

• 　　修改配置文件
  

　　worker_processes  1;
　　events {
　　worker_connections  1024;
　　}
　　http {
　　include       mime.types;
　　default_type application/octet-stream;
　　sendfile        on;
　　keepalive_timeout  65;
　　upstreamserver_pools {
　　server 10.0.0.7:80weight=2;
　　server 10.0.0.8:80weight=1;
　　server 10.0.0.9:80weight=1;
　　}
　　server {
　　listen       80;
　　server_name  www.etiantian.org;
　　location / {
　　proxy_pass http://server_pools;
　　}
　　}
　　}

• 　　检查语法并重启
  

　　/application/nginx/sbin/nginx -t
　　lsof -i:80
　　/application/nginx/sbin/nginx

• 　　测试结果
  

　　curl 10.0.0.5/bingbing.html
　　for i in {1..10};do curl10.0.0.5/bingbing.html;done
3.1.1.2nginx upstream  max_fails和 fail_timeout标签测试

• 　　修改配置文件
  

　　worker_processes  1;
　　events {
　　worker_connections  1024;
　　}
　　http {
　　include       mime.types;
　　default_type  application/octet-stream;
　　sendfile        on;
　　keepalive_timeout  65;
　　upstream server_pools {
　　server 10.0.0.7:80 weight=4 max_fails=3 fail_timeout=30s;
　　server 10.0.0.8:80 weight=4 max_fails=3 fail_timeout=30s;
　　#         server 10.0.0.9:80 weight=1;
　　}
　　server {
　　listen       80;
　　server_name  www.etiantian.org;
　　location / {
　　proxy_pass http://server_pools;
　　}
　　}
　　}

• 　　测试结果：
  

　　for n in {1..1000};do curl -s  10.0.0.5/bingbing.html|grep"[78]$";sleep 1;date +%T;done
　　sed -i 'N;s#\n10.0.0.255# #g'/application/nginx/html/{www,bbs}/bingbing.html
3.1.1.3nginx upstream backup标签 测试

• 　　修改配置文件
  

　　worker_processes  1;
　　events {
　　worker_connections  1024;
　　}
　　http {
　　include       mime.types;
　　default_type  application/octet-stream;
　　sendfile        on;
　　keepalive_timeout  65;
　　upstream server_pools {
　　server 10.0.0.7:80 weight=4 max_fails=3fail_timeout=30s;
　　server 10.0.0.8:80 weight=4 max_fails=3 fail_timeout=30s;
　　server 10.0.0.9:80 weight=4 max_fails=3fail_timeout=30s backup;
　　}
　　server {
　　listen       80;
　　server_name  www.etiantian.org;
　　location / {
　　proxy_pass http://server_pools;
　　}
　　}
　　}
3.2 upstream模块调度算法
　　调度算法一般分为两类，第一类为静态调度算法，即负载均衡器根据自身设定的规则进行分配，不需要考虑后端节点服务器的情况，例如：rr,wrr,ip_hash等都属于静态调度算法。
　　第二类为动态调度算法，即
3.2.1 WRR权重轮询
3.2.2 RR轮询
3.2.3 IP_hash(静态调度算法)
3.2.4 least_conn
　　#####nginx.conf 多个虚拟主机
　　worker_processes  1;
　　events {
　　worker_connections  1024;
　　}
　　http {
　　include       mime.types;
　　default_type application/octet-stream;
　　sendfile        on;
　　keepalive_timeout  65;
　　upstream server_pools {
　　server 10.0.0.7:80 weight=4max_fails=3 fail_timeout=30s;
　　server 10.0.0.8:80 weight=4max_fails=3 fail_timeout=30s;
　　server 10.0.0.9:80 weight=4max_fails=3 fail_timeout=30s;
　　}
　　server {
　　listen       80;
　　server_name  www.etiantian.org;
　　location / {
　　proxy_pass http://server_pools;
　　proxy_set_header Host $host;
　　}
　　}
　　server {
　　listen       80;
　　server_name  bbs.etiantian.org;
　　location / {
　　proxy_pass http://server_pools;
　　proxy_set_header Host $host;
　　}
　　}
　　}
　　注：多个虚拟主机设置主机头：因为一个web服务器中可能有很多的虚拟主机站点，如果使用IP地址访问时，默认每次访问都会到达第一个站点，此时如果加上主机头，访问一个web网站的时候，会有针对性的访问带有的主机头的虚拟主机。
　　X-Forwarded-For
　　worker_processes  1;
　　events {
　　worker_connections  1024;
　　}
　　http {
　　include       mime.types;
　　default_type application/octet-stream;
　　sendfile        on;
　　keepalive_timeout  65;
　　upstream server_pools {
　　server 10.0.0.7:80 weight=4max_fails=3 fail_timeout=30s;
　　server 10.0.0.8:80 weight=4max_fails=3 fail_timeout=30s;
　　server 10.0.0.9:80 weight=4max_fails=3 fail_timeout=30s;
　　}
　　server {
　　listen       80;
　　server_name  www.etiantian.org;
　　location / {
　　proxy_pass http://server_pools;
　　proxy_set_header  Host $host;
　　proxy_set_header X-Forwarded-For $remote_addr;
　　}
　　}
　　server {
　　listen       80;
　　server_name  bbs.etiantian.org;
　　location / {
　　proxy_pass http://server_pools;
　　proxy_set_header  Host $host;
　　proxy_set_header X-Forwarded-For $remote_addr;
　　}
　　}
　　}
　　##
　　##根据用户请求的url目录（URI）进行转发 用户的请求
　　####第一个里程碑-规划 分类
　　/upload      10.0.0.8:80       upload服务器
　　/static           10.0.0.7:80       static静态服务器
　　/            10.0.0.9:80       默认
　　####第二个里程碑-创建澡堂子
　　upstream upload_pools {
　　server 10.0.0.8:80;
　　}
　　upstream static_pools {
　　server 10.0.0.7:80;
　　}
　　upstream default_pools {
　　server 10.0.0.9:80;
　　}
　　##第三个里程碑-什么时候去某一个澡堂子（条件）
　　location  ====== 专门用来匹配判断 uri  if ($uri ~ xxxx)
　　location /static/ {
　　proxy_passhttp://static_pools;
　　proxy_set_header Host $host;
　　proxy_set_header X-Forwarded-For $remote_addr;
　　}
　　#将符合upload的请求交给上传服务器池upload_pools，配置如下：
　　location /upload/ {
　　proxy_passhttp://upload_pools;
　　proxy_set_header Host $host;
　　proxy_set_header X-Forwarded-For $remote_addr;
　　}
　　#不符合上述规则的请求，默认全部交给动态服务器池default_pools，配置如下：
　　location / {
　　proxy_passhttp://default_pools;
　　proxy_set_header Host $host;
　　proxy_set_header X-Forwarded-For $remote_addr;
　　}
　　###第四个里程碑-配置lb负载均衡
　　worker_processes  1;
　　events {
　　worker_connections  1024;
　　}
　　http {
　　include       mime.types;
　　default_type application/octet-stream;
　　sendfile        on;
　　keepalive_timeout  65;
　　log_format  main  '$remote_addr - $remote_user [$time_local]"$request" '
　　'$status $body_bytes_sent"$http_referer" '
　　'"$http_user_agent" "$http_x_forwarded_for"';
　　upstreamupload_pools {
　　server 10.0.0.8:80;
　　}
　　upstreamstatic_pools {
　　server 10.0.0.7:80;
　　}
　　upstreamdefault_pools {
　　server 10.0.0.9:80;
　　}
　　server {
　　listen 80;
　　server_name www.etiantian.org;
　　location/static/ {
　　proxy_pass http://static_pools;
　　proxy_set_header Host $host;
　　proxy_set_header X-Forwarded-For$remote_addr;
　　}
　　location /upload/ {
　　proxy_pass http://upload_pools;
　　proxy_set_header Host $host;
　　proxy_set_header X-Forwarded-For$remote_addr;
　　}
　　location / {
　　proxy_pass http://default_pools;
　　proxy_set_header Host $host;
　　proxy_set_header X-Forwarded-For$remote_addr;
　　}
　　access_log  logs/access_www.log  main;
　　}
　　}
　　###第五个里程碑-创建环境
　　www.etiantian.org/bingbing.html
　　www.etiantian.org/upload/bingbing.html
　　www.etiantian.org/static/bingbing.html
　　##web01
　　mkdir -p/application/nginx/html/www/upload
　　echo "web01 upload">/application/nginx/html/www/upload/bingbing.html
　　##web02
　　mkdir -p/application/nginx/html/www/static
　　echo "web02 static">/application/nginx/html/www/static/bingbing.html
　　##web03
　　echo "web03 default" >/application/nginx/html/www/bingbing.html
　　###第五个里程碑-进行测试
　　[root@lb01 conf]# curlwww.etiantian.org/bingbing.html
　　web03 default
　　[root@lb01 conf]# curlwww.etiantian.org/static/bingbing.html
　　web02 static
　　[root@lb01 conf]# curlwww.etiantian.org/upload/bingbing.html
　　web01 upload
　　#####nginx.conflb01 基于 用户的客户端浏览器
　　worker_processes  1;
　　events {
　　worker_connections  1024;
　　}
　　http {
　　include       mime.types;
　　default_type application/octet-stream;
　　sendfile        on;
　　keepalive_timeout  65;
　　upstream upload_pools {
　　server 10.0.0.8:80;
　　}
　　upstream static_pools {
　　server 10.0.0.7:80;
　　}
　　upstream default_pools {
　　server 10.0.0.9:80;
　　}
　　server {
　　listen       80;
　　server_name  www.etiantian.org;
　　location / {
　　if ($http_user_agent ~*"MSIE")
　　{
　　proxy_pass http://static_pools;
　　}
　　if ($http_user_agent ~*"Chrome")
　　{
　　proxy_pass http://upload_pools;
　　}
　　proxy_pass http://default_pools;
　　proxy_set_header Host $host;
　　proxy_set_header X-Forwarded-For$remote_addr;
　　}
　　}
　　}
　　[root@lb01 conf]# curl10.0.0.5/bingbing.html
　　web03 default
　　[root@lb01 conf]# curl10.0.0.5/static/bingbing.html
　　
　　404 NotFound
　　
　　404 NotFound
　　nginx/1.10.2
　　
　　
　　[root@lb01 conf]# curl10.0.0.5/upload/bingbing.html
　　
　　404 NotFound
　　
　　404 NotFound
　　nginx/1.10.2
　　
　　
　　[root@lb01 conf]# curl -A chrome10.0.0.5/upload/bingbing.html
　　web01 upload
　　[root@lb01 conf]# curl10.0.0.5/bingbing.html
　　web03 default
　　[root@lb01 conf]# curl -A msie10.0.0.5/static/bingbing.html
　　web02 static
　　[root@lb01 conf]# ####访问一个目录  nginx 默认找的文件是 index.html index.htm
　　[root@lb01 conf]# #####如果这些文件不存在  nginx报错 403
　　[root@lb01 conf]# curl -A chrome10.0.0.5/upload/oldboy.txt
　　
　　404 NotFound
　　
　　404 NotFound
　　nginx/1.10.2
　　
　　
　　404错误
　　[root@lb01 conf]# ####1.10.0.0.5  访问我的反向代理 lb01
　　[root@lb01 conf]# ####2.10.0.0.5 默认访问第一个虚拟主机 server
　　[root@lb01 conf]# ####3.查看对应的条件 uri 目录
　　[root@lb01 conf]#         # if ($http_user_agent ~*"MSIE")
　　[root@lb01 conf]#         #
　　[root@lb01 conf]#         # {
　　[root@lb01 conf]#         #   proxy_pass http://static_pools;
　　[root@lb01 conf]#         # }
　　[root@lb01 conf]#         # if ($http_user_agent ~*"Chrome")
　　[root@lb01 conf]#         #
　　[root@lb01 conf]#         # {
　　[root@lb01 conf]#         #   proxy_pass http://upload_pools;
　　[root@lb01 conf]#         # }
　　[root@lb01 conf]#         #proxy_pass http://default_pools;
　　[root@lb01 conf]# ####4.最后找到的是 默认的池塘 里面没有 upload 目录
　　[root@lb01 conf]# ####5. 没有这个目录 404 找不到
　　[root@lb01 conf]# curl  10.0.0.5/upload/
　　
　　404 NotFound
　　
　　404 NotFound
　　nginx/1.10.2
　　
　　
　　403错误
　　[root@lb01 conf]# curl -A msie  10.0.0.5/static/
　　
　　403Forbidden
　　
　　403Forbidden
　　nginx/1.10.2
　　
　　
　　[root@lb01 conf]# ####1.lb01
　　[root@lb01 conf]# ####2.匹配的是第一个虚拟主机 10.0.0.5  www.etiantian.org
　　[root@lb01 conf]# ####3.进入location
　　[root@lb01 conf]#         # if ($http_user_agent ~*"MSIE")
　　[root@lb01 conf]#         #
　　[root@lb01 conf]#         # {
　　[root@lb01 conf]#         #   proxy_pass http://static_pools;
　　[root@lb01 conf]#         # }
　　[root@lb01 conf]#         # if ($http_user_agent ~*"Chrome")
　　[root@lb01 conf]#         #
　　[root@lb01 conf]#         # {
　　[root@lb01 conf]#         #   proxy_pass http://upload_pools;
　　[root@lb01 conf]#         # }
　　[root@lb01 conf]# ####5.判断
　　[root@lb01 conf]# ####-A 装作是msie
　　[root@lb01 conf]# ####6.扔到了static_pools  10.0.0.7
　　[root@lb01 conf]# ####7.10.0.0.7 这个机器上面  有/static 目录
　　[root@lb01 conf]#####8.10.0.0.5/static/  =====10.0.0.5/static/index.html
　　[root@lb01 conf]# ####9.找首页文件 但是 首页文件不存在就显示403     默认去找index.html
　　[root@lb01 conf]#
　　[root@lb01 conf]# ####10.找不到就汇报403 错误 。
　　##1.浏览器缓存 ctrl+F5
　　##2.域名没有解析
　　##3.修改了配置文件，没重启  配置文件没生效