Tomcat6集群 + Apache + Nginx均衡负载及其测试（转）

soyizi

[tr][td]Tomcat6 集群配置端口规划：注：该端口是在同一台机器上启动2个tomcat，需要修改一下端口不重复，如果一台机器只部署1个tomcat其端口可以一样。

Tomcat6 集群配置端口规划：
注：该端口是在同一台机器上启动2个tomcat，需要修改一下端口不重复，如果一台机器只部署1个tomcat其端口可以一样。
http://edu.codepub.com/uploadfile/2009/1106/20091106013008185.jpg
Tomcat6集群配置：
在server.xml中修改：

将：

<Engine name="Catalina" defaultHost="localhost">   

修改为：

<Engine name="Catalina" defaultHost="localhost" jvmRoute="jvm1">   
其中 jvmRoute="jvm1" 在不同的tomcat中名称不一样。

在<Engine></Engine>节点中加入如下内容：

<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"   channelSendOptions="6">

         <Manager className="org.apache.catalina.ha.session.BackupManager" expireSessionsOnShutdown="false" notifyListenersOnReplication="true"    mapSendOptions="6" />

         <!--

                   <Manager className="org.apache.catalina.ha.session.DeltaManager"

                   expireSessionsOnShutdown="false" notifyListenersOnReplication="true"/>

         -->

         <Channel className="org.apache.catalina.tribes.group.GroupChannel">

                   <Membership className="org.apache.catalina.tribes.membership.McastService"                    address="228.0.0.4" port="45564" frequency="500" dropTime="3000" />

                   <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"

                address="auto"  port="5001"

                selectorTimeout="100" maxThreads="6" />

                   <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">

                            <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender" />

                   </Sender>

                   <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector" />

                   <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor" />

                   <Interceptor className="org.apache.catalina.tribes.group.interceptors.ThroughputInterceptor" />

         </Channel>

         <Valve className="org.apache.catalina.ha.tcp.ReplicationValve"

                       filter=".*\.gif;.*\.js;.*\.jpg;.*\.png;.*\.htm;.*\.html;.*\.css;.*\.txt;" />

         <ClusterListener    className="org.apache.catalina.ha.session.ClusterSessionListener" />

</Cluster>
注意在同一台机器上：Receiver 节点端口： port="5001" 要不一样。

优化：
内存优化配置：
Windows：

set JAVA_OPTS = " -server -Xms512M -Xmx2048M -XX:MaxNewSize=256M -XX:PermSize=256M -XX:MaxPermSize=512M -XX:+UseConcMarkSweepGC -XX:+PrintGCDetails  -XX:+PrintGCTimeStamps -Djava.awt.headless=true"  
Linux：

JAVA_OPTS = " -server -Xms512M -Xmx2048M -XX:MaxNewSize=256M -XX:PermSize=256M -XX:MaxPermSize=512M -XX:+UseConcMarkSweepGC  -XX:+PrintGCDetails  -XX:+PrintGCTimeStamps -Djava.awt.headless=true"
其他优化配置：
1、加入如下配置1：
<Executor name="tomcatThreadPool" namePrefix="catalina-exec-" maxThreads="500" minSpareThreads="50" />
修改

<Connector port="8080" protocol="HTTP/1.1"

               connectionTimeout="20000"

               redirectPort="8443" />
为：

<Connector port="8080"  executor="tomcatThreadPool" protocol="HTTP/1.1"

               connectionTimeout="60000"

               enableLookups="false" redirectPort="8443" />
修改：

<Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />

为：

<Connector port="8009" executor="tomcatThreadPool"

               connectionTimeout="60000"

               enableLookups="false" redirectPort="8443" protocol="AJP/1.3" />
2、或者：
修改

<Connector port="8080" protocol="HTTP/1.1"

               connectionTimeout="20000"

               redirectPort="8443" />
为：

<Connector port="8080"  protocol="HTTP/1.1"

               maxThreads="500"

               acceptCount="50" connectionTimeout="60000"

               enableLookups="false" redirectPort="8443" />
修改：

<Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />
为：

<Connector port="8009"

               maxThreads="500"  connectionTimeout="60000"

               enableLookups="false" redirectPort="8443" protocol="AJP/1.3" />
注：两者的主要区别是：executor被起用且关联时maxThreads="500" 被忽略。

几个属性解释：

maxThreads

Tomcat使用线程来处理接收的每个请求。这个值表示Tomcat可创建的最大的线程数。默认值200。 可以根据机器的时期性能和内存大小调整，一般可以在400-500。最大可以在800左右。

acceptCount

　　指定当所有可以使用的处理请求的线程数都被使用时，可以放到处理队列中的请求数，超过这个数的请求将不予处理。默认值10。

minSpareThreads

Tomcat初始化时创建的线程数。默认值4。

connnectionTimeout

网络连接超时，默认值20000，单位：毫秒。设置为0表示永不超时，这样设置有隐患的。通常可设置为30000毫秒。(本系统由于与后台系统接口超时时间较长，使用设置为60000)

enableLookups

是否反查域名，默认值为true。为了提高处理能力，应设置为false

Executor节点

表示Tomcat组件之间共享的线程池。

maxIdleTime

空闲线程被关闭之前的毫秒数。默认值是60000。

Nginx + Tomcat负载均衡配置：
在配置文件

  upstream  tomcat6 {

            server 192.168.100.50:8080  weight=1;

            server 192.168.100.50:8081  weight=1;

  }
其中tomcat6名称随意，注意IP地址和端口。

修改Server节点中location：

    location / {

        root   html;

        index  index.html index.htm;

    }

为：

    location  / {

       #root   html;

       #index  index.html index.htm;

            proxy_pass  http://tomcat6;

    }


注意http://tomcat6中tomcat6名称与上面的配置一样。

Apache + Tomcat 负载均衡配置：
Apache Http Server与Tomcat连接有三种方式，可以参考：

http://www.ibm.com/developerworks/cn/opensource/os-lo-apache-tomcat/index.html

本文只介绍最常用的JK方式，需要2个文件：
1、httpd.conf

Apache 服务器的配置文件，用来加载 JK 模块以及指定 JK 配置文件信息

2、workers.properties

到 Tomcat 服务器的连接定义文件。

下面是一个典型的 httpd.conf 对 JK 的配置：

# (httpd.conf)

# 加载 mod_jk 模块

LoadModule jk_module modules/mod_jk.so

#

# Configure mod_jk

#

JkWorkersFile conf/workers.properties

JkMountFile conf/uriworkermap.properties

JkLogFile logs/mod_jk.log

JkLogLevel warn
mod_jk.so文件可以从http://labs.xiaonei.com/apache-mirror/tomcat/tomcat-connectors/jk/binaries/下载，下载源代码后需要编译，下载二进制后直接复制到apache目录modules文件夹下面，修改上面配置文件LoadModule jk_module modules/mod_jk.so，注意其对应其apache的版本2.0.x和2.2.x，以及不同的平台。一般对于AIX，HP-UX平台已经包含了mod_jk.so文件不需要再下载或编译，HP-UX一般apache目录在/opt/hpws/apache/。

上面配置也可单独拆分为一个单独的文件，建立mod_jk.conf文件加入上面配置内容，在httpd.conf中加入如下内容即可：

Include conf/mod_jk.conf

接下来在 Apache 的 conf 目录下新建文件： workers.properties

worker.list = controller,tomcat1,tomcat2,tomcat3,tomcat4  #server 列表

#========tomcat1========

worker.tomcat1.port=8009         #ajp13 端口号，在tomcat下server.xml配置,默认8009

worker.tomcat1.host=192.168.1.99  #tomcat的主机地址，如不为本机，请填写ip地址

worker.tomcat1.type=ajp13

worker.tomcat1.lbfactor = 1   #server的加权比重，值越高，分得的请求越多

#========tomcat2========

worker.tomcat2.port=9009       #ajp13 端口号，在tomcat下server.xml配置,默认8009

worker.tomcat2.host=192.168.1.99 #tomcat的主机地址，如不为本机，请填写ip地址

worker.tomcat2.type=ajp13

worker.tomcat2.lbfactor = 1   #server的加权比重，值越高，分得的请求越多

#========tomcat3========

worker.tomcat3.port=8009         #ajp13 端口号，在tomcat下server.xml配置,默认8009

worker.tomcat3.host=192.168.1.100  #tomcat的主机地址，如不为本机，请填写ip地址

worker.tomcat3.type=ajp13

worker.tomcat3.lbfactor = 1   #server的加权比重，值越高，分得的请求越多

#========tomcat4========

worker.tomcat4.port=9009       #ajp13 端口号，在tomcat下server.xml配置,默认8009

worker.tomcat4.host=192.168.1.100  #tomcat的主机地址，如不为本机，请填写ip地址

worker.tomcat4.type=ajp13

worker.tomcat4.lbfactor = 1   #server的加权比重，值越高，分得的请求越多

#========controller,负载均衡控制器========

worker.controller.type=lb

worker.controller.balanced_workers=tomcat1,tomcat2,tomcat3,tomcat4   #指定分担请求的tomcat

worker.controller.sticky_session=false #worker.controller.sticky_session=1 #此处指定集群是否需要会话复制，如果设为true，则表明为会话粘性，不进行会话复制。