terracotta + tomcat + nginx集群

jrgf

今天研究了一下terracotta + tomcat的集群，记录一下。
一、环境
    本机，ip:192.168.2.158  win7 64位
    虚拟机，ip:192.168.81.128 RedHat 64位
    本机装两个tomcat 和 一个terracotta，虚拟机装一个teracotta。
    虚拟机也要装jdk，因为terracotta需要jdk的支持。
    terracotta安装目录，win7为G:\java_workspaces\terracotta-3.7.7  虚拟机为/usr/lws_life/terracotta-3.7.7
二、步骤
    1、将terracotta安装目录下sessions文件夹里的terracotta-session-1.3.7.jar 和 common文件夹里的 terracotta-toolkit-1.6-runtime-5.7.0.jar 文件 都拷贝到 tomcat的lib中（两个tomcat都需要拷贝）。
    2、在terracotta安装目录下创建tc-config.xml的配置文件，内容如下

<?xml version="1.0" encoding="UTF-8" ?>
<tc:tc-config xmlns:tc="http://www.terracotta.org/config"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://www.terracotta.org/schema/terracotta-6.xsd">
<tc-properties>
<property name="l2.nha.dirtydb.autoDelete" value="true"/>
<property name="l1.cachemanager.enabled" value="true"/>
<property name="logging.maxLogFileSize" value="1024"/>
</tc-properties>
<system>
<configuration-model>development</configuration-model>
</system>
<servers>
<!-- 这里配置第一台 terracotta服务器信息  -->
<server host="192.168.2.158" name="MyServer1" bind="192.168.2.158">
<data>G:/java_workspaces/terracotta-3.7.7/server-data</data>
<logs>G:/java_workspaces/terracotta-3.7.7/server-logs</logs>
<index>G:/java_workspaces/terracotta-3.7.7/server-index</index>
<statistics>G:/java_workspaces/terracotta-3.7.7/server-statistics</statistics>
<!-- 这些端口都是默认的  -->
<dso-port bind="192.168.2.158">9510</dso-port>
<jmx-port bind="192.168.2.158">9520</jmx-port>
<l2-group-port bind="192.168.2.158">9530</l2-group-port>
<authentication/>
<http-authentication>
<user-realm-file>G:/java_workspaces/terracotta-3.7.7/realm.properties</user-realm-file>
</http-authentication>
<dso>
<client-reconnect-window>120</client-reconnect-window>

<persistence>
<mode>temporary-swap-only</mode>
</persistence>
<garbage-collection>
<enabled>true</enabled>
<verbose>false</verbose>
<interval>3600</interval>
</garbage-collection>
</dso>
</server>
<!-- 这里配置第二台terracotta服务器信息 -->
<server host="192.168.81.128" name="MyServer2" bind="192.168.81.128">
<data>/usr/lws_file/terracotta-3.7.7/server-data</data>
<logs>/usr/lws_file/terracotta-3.7.7/server-logs</logs>
<index>/usr/lws_file/terracotta-3.7.7/server-index</index>
<statistics>/usr/lws_file/terracotta-3.7.7/server-statistics</statistics>
<dso-port bind="192.168.81.128">9510</dso-port>
<jmx-port bind="192.168.81.128">9520</jmx-port>
<l2-group-port bind="192.168.81.128">9530</l2-group-port>
<authentication/>
<http-authentication>
<user-realm-file>/usr/lws_file/terracotta-3.7.7/realm.properties</user-realm-file>
</http-authentication>
<dso>
<client-reconnect-window>120</client-reconnect-window>

<persistence>
<mode>temporary-swap-only</mode>
</persistence>
<garbage-collection>
<enabled>true</enabled>
<verbose>false</verbose>
<interval>3600</interval>
</garbage-collection>
</dso>
</server>
<ha>
<mode>networked-active-passive</mode>
<networked-active-passive>
<election-time>5</election-time>
</networked-active-passive>
</ha>
<update-check>
<enabled>true</enabled>
<period-days>10</period-days>
</update-check>
</servers>
<clients>
<logs>logs-%i</logs>
</clients>
</tc:tc-config>

3、修改tomcat安装目录conf文件夹中的context.xml文件，添加内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<Context>
<WatchedResource>WEB-INF/web.xml</WatchedResource>
<!-- 主要添加这一段 我用的tomcat6.0, tcConfigUrl为terracotta服务器的地址，端口就是tc-config.xml文件中设置的dso端口，这里默认为9510，多个服务器信息用逗号分隔 -->
<Valve className="org.terracotta.session.TerracottaTomcat60xSessionValve" tcConfigUrl="192.168.2.158:9510,192.168.81.128:9510"/>
</Context>

4、配置nginx，配置文件为nginx安装目录下conf文件夹中的nginx.conf，主要修改代码如下：

#这里是配置nginx的负载均衡 有四种负载均衡的方式，这里采用权值的分配
upstream mysvr {
#weigth参数表示权值，权值越高被分配到的几率越大
#本机上的Squid开启3128端口
#这里的ip和端口请对照tomcat做相应修改
server 127.0.0.1:8080 weight=1;
server 127.0.0.1:8081 weight=1;
}
server {
#监听80端口
listen 80;
server_name localhost;
location / {
#这里的mysvr为上方配置的 负载均衡的信息
proxy_pass http://mysvr;
proxy_redirect off;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
client_max_body_size 10m;
client_body_buffer_size 128k;
#该值表示一台服务器down了之后，如果分配给该服务器资源，链接超过1秒钟，就重新分配资源
proxy_connect_timeout 1;
proxy_send_timeout 90;
proxy_read_timeout 90;
proxy_buffer_size 4k;
proxy_buffers 4 32k;
proxy_busy_buffers_size 64k;
proxy_temp_file_write_size 64k;
}
}

5、启动terracotta服务。
   win7 下进入cmd模式，进入terracotta的bin目录，执行如下命令

start-tc-server.bat -f <安装路径>/tc-config.xml


linux下，进入terracotta的bin目录，执行如下命令

start-tc-server.sh -f <安装路径>/tc-config.xml

   注意：这里启动需要指定tc-config.xml文件，否则会使用默认的配置文件。
         如果linux下不能执行该命令，需要赋予权限，最简单的就是 chmod 777 -R  <terracotta安装路径>
如果配置无误，会看到下面的信息
[img]

[/img]
6、启动tomcat服务 和 nginx服务。
   访问 http://127.0.0.1(nginx 和 tomcat都是装在本机的，所以可以用127.0.0.1访问，项目部署时去掉项目名，比如http://127.0.0.1:8080/coal 访问的要改为 http://127.0.0.1:8080访问)
7、测试
   查看sessionId，应该会在原有的sessionId后面加上 .X，X为数字，代表不同的服务器，如hgdjfgdhsgfjhsjhg.1或 hgdjfgdhsgfjhsjhg.2，这时关闭其中一台tomcat，项目可以正常运行，然后启动关闭的tomcat，在关闭另一台tomcat，发现session已经共享，说明集群配置成功