kinila 发表于 2017-6-23 10:36:12

WildFly 9.0.2+mod_cluster-1.3.1 集群配置

  一、配置背景
  最近使用WildFly 9.0.2作为中间件开发系统,给客户部署的时候需要使用集群来进行负载均衡,一开始想到是使用Nginx。但是只通过Nginx使用 ip_hash 模式没有做到session的不丢失(也可能是我对Nginx的理解不够深入)。所以后来google了一下,发现很多Jboss服务器都使用 httpd + mod_cluster 来做集群的搭建,所以就准备使用这种配置来搭建一把。
  二、环境准备
  WildFly 9.0.2+mod_cluster-1.3.1+Java7+VMware 10:这些都可以去官方下载。
  VMware 10 系统配置:本地Win7(192.168.244.1)+Server 2012(192.168.244.132)+Server 2012(192.168.244.133) ,这里的Win7 是本地不需要在虚拟机安装,主要用作 mod_cluster 的集群管理服务器。两台Server 2012需要在在虚拟机中搭建,132作为master,133座位slave。master可以统一管理和部署系统环境。
  三、配置过程
  1、域管理配置
  我们需要配置master和slave主机系统的java环境变量,然后通过 wildfly-9.0.2s\bin\domain.bat 来启动Jboss,如果可以正常启动,并且出现以下如图提示,说明基本的环境配置已经成功。

  master进行域控制的配置:找到文件 domain/configuration/host.xml 进行修改。
  默认的配置为



<interfaces>
<interface name="management">
<inet-address value="${jboss.bind.address.management:127.0.0.1}"/>
</interface>
<interface name="public">
<inet-address value="${jboss.bind.address:127.0.0.1}"/>
</interface>
<interface name="unsecured">      
<inet-address value="127.0.0.1" />   
</interface>
</interfaces
  我们需要去修改管理端口,以至于slave可以连接到master,修改为如下:  



<interfaces>
<interface name="management"
<inet-address value="${jboss.bind.address.management:192.168.244.132}"/>
</interface>
<interface name="public">
<inet-address value="${jboss.bind.address:192.168.244.132}"/>
</interface>   
<interface name="unsecured">
<inet-address value="192.168.244.132" />   
</interface>
</interfaces>
  slave的环境配置:为了让slave可以连接到master,同样找到文件 domain/configuration/host.xml  



<host name="master" xmlns="urn:jboss:domain:3.0">
  修改为



<host name="slave" xmlns="urn:jboss:domain:3.0">
  同时修改 domain-controller 以至于slave可以连接到master的管理端口 



<domain-controller>
<remote protocol="remote" host="192.168.244.132" port="9999" username="slave" security-realm="ManagementRealm"/>
</domain-controller>
  上面的username="slave" 主要是为安全配置,需要特定的用户来连接master。
  接下来修改salve的 interfaces 配置为:



<interfaces>
<interface name="management">
<inet-address value="${jboss.bind.address.management:192.168.244.133}"/>
</interface>
<interface name="public">
<inet-address value="${jboss.bind.address:192.168.244.133}"/>
</interface>
<interface name="unsecure">
<!-- Used for IIOP sockets in the standard configuration.
To secure JacORB you need to setup SSL -->
<inet-address value="${jboss.bind.address.unsecure:192.168.244.133}"/>
</interface>
</interfaces>
  如果现在你启动master以后,再去启动slave,会发现如下报错,因为我们还没有配置slave和master之间的认证。



20:31:24,575 ERROR (Remoting "endpoint" read-1) JBREM000200: Remote connection failed: javax.security.sasl.SaslException: Authentication failed: all available authentication mechanisms failed
20:31:24,579 WARN (Controller Boot Thread) JBAS010900: Could not connect to remote domain controller 192.168.244.132:9999
20:31:24,582 ERROR (Controller Boot Thread) JBAS010901: Could not connect to master. Aborting. Error was: java.lang.IllegalStateException: JBAS010942: Unable to connect due to authentication failure. 
  此时,我们需要在master中添加2个user,可以通过 wildfly-9.0.2s\bin\add-user.bat 来添加,具体过程在这里不再描述,过程中需要注意一点就是需要记住password的64位加密后的码,人员类型选择 “ManagementRealm”。我在这里添加2个用户 master 和 slave,密码都为123456。
  在slave找到刚才编辑过的 host.xml,添加<secret value="MTIzNDU2" /> ,“MTIzNDU2”为123456的64位加密码,配置如下:



     <security-realms>
<security-realm name="ManagementRealm">
<server-identities>
<secret value="MTIzNDU2" />
</server-identities>
<authentication>
<local default-user="$local" skip-group-loading="true"/>
<properties path="mgmt-users.properties" relative-to="jboss.domain.config.dir"/>
</authentication>
<authorization map-groups-to-roles="false">
<properties path="mgmt-groups.properties" relative-to="jboss.domain.config.dir"/>
</authorization>
</security-realm>
<security-realm name="ApplicationRealm">
<server-identities>
<secret value="MTIzNDU2" />
</server-identities>
<authentication>
<local default-user="$local" allowed-users="*" skip-group-loading="true"/>
<properties path="application-users.properties" relative-to="jboss.domain.config.dir"/>
</authentication>
<authorization>
<properties path="application-roles.properties" relative-to="jboss.domain.config.dir"/>
</authorization>
</security-realm>
</security-realms>
  进过如上配置我们就可以是的slave和master彼此连接,此时,再去启动slave的服务,在命令行会看到:Registered remote slave host slave。说明我们在域控制模式下已经将2台主机配置成功。
  2、部署测试环境
  测试项目:http://pan.baidu.com/s/1eSkaeC6 我在这里提供一个可以下载的项目主要为了测试session是否在服务某个节点失败以后,是否会正确转移到另外一个节点。
  在master上登陆管理控制台 http://192.168.244.132:9990/console/ ,将master和slave的server-three启动起来。(如果在master中无法启动slave的server,可以将salve上的wildfly重新启动一下)  

  这里的server-three在master和slave上尽量使用不同的名字,官方文档说相同的话在做集群的时候可能会出现冲突。接下来部署我们的war包,进入部署页面,选择Server Groups 页面选择 other-server-group,然后选择add按钮部署项目。

  部署完毕以后我们的项目会被同事部署到master和master中,这就是wildfly域控制器的功能所在。此时我们访问以下我们的项目如下,通过如下地址
  http://192.168.244.132:8330/cluster-demo/
  http://192.168.244.133:8330/cluster-demo/
  应该应该可以看到如下界面:

  这里我们的访问端口为8330,为什么不是8080?这里因为我们在host.xml里面进行了如下配置: 



<server name="server-three" group="other-server-group" auto-start="false">
<!-- server-three avoids port conflicts by incrementing the ports in
the default socket-group declared in the server-group -->
<socket-bindings port-offset="250"/>
</server>
port-offset 是 250, 所以 8080 + 250 = 8330

  接下来我们需要停止wildfly服务,我们需要在master和slave编辑host.xml将我们的serevr-three设置为自动启动。同时将slave的server-three修改为server-three-slave,这是因为mod_cluster在注册的时候如果名字相同,可能会注册失败。
  master 



<server name="server-three" group="other-server-group" auto-start="true">
    <!-- server-three avoids port conflicts by incrementing the ports in
         the default socket-group declared in the server-group -->
    <socket-bindings port-offset="250"/>
</server>
  slave



<server name="server-three-slave" group="other-server-group" auto-start="true">
<!-- server-three avoids port conflicts by incrementing the ports in
the default socket-group declared in the server-group -->
<socket-bindings port-offset="250"/>
</server>
  完成如上配置以后,接下来我们就需要配置httpd 和 mod_cluster 来完成集群配置。
  3、mod_cluster 集群的配置
  解压我们下载的mod_cluster安装文件到某个目录,然后执行 D:\httpd-2.4\bininstallconf.bat 命令(这里要注意,需要使用管理员权限启动),然后会发现在目录D:\httpd-2.4\conf 下面会看到httpd.conf 文件,接下来的主要配置就是修改这个文件。然后安装httpd服务:httpd.exe -k install -n httpd2.4(安装的service需要使用管理员启动,默认是本地系统)

  httpd.conf修改的主要内容如下:



Listen 192.168.244.1:80
......

#ServerName 的修改
ServerName 192.168.244.1:80
......

# MOD_CLUSTER_ADDS
# Adjust to you hostname and subnet.
<IfModule manager_module>
Listen 192.168.244.1:8888
#ManagerBalancerName mycluster
<VirtualHost 192.168.244.1:8888>
# / 标示拦截所有类型的请求 Require ip 192.168.244 标示拦截特定的IP
<Location />
Require ip 192.168.244
</Location>
KeepAliveTimeout 60
MaxKeepAliveRequests 0
EnableMCPMReceive
# don't use multicast
ServerAdvertise Off
#AdvertiseFrequency 5
#AdvertiseSecurityKey secret
#AdvertiseGroup 224.0.1.105:23364

<Location /status>
SetHandler mod_cluster-manager
#Require ip 192.168.244
Order deny,allow
Deny from all
Allow from all
AllowDisplay on      
</Location>
#设置代理转发,这里为将所有请求类型都转发至mycluster负载均衡器
#ProxyPass / balancer://mycluster/
</VirtualHost>
</IfModule>
  然后启动service

  然后访问http://192.168.244.1:8888/status,如果可以正确找到master和slave节点的server说明我的集群配置成功。

  接下来进行集群的测试,此时会用到我们此前部署的项目cluster-demo,首先我们访问:http://192.168.244.1/cluster-demo/put.jsp

  此时我们会在master的后台看到如下信息

  然后我们关闭master的服务,然后访问:http://192.168.244.1/cluster-demo/get.jsp

  我们发现我们put和get的时间相同,说明我们的session内容没有丢失。到此,我们的集群环境部署完毕。
  四、过程总结
  整个过程断断续续花了2天,发生问题最多的地方是在httpd.conf配置的地方,因为对这里面的配置的介绍文档比较少。另外如果实在虚拟机做测试最好将虚拟机里面的IP固定一下,有时候虚拟机重启IP会发生变化,启动服务的时候会报错。
  五、参考网址
  https://docs.jboss.org/author/display/WFLY9/WildFly+9+Cluster+Howto
  http://docs.jboss.org/mod_cluster/1.1.0/html/Quick_Start_Guide.html
   
页: [1]
查看完整版本: WildFly 9.0.2+mod_cluster-1.3.1 集群配置