Amoeba for MySQL读写分离配置

er232112

实验环境
hostname            ip
master-db        192.168.0.1
slave-db1        192.168.0.2
slave-db2        192.168.0.3
amoeba           192.168.0.123


一、 Amoeba简介
    Amoeba 是阿里巳巳的技术陈思儒开始的一个开源项目，它是分布式数据库Proxy解决方案。Amoeba框架是基于Java SE 1.5开发的，在安装Amoeba前需要先安装Java环境。经验证，Amoeba在Java SE 1.5和Java SE 1.6上能正常运行。
Amoeba的产品：
Amoeba for MySQL  
Amoeba for Aladdin
Amoeba for MongoDB

以下主要介绍Amoeba for mysql：
    Amoeba for MySQL致力于MySQL的分布式数据库前端代理层，它主要在应用层访问MySQL的时候充当query 路由功能，与注 分布式数据库 proxy 开发。座落不Client、DB Server(s)之间。对客户端透明。具有负载均衡、高可用性、Query过滤、读写分离、可路由相关的query到目标数据库、可并发请求多台数据库合并结果。 在Amoeba上面你能够完成多数据源的高可用、负载均衡、数据切片的功能。目前在很多企业的生产线上面使用。
    那么Amoeba for mysql 对客户端程序来说是什么呢？ 我们就当它是mysql吧，它是一个虚拟的mysql，对外提供mysql协议。客户端连接amoeba就象连接mysql一样。在amoeba内部需要配置相关的认证属性。


Amoeba for mysql与Mysql Proxy 的比较：
    在MySQL proxy 6.0版本 上面如果想要读写分离并丏 读集群、写集群 机器比较多情况下，用mysql proxy 需要相当大的工作量，目前mysql proxy没有现成的 lua脚本。mysql proxy根本没有配置文件， lua脚本就是它的全部，当然lua是相当方便的。那么同样这种东西需要编写大量的脚本才能完成一 个复杂的配置。而Amoeba for Mysql只需要进行相关的配置就可以满足需求。

Amoeba for MySQL的优点：
1.  降低数据切分带来的复杂多数据库结构
2.  提供切分规则并降低数据切分规则给应用带来的影响
3.  降低db 不客户端的连接数
4.  读写分离

Amoeba for MySQL的缺点：
1.  Amoeba for MySQL不支持事务：其实，分布式事务的问题是所有数据库中间层普遍面临的问题，不是Amoeba独有的问题；目前通常的解决办法是，将事务拆分成几个单数据库内的小事务，由应用程序进行总控。
2.  Amoeba for MySQL不支持跨节点JOIN：同样，这个问题也不是Amoeba独有的，通常的解决办法是由应用程序先从一个节点取出数据，然后由应用程序去其他节点JOIN。
3.  Amoeba for MySQL不支持跨节点排序：这个问题也不是Ameoba独有的，通常的解决办法是由应用程序从多个节点中取出数据，然后进行排序。
4.  Amoeba for MySQL不适合返回大量(超过10万)数据的查询。
5.  Amoeba for MySQL不支持分库分表，只能做到分数据库实例。
为何使用Amoeba ：
    随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的扩充，数据库应用已经普遍建立于计算机网络之上。这时集中式数据库系统表现出它的不足：集中式处理，势必造成性能瓶颈；应用程序集中在一台计算机上运行，一旦该计算机发生故障，则整个系统受到影响，可靠性不高；集中式处理引起系统的规模和配置都不够灵活，系统的可扩充性差。在这种形势下，集中式数据库将向分布式数据库发展。而Amoeba的透明、简易配置及多个优点使其成为分布式数据库代理产品中的优秀选择。


二、 安装和运行Amoeba
1. Amoeba for MySQL 架构：
2. 验证Java的安装
Amoeba框架是基于Java SE1.5开发的，建议使用Java SE1.5以上的版本。
#  java  -version
java version "1.6.0_35"
Java(TM) SE Runtime Environment (build 1.6.0_35-b10)
Java HotSpot(TM) 64-Bit Server VM (build 20.10-b01, mixed mode)
注：JDK的安装方法不再阐述，不会的可以参考：

3.  安装MySQL数据库及配置主从复制部分此处不再阐述，不会者可参考：

4.  下载Amoeba

5.  安装Amoeba
# mkdir  /usr/local/amoeba
# unzip  amoeba-mysql-3.0.4-BETA-distribution.zip
# /bin/cp –rf amoeba-mysql-3.0.4-BETA/*  /usr/local/amoeba

三、 配置Amoeba for MySQL：
Amoeba for MySQL的使用是很简单的，主要是通过xml文件来实现的。
1. 配置文件介绍：
(1.) dbServers.xml   想象Amoeba作为数据库代理层，它一定会和很多数据库保持通信，因此它必须知道由它代理的数据库如何连接，比如最基础的：主机IP、端口、Amoeba使用的用户名和密码等等。这些信息存储在$AMOEBA_HOME/conf/dbServers.xml中。
(2.) rule.xml  Amoeba为了完成数据切分提供了完善的切分规则配置，为了了解如何分片数据、如何将数据库返回的数据整合，它必须知道切分规则。不切分规则相关的信息存储在$AMOEBA_HOME/conf/rule.xml中。
(3.) functionMap.xml  当我们书写SQL来操作数据库的时候，常常会用到很多不同的数据库函数，比如：UNIX_TIMESTAMP()、SYSDATE()等等。这些函数如何被Amoeba解析呢？$AMOEBA_HOME/conf/functionMap.xml描述了函数名和函数处理的关系。
(4.) ruleFunctionMap.xml  对$AMOEBA_HOME/conf/rule.xml进行配置时，会用到一些我们自己定义的函数，比如我们需要对用户ID求HASH值来切分数据，这些函数在$AMOEBA_HOME/conf/ruleFunctionMap.xml中定义。
(5.) access_list.conf  Amoeba可以制定一些可访问以及拒绝访问的主机IP地址，这部分配置在$AMOEBA_HOME/conf/access_list.conf中。
(6.) log4j.xml  Amoeba允许用户配置输出日志级别以及方式，配置方法使用log4j的文件格式，文件是$AMOEBA_HOME/conf/log4j.xml。 其中，我们主要用到dbServer.xml 和 amoeba.xml 。
2. dbServer.xml 的配置：

<dbServer name=”abstractServer” abstractive=”true”>
   <factoryConfig class=”com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory”>
      <property name=”connectionManager”>${defaultManager}</property>
      <property name=”sendBufferSize”>64</property>
      <property name=”receiveBufferSize”>128</property>

          <!—mysql port --><!—代理连接数据库使用的端口号-->
      <property name=”port”>3306</property>

           <!—mysql schema --><!—代理连接数据库所使用的数据库-->
      <property name=”schema”>test</property>

           <!—mysql user --><!—代理连接数据库使用的用户名-->
       <property name=”user”>root</property>
                  <!—代理连接数据库使用的密码-->
       <property name=”password”>1234</property>
   </factoryConfig>

   <poolConfig class=”com.meidusa.toolkit.common.poolable.PoolableObjectPool”>
       <property name=”maxActive”>500</property>
       <property name=”maxIdle”>500</property>
       <property name=”minIdle”>1</property>
       <property name=”minEvictableIdleTimeMillis”>600000</property>
       <property name=”timeBetweenEvictionRunsMillis”>600000</property>
       <property name=”testOnBorrow”>true</property>
       <property name=”testOnReturn”>true</property>
       <property name=”testWhileIdle”>true</property>
   </poolConfig>
</dbServer>

            <!--- 配置真实的数据库的地址-->
          <!--- 配置主从服务器及服务器连接池-->



<dbServer name="server1"  parent="abstractServer">
      <factoryConfig>
                <!-- mysql ip -->
             <property name="ipAddress">192.168.0.1</property>
      </factoryConfig>
</dbServer>

<dbServer name=”server2”  parent=”abstractServer”>
      <factoryConfig>
             <!—mysql ip -->
             <property name=”ipAddress”>192.168.0.2</property>
      </factoryConfig>
</dbServer>

<dbServer name=”server2”  parent=”abstractServer”>
      <factoryConfig>
             <!—mysql ip -->
             <property name=”ipAddress”>192.168.0.3</property>
      </factoryConfig>
</dbServer>


<dbServer name=”multiPool” virtual=”true”>
      <poolConfig class=”com.meidusa.amoeba.server.MultipleServerPool”>
           <!—Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
            <property name=”loadbalance”>1</property>

                   <!—Separated by commas,such as: server1,server2,server1 -->
            <property name=”poolNames”>server2,server3</property>
      </poolConfig>
</dbServer>

3. amoeba.xml 配置：
客户端连接Amoeba时所绑定的IP地址、端口、用户名和密码。及IP访问限制。
<service name="Amoeba for Mysql" class="com.meidusa.amoeba.mysql.server.MySQLService">
                <!-- port -->
         <property name="port">8066</property>

                <!-- bind ipAddress -->
                <!--  
                <property name="ipAddress">127.0.0.1</property>
                -->

         <property name="connectionFactory">
            <bean class="com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory">
                <property name="sendBufferSize">128</property>
                <property name="receiveBufferSize">64</property>
            </bean>
         </property>




         <property name="authenticateProvider">
            <bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator">
                <property name="user">root</property>
                <property name="password">123</property>

                <property name="filter">
                 <bean class="com.meidusa.toolkit.net.authenticate.server.IPAccessController">
                <property name="ipFile">${amoeba.home}/conf/access_list.conf</property>
                </bean>
              </property>
            </bean>
         </property>

</service>

以下内容是定义读写分离：
<queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">
   <property name="ruleLoader">
      <bean class="com.meidusa.amoeba.route.TableRuleFileLoader">
       <property name="ruleFile">${amoeba.home}/conf/rule.xml</property>
       <property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property>
      </bean>
   </property>
<property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property>
    <property name="LRUMapSize">1500</property>
    <property name="defaultPool">multiPool</property>

    <property name="writePool">server1</property>
    <property name="readPool">multiPool</property>

    <property name="needParse">true</property>
</queryRouter>

通过以上简单配置，已经可以实现数据库的读写分离了。





四、 测试
#/usr/local/amoeba/bin/launcher &   (也可通过nohup后台启动，戒者自己写一个脚本来启动。 )
启动的Amoeba默认端口为8066
在客户端连接Amoeba测试：
# mysql  -uroot –p123  -h 192.168.0.123 --port 8066
mysql> show databases;
mysql> CREATE DATABASE  test1;  \\  创建数据库，之后在主从库分别查看 通过Amoeba登录，进行数据的查询及揑入更新等操作，并查看mysql-log日志，可发现所执行的INSERT 、UPDATE、DELETE等操作在主库server1上操作，SELECT查询语句在从库server2和server3上执行。