corosync+pacemaker简单实践实现mariadb数据库高可用模型

ewr23

     友情提醒：文中实验环境 vmware10 + Centos 6.6 X86_64，文中命令请谨慎使用   一  实验环境和拓扑

主机	IP地址	角色
Test01.lijun.com	eth1:192.168.100.1/24	后台NFS共享服务器
Test04.lijun.com	eth1:192.168.100.4/24 eth0:172.16.34.4/16	集群节点
Test03.lijun.com	eth1:192.168.100.3/24 eth0:172.16.34.3/16	集群节点
集群节点虚拟出IP地址192.168.100.20，给外界提供mysql查询接口

  实验拓扑：



二  实验步骤

2.1) 环境准备：
Test03：
-----关闭防护墙和selinux，放置干扰实验-------------------------

1 2	[iyunv@Test03 ~]# service iptables stop [iyunv@Test03 ~]# setenforce 0

----设定ssh互信--------------------------------------------------

1 2	[iyunv@Test03 ~]# ssh-keygen -t rsa -P '' [iyunv@Test03 ~]# ssh-copy-id -i /root/.ssh/id_rsa.pub Test04

----使用统一ntp server进行时间对时----------------------------------

1 2 3

[iyunv@Test03 ~]#ntpserver 172.16.0.1 [iyunv@Test03 ~]#crontab -e */5 * * * * /usr/sbin/ntpdate 172.16.0.1

Test04：
-----关闭防护墙和selinux，放置干扰实验-------------------------

1 2	[iyunv@Test04 ~]# service iptables stop [iyunv@Test04 ~]# setenforce 0

----设定ssh互信--------------------------------------------------

1 2	[iyunv@Test04 ~]# ssh-keygen -t rsa -P '' [iyunv@Test04 ~]# ssh-copy-id -i /root/.ssh/id_rsa.pub Test03

----使用统一ntp server进行时间对时----------------------------------

1 2 3

[iyunv@Test04 ~]#ntpserver 172.16.0.1 [iyunv@Test04 ~]#crontab -e */5 * * * * /usr/sbin/ntpdate 172.16.0.1

2.2)-------------安装corosync+pacemaker------------------------

1 2	[iyunv@Test03 ~]# yum -y install corosync pacemaker [iyunv@Test04 ~]# yum -y install corosync pacemaker

2.3)--------配置和启动corosync服务-----------------------------

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48

[iyunv@Test03 ~]# cd /etc/corosync/ [iyunv@Test03 corosync]# ls corosync.conf.example  corosync.conf.example.udpu  service.d  uidgid.d [iyunv@Test03 corosync]# cp corosync.conf.example corosync.conf [iyunv@Test03 corosync]#vim corosync.conf [iyunv@Test03 corosync]# egrep -v '^[[:space:]]{1,}#' corosync.conf #兼容OPENAIS whitetank分支 compatibility: whitetank totem {    version: 2 #启用通信的数字签名，需要使用#corosync-keygen产生authenkey文件    secauth: on #不使用线程模型，使用进程模型    threads: 0    interface { #同下文TTL配合，限定报文生存周期         ringnumber: 0 #集群服务监听的网络地址而不是主机地址         bindnetaddr: 192.168.100.0 #集群节点massage layer层进行通信监听的地址和端口       mcastaddr: 239.165.17.91         mcastport: 5405         ttl: 1    } } logging {     fileline: off        to_stderr: no        to_logfile: yes        logfile: /var/log/cluster/corosync.log        to_syslog: no        debug: off        timestamp: off        logger_subsys {             subsys: AMF            debug: off         } } #让pacemaker以插件的形式同pacemaker配合使用 service {        ver:    0        name:    pacemaker        use_mgmtd:    yes } aisexec {         user:    root         group:    root }

#使用corosync-keygen产生密钥文件，用于heartbeat通信数字签名

1	[iyunv@Test03 corosync]# corosync-keygen

#为保证集群节点配置文件一致性，这里使用复制的形式传递个别的集群节点

1 2 3

[iyunv@Test03 corosync]#scp -p authkey corosync.conf Test04:/etc/corosync [iyunv@Test03 corosync]# service corosync start [iyunv@Test04 corosync]# service corosync start

2.4)--------------Test03上安装crmshell----------------------------------

1 2	[iyunv@Test03 corosync]#cd  /root/source [iyunv@Test03 source]# yum -y localinstall --nogpgcheck  crmsh-2.1-1.6.x86_64 .rpm pssh-2.3.1-2.el6.x86_64.rpm

  
后台共享存储Tese01上NFS提供分区，在Test03上挂载Test01共享的分区，用来承载mariadb初始化数据库
Test04上只是解压maraidb不初始化。
哪个节点上mariadb启动，那个节点挂载nfs共享分区。

2.5) ----------------Test01上提供nfs共享服务---------------------
Test01：
添加的新磁盘被识别为/dev/sdb,给其分区，格式化为ext4文件系统，这里不再演示，自动解决
#关闭防火墙和selinux放置干扰

1 2	[iyunv@Test01 ~]# service iptables stop [iyunv@Test01 ~]# setenforce 0

#建立mysql用户

1 2	[iyunv@Test01 ~]# groupadd -g 27 mysql [iyunv@Test01 ~]# useradd -g 27 -u 27 -r mysql

#建立目录用于nfs共享

1 2	[iyunv@Test01 ~]# mkdir  /mydata/ [iyunv@Test01 ~]# vim /etc/fstab

1 2 3 4 5

#新增 /dev/sdb1               /mydata/data            ext4    defaults        0 0 [iyunv@Test01 ~]# mount -a [iyunv@Test01 ~]# mount | grep sdb /dev/sdb1 on /mydata/data type ext4 (rw)

#建立/mydata/data用于被共享后被集群节点挂载，承载mariadb初始化文件

1	[iyunv@Test01 ~]# mkdir /mydata/data

#更改/mydata/data的属主为mysql  属组为mysql

1 2 3

[iyunv@Test01 ~]# chown -R mysql.mysql /mydata/data/ [iyunv@Test01 ~]# ls -ld /mydata/data/ drwxr-xr-x. 2 mysql mysql 4096 Jun  4 09:45 /mydata/data/

#修改nfs共享配置文件:

1 2 3

[iyunv@Test01 ~]# vim /etc/exports /mydata 192.168.100.0/24(rw,no_root_squash) #***初始该目录不可设定roo_squash，root用于要执行mariadb初始化

#启动nfs服务

1 2 3 4 5 6 7 8 9 10

[iyunv@Test01 ~]# service nfs start Starting NFS services:                                     [  OK  ] Starting NFS quotas:                                       [  OK  ] Starting NFS mountd:                                       [  OK  ] Starting NFS daemon:                                       [  OK  ] Starting RPC idmapd:                                       [  OK  ] [iyunv@Test01 ~]# showmount -e  192.168.100.1 Export list for 192.168.100.1: /mydata 192.168.100.0/24 [iyunv@Test01 ~]#

2.6)Test03--------------部署mariadb------------------------------
#建立统一mysql用户和组要同Test01上的mysql用户的uid与gid相同

1 2	[iyunv@Test03 ~]# groupadd -r -g 27 mysql [iyunv@Test03 ~]# useradd -r -g 27 -u 27 mysql

#建立挂载目录，要同mariadb配置文件中设定一致

1 2 3 4 5

[iyunv@Test03 ~]# mkdir /mydata [iyunv@Test03 ~]# mount -t nfs 192.168.100.1:/mydata /mydata [iyunv@Test03 ~]# mount | grep 'mydata' 192.168.100.1:/mydata on /mydata type nfs (rw,vers=4,addr=192.168.100.1,clientaddr=192.168.100.2) [iyunv@Test03 ~]#

#安装mariadb

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

[iyunv@Test03 ~]# cd /root/source/ [iyunv@Test03 source]# tar -xf mariadb-5.5.43-linux-x86_64.tar.gz  -C /usr/local [iyunv@Test03 source]# cd /usr/local [iyunv@Test03 local]# ln -sv mariadb-5.5.43-linux-x86_64 mysql `mysql' -> `mariadb-5.5.43-linux-x86_64' [iyunv@Test03 local]# cd mysql/ [iyunv@Test03 mysql]# chown -R root.mysql ./* [iyunv@Test03 mysql]# ./scripts/mysql_install_db --datadir=/mydata/data --user=mysql [iyunv@Test03 mysql]# mkdir /etc/mysql [iyunv@Test03 mysql]# cp support-files/my-medium.cnf  /etc/mysql/my.cnf [iyunv@Test03 mysql]# vim /etc/mysql/my.cnf [mysqld] datadir = /mydata/data innodb_file_per_table = on [iyunv@Test03 mysql]# cp support-files/mysql.server /etc/init.d/mariadb [iyunv@Test03 mysql]# chmod +x /etc/init.d/mariadb

#测试mariadb是否可启动

1 2 3 4

[iyunv@Test03 mysql]# service mariadb start Starting MySQL....                                         [  OK  ] [iyunv@Test03 mysql]# ss -tlpn | grep 3306 LISTEN     0      50                        *:3306                     *:*      users:(("mysqld",3241,15))

#集群中服务不可以自动启动

1 2 3 4 5

[iyunv@Test03 mysql]# service mariadb stop Shutting down MySQL..                                      [  OK  ] [iyunv@Test03 mysql]# chkconfig --add mariadb [iyunv@Test03 mysql]# chkconfig mariadb off [iyunv@Test03 mysql]#umount /mydata

2.7)Test04 只解压mariadb不做初始化动作，初始化数据库在Test03上已完成

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

[iyunv@Test04 ~]# groupadd -r -g 27 mysql [iyunv@Test04 ~]# useradd -r -u 27 -g 27  mysql [iyunv@Test04 ~]# cd /root/source/ [iyunv@Test04 source]# tar -xf mariadb-5.5.43-linux-x86_64.tar.gz -C /usr/local [iyunv@Test04 source]# cd /usr/local/ [iyunv@Test04 local]# ln -sv mariadb-5.5.43-linux-x86_64  mysql `mysql' -> `mariadb-5.5.43-linux-x86_64' [iyunv@Test04 local]# cd mysql/ [iyunv@Test04 mysql]# chown -R root.mysql ./* [iyunv@Test04 mysql]# mkdir /etc/mysql [iyunv@Test04 mysql]# scp -p Test03:/etc/mysql/my.cnf /etc/mysql/ my.cnf                                             100% 4963     4.9KB/s   00:00    [iyunv@Test04 mysql]# scp -p Test03:/etc/init.d/mariadb /etc/init.d/ mariadb                                            100%   12KB  11.9KB/s   00:00 [iyunv@Test04 mysql]# mkdir /mydata [iyunv@Test04 mysql]# mount -t nfs 192.168.100.1:/mydata /mydata

#测试数据库是否可启动

1 2	[iyunv@Test04 mysql]# service mariadb start Starting MySQL...                                          [  OK  ]

#集群节点上服务不可开机自动启动

1 2 3 4 5

[iyunv@Test04 mysql]# service mariadb stop Shutting down MySQL.                                       [  OK  ] [iyunv@Test04 mysql]# chkconfig --add mariadb [iyunv@Test04 mysql]# chkconfig mariadb off [iyunv@Test04 mysql]# umount /mydata

2.8)在集群中部署mariadb资源

=============在Test03上通过crmshell配置mariadb 高可用================
#查看集群现在的状态信息

1 2 3 4 5 6 7 8 9

[iyunv@Test03 ~]# crm status Last updated: Thu Jun  4 02:20:45 2015 Last change: Wed Jun  3 12:41:17 2015 Stack: classic openais (with plugin) Current DC: Test03.lijun.com - partition with quorum Version: 1.1.11-97629de 2 Nodes configured, 2 expected votes 0 Resources configured Online: [ Test03.lijun.com Test04.lijun.com ]

#实验环境中没有stonith设备，因此必须关闭，否则集群服务启动不起来

1	[iyunv@Test03 source]# crm configure property stonith-enabled=false

#因为是2个节点，防止因票数不过半而使集群服务不知如何运作，故设定下面这个参数

1	[iyunv@Test03 source]# crm configure property no-quorum-policy=ignore

#配置集群mariadb高可用时，对外使用的资源IP
#先查看配置命令的说明

1 2	[iyunv@Test03 source]#crm ra info ocf:heartbeat:IPaddr [iyunv@Test03 source]#crm configure primitive sqlip ocf:heartbeat:IPaddr params ip=192.168.100.10 nic=eth1 cidr_netmask=24

#mariadb的初始化数据库放置在后端存储上通过nfs共享的，因此需配置nfs共享被节点挂载的资源
#先查看命令配置说明

1	[iyunv@Test03 source]##crm ra info ocf:heartbeat:Filesystem

#配置mariadb集群服务

1	[iyunv@Test03 source]#crm configure primitive sqlserver lsb:mariadb op monitor interval=15s timeout=15s

#配置资源类型为group来统一管理上述的mariadb相关的资源，注意资源名称的先后顺序，决定在集群节点上开启的先后。

1	[iyunv@Test03 source]#crm configure group mysqlservice  sqlip sqlfilesystem sqlserver

2.9)验证配置

资源已经运行在Test04.lijun.com节点上。
现在设定Test04节点为standby状态后，看下资源服务是否会在Test03节点上运行


这就是corosync+pacemaker实现mariadb高可用实验。