xiaochuan 发表于 2018-9-27 13:47:22

MySQL主从的一致性校验及修复

  主从的一致性校验
  场景:
  有人会问道:如何验证主从的一致性
  又或者问:一个库里有几十张表 主从结构数据是否一致?
  简单来讲可以在低峰期主从上分别使用select count(*)来看一下,这种方式是最古老的,准确度不是很高
  盗贴 麻烦 说一声,本文来自 yijiu.blog.51cto.com
  主流方法:
  使用pt-table-checksum验证主从的一致性
  盗贴 麻烦 说一声,本 文l来自 yijiu.blog.51cto.com
  Pt-table-checksum的工作流程:
  在某些数据不超过1千行则立刻显示出;如果超过1千行,会进行分段,至于如何分段其内部有特定机制
  计算之后会在主库建一个表。默认表名为checksums
  生成表后将session 会话级别的binlog格式改为语句级别格式,而后对每张表进行以下语句:
  select .. count (*), bit_xor(crc32(#id#col1#col2...))from tb where id > xxx and id xxx and idstop slave;
  Query OK, 0 rows affected (0.00 sec)
  mysql> set global sql_slave_skip_counter = 1;
  Query OK, 0 rows affected (0.00 sec)
  主库执行
  mysql> call insert_yw(1);
  Query OK, 1 row affected (0.01 sec)
  开启从库
  mysql>start slave;
  检测一致性
  再次在主库上执行tp-table-checksum
  # pt-table-checksum --nocheck-replication-filters --no-check-binlog-format --replicate=testdb.checksums --create-replicate-table --databases=test110-h 10.12.33.58 -P 3306 -u root -p mypass --recursion-method="processlist"
  TS ERRORSDIFFS   ROWSCHUNKS SKIPPED    TIME   TABLE
  11-12T16:40:55      0      1   1011       1       0   0.044   test110.yw
  修复不一致
  修复不一致可以直接调用pt-table-sync脚本
  
  pt-table-sync工作流程
  首先将sql打印出来,然后再去执行execute
  比如,之前的库发现不一致,那么接下来使用pt-table-sync进行修复
  如下所示
  #pt-table-sync --replicate=testdb.checksums --databases=testdb -- h=10.12.33.58,u=testdb,p=testdbtestdb -print
  参数解释:
  #指定哪个库、字符集以及连接进来的DSN
  #DSN: h=10.12.33.58,u=testdb,p=testdbtestdb
  #-print 表示只打印出来修复的SQL,但是不执行
  尝试修复
  pt-table-sync --replicate=testdb.checksums --databases=testdb --charset=utf8 h=10.12.33.58,u=testdb,p=testdbtestdb --execute
  #主库完后在从库修改数据,并执行checksum
  盗贴麻烦 说一w声,本 文来自 yijiu.blo g.51 cto.com
  # pt-table-sync --replicate=testdb.checksums --databases=test110   h=10.12.33.58,u=root,p=mypass --execute
  # echo $?
  0
  # pt-table-checksum --nocheck-replication-filters --no-check-binlog-format --replicate=testdb.checksums --create-replicate-table --databases=test110-h 10.12.33.58 -P 3306 -u root -p mypass --recursion-method="processlist"
  TS ERRORSDIFFS   ROWSCHUNKS SKIPPED    TIME TABLE
  11-12T16:49:12      0      0   1011       1       0   0.068 test110.yw
  案例
  比如一个很大的库,白天发生数据的不一致,尝试着手动修复,比如1062 1032等
  但是1032的数据非常的多,这个时间从库一方面可以下线并重做
  (1062,1032 可以使用slave_skip_errors=all 方式,然后用check-sum 进行修复)
  另一种方法将从库不提供服务,并执行顺序:
  slave_skip_errors = all         #将所有的错误都跳过,让从库继续工作
  pt-table-checksum            #在业务低峰期的时候执行,对出现错误的表进行检查并尝试修复
  pt-table-sync                #把不一致的数据补上来
  #将slave_skip_errors = all关闭
  check-sum                      #唯一的不足是将数据全部读完,会将buffer pool热数据冲掉
  盗贴麻烦 说一w声,本 文来自 yijiu.blog.51 cto.com
  模拟场景
  从库执行
  mysql>call insert_yw(1);
  主库操作
  mysql> call insert_yw(1);
  Query OK, 1 row affected (0.01 sec)
  再次查看从库
  mysql> show slave status\G
  *************************** 1. row ***************************
  Slave_IO_State: Waiting for master to send event
  Master_Host: 10.12.33.58
  Master_User: repl
  Master_Port: 3306
  Connect_Retry: 60
  Master_Log_File: mysql-bin.000002
  Read_Master_Log_Pos: 573305

  >
  >
  >  Slave_IO_Running: Yes
  Slave_SQL_Running: No
  Replicate_Do_DB:
  Replicate_Ignore_DB:
  Replicate_Do_Table:
  Replicate_Ignore_Table:
  Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
  Last_Errno: 1062
  Last_Error: Could not execute Write_rows event on table test110.yw; Duplicate entry '1013' for key 'PRIMARY', Error_code: 1062; handler error HA_ERR_FOUND_DUPP_KEY; the event's master log mysql-bin.000002, end_log_pos 572982
  Skip_Counter: 0
  如果线程不工作的话 pt-table-checksum是无法检测的,所以要将线程启动
  盗贴麻烦 说一a声,本 文来自 yijiu.blog.51 cto.com
  将所有错误跳过
  # grep errors /etc/my.cnf
  slave_skip_errors = all
  并重启服务
  使用pt-table-checksum检测
  # pt-table-checksum --nocheck-replication-filters --no-check-binlog-format --replicate=testdb.checksums --create-replicate-table --databases=test110-h node1.test.com -P 3306 -u root -p mypass --recursion-method="processlist"
  TS ERRORSDIFFS   ROWSCHUNKS SKIPPED    TIME TABLE
  11-12T17:19:33      0      1   1015       1       0   0.033 test110.yw
  进行修复
  #pt-table-sync --replicate=testdb.checksums --databases=test110   h=10.12.33.58,u=root,p=mypass --execute
  # echo $?
  0
  在双方都确认行数
  mysql> select count(*) from yw;
  +----------+
  | count(*) |
  +----------+
  |   1015 |
  +----------+
  1 row in set (0.00 sec)
  面试中会问到tp-check-sum的不足:
  1.会将所有数据重新读一遍
  2.读数据的同时会将buffer池中的热数据冲掉
  3.在主库有大量的读,但是不会锁表是个非常不错的功能
  如果是库非常小的话,或者几百G的数据,直接将重建主从即可
  如果全库修复的话,量大的话则需要5、6个小时,具体需要机器配置
  盗贴麻烦 说一a声,本文来自 yijiu.blog.51 cto.com
  pt-table-checksum的工作过程
  在主库将general log 将主从都打开并运行pt-table-checksum进行观察
  mysql> set global general_log=1;
  Query OK, 0 rows affected (0.00 sec)
  mysql> show global variables like '%gen%';
  +------------------+------------------------+
  | Variable_name    | Value                  |
  +------------------+------------------------+
  | general_log      | ON                     |
  | general_log_file | /mydata/data/node2.log |
  +------------------+------------------------+
  2 rows in set (0.00 sec)
  Pt-table-checksum的工作流程:
  在某些数据不超过1千行则立刻显示出;如果超过1千行,会进行分段,至于如何分段其内部有特定机制
  开启general log后在主库执行tp-table-checksum
  # pt-table-checksum --nocheck-replication-filters --no-check-binlog-format --replicate=testdb.checksums --create-replicate-table --databases=test110-h node1.test.com -P 3306 -u root -p mypass --recursion-method="processlist"
  TS ERRORSDIFFS   ROWSCHUNKS SKIPPED    TIME TABLE
  11-13T16:25:47      0      0   1015       1       0   0.048 test110.yw
  主库:
  # cat /mydata/data/node1.log
  141113 16:25:47   63 Connect   root@node1.test.com on
  63 Queryset autocommit=1
  63 QuerySELECT @@SQL_MODE
  63 QuerySHOW VARIABLES LIKE 'innodb\_lock_wait_timeout'
  63 QuerySET SESSION innodb_lock_wait_timeout=1
  63 QuerySHOW VARIABLES LIKE 'wait\_timeout'
  63 QuerySET SESSION wait_timeout=10000
  63 QuerySET @@SQL_QUOTE_SHOW_CREATE = 1/*!40101, @@SQL_MODE='NO_AUTO_VALUE_ON_ZERO,STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION'*/
  63 QuerySELECT @@server_id /*!50038 , @@hostname*/
  63 QuerySHOW VARIABLES LIKE 'version%'
  63 QuerySHOW ENGINES
  63 QuerySHOW VARIABLES LIKE 'innodb_version'
  63 QuerySELECT @@binlog_format
  #生成表后将session 会话级别的binlog格式改为语句级别格式
  63 Query/*!50108 SET @@binlog_format := 'STATEMENT'*/         #更改日志格式为STAEMENT
  63 QuerySET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ
  63 QuerySHOW VARIABLES LIKE 'wsrep_on'
  63 QuerySELECT @@SERVER_ID
  63 QuerySHOW GRANTS FOR CURRENT_USER()
  63 QuerySHOW PROCESSLIST
  63 QuerySELECT @@server_id
  63 QuerySELECT @@server_id
  63 QuerySHOW DATABASES LIKE 'testdb'
  63 QueryCREATE DATABASE IF NOT EXISTS `testdb` /* pt-table-checksum */
  63 QueryUSE `testdb`
  63 QuerySHOW TABLES FROM `testdb` LIKE 'checksums'
  #经过上面一系列检测、创建库、进入库,接下来创建checksums表
  63 QueryCREATE TABLE IF NOT EXISTS `testdb`.`checksums` (
  db             char(64)   NOT NULL,
  tbl            char(64)   NOT NULL,
  chunk          int          NOT NULL,
  chunk_time   float            NULL,
  chunk_index    varchar(200)   NULL,
  lower_boundary text             NULL,
  upper_boundary text             NULL,
  this_crc       char(40)   NOT NULL,
  this_cnt       int          NOT NULL,
  master_crc   char(40)         NULL,
  master_cnt   int            NULL,
  ts             timestamp    NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (db, tbl, chunk),
  INDEX ts_db_tbl (ts, db, tbl)
  ) ENGINE=InnoDB
  63 QuerySHOW GLOBAL STATUS LIKE 'Threads_running'
  63 QuerySELECT CONCAT(@@hostname, @@port)       #检测主机名
  63 QuerySELECT CRC32('test-string')
  63 QuerySELECT CRC32('a')
  63 QuerySELECT CRC32('a')
  63 QuerySHOW VARIABLES LIKE 'wsrep_on'
  63 QuerySHOW DATABASES
  63 QuerySHOW /*!50002 FULL*/ TABLES FROM `test110`
  63 Query/*!40101 SET @OLD_SQL_MODE := @@SQL_MODE, @@SQL_MODE := '', @OLD_QUOTE := @@SQL_QUOTE_SHOW_CREATE, @@SQL_QUOTE_SHOW_CREATE := 1 */
  63 QueryUSE `test110`
  63 QuerySHOW CREATE TABLE `test110`.`yw`
  63 Query/*!40101 SET @@SQL_MODE := @OLD_SQL_MODE, @@SQL_QUOTE_SHOW_CREATE := @OLD_QUOTE */
  63 QueryEXPLAIN SELECT * FROM `test110`.`yw` WHERE 1=1
  63 QueryUSE `testdb`
  63 QueryDELETE FROM `testdb`.`checksums` WHERE db = 'test110' AND tbl = 'yw'
  63 QueryUSE `test110`
  #而后对每张表进行以下语句
  63 QueryEXPLAIN SELECT COUNT(*) AS cnt, COALESCE(LOWER(CONV(BIT_XOR(CAST(CRC32(CONCAT_WS('#', `id`, `c1`, `c2`, `c3`, `c4`, `c5` + 0, `c6`)) AS UNSIGNED)), 10, 16)), 0) AS crc FROM `test110`.`yw` /*explain checksum table*/
  #后执行以下函数,主要是将一个列拼成了一个用#号隔开的字符串
  63 QueryREPLACE INTO `testdb`.`checksums` (db, tbl, chunk, chunk_index, lower_boundary, upper_boundary, this_cnt, this_crc) SELECT 'test110', 'yw', '1', NULL, NULL, NULL, COUNT(*) AS cnt, COALESCE(LOWER(CONV(BIT_XOR(CAST(CRC32(CONCAT_WS('#', `id`, `c1`, `c2`, `c3`, `c4`, `c5` + 0, `c6`)) AS UNSIGNED)), 10, 16)), 0) AS crc FROM `test110`.`yw` /*checksum table*/
  63 QuerySHOW WARNINGS
  63 QuerySELECT this_crc, this_cnt FROM `testdb`.`checksums` WHERE db = 'test110' AND tbl = 'yw' AND chunk = '1'
  63 QueryUPDATE `testdb`.`checksums` SET chunk_time = '0.008188', master_crc = 'dea4b11d', master_cnt = '1015' WHERE db = 'test110' AND tbl = 'yw' AND chunk = '1'
  63 QuerySHOW GLOBAL STATUS LIKE 'Threads_running'
  63 Quit
  将语句全部写到checksums表中,这样如果主库执行了crc32函数的话,那么从库再执这些列进行crc32函数相匹配,如果值不一样的话,则数据不一致
  因为语句级的复制,只是将语句传递到不同的库去执行,这样的话不管有多少个从库都会将在主库将此语句跑完而后在从库上也执行此条语句并在从库执行
  执行完后将语句全部写chechksums中,而后通过pt-table-checksum去读这个表,是否跟主库的crc32去对比,如果不一样则认为数据是不正确的,而且会分段列出,而后尝试修复
  pt-table-checksum修复的过程
  依旧将语句改为行格式,而后在主库执行replace into,其作用是主要修复主库上存在的语句,而从库没有的数据,或者主从都有主键,但是从库和主库的数据有冲突
  另外一种是从库存在数据,而主库没有数据,则在主库执行delete操作,而后将语句记录在binlog中,再将binlog同步到relay log使从库上删掉
  模拟错误
  从库执行
  mysql> set global sql_slave_skip_counter = 1;
  Query OK, 0 rows affected (0.00 sec)
  mysql> call insert_yw(1);
  Query OK, 1 row affected (0.00 sec)
  mysql> select count(*) from yw;
  +----------+
  | count(*) |
  +----------+
  |   1016 |
  +----------+
  1 row in set (0.00 sec)
  主库执行
  mysql> use test110;
  Database changed
  mysql> call insert_yw(2);
  Query OK, 1 row affected (0.02 sec)
  mysql> select count(*) from yw;
  +----------+
  | count(*) |
  +----------+
  |   1017 |
  +----------+
  1 row in set (0.00 sec)
  尝试在主库修复不一致
  # pt-table-checksum --nocheck-replication-filters --no-check-binlog-format --replicate=testdb.checksums --create-replicate-table --databases=test110-h node1.test.com -P 3306 -u root -p mypass --recursion-method="processlist"
  # 2 software updates are available:
  #   * The current version for MySQL Community Server (GPL) is 5.6.21.
  #   * The current version for MySQL Community Server (GPL) is 5.6.21.
  TS ERRORSDIFFS   ROWSCHUNKS SKIPPED    TIME TABLE
  11-13T17:03:57      0      1   1017       1       0   0.070 test110.yw
  观察general log
  # cat/mydata/data/node1.log
  141113 17:07:45   67 Connect   root@node1.test.com on
  67 Queryset autocommit=0
  67 QuerySELECT @@SQL_MODE
  67 QuerySHOW VARIABLES LIKE 'wait\_timeout'
  67 QuerySET SESSION wait_timeout=10000
  67 QuerySET @@SQL_QUOTE_SHOW_CREATE = 1/*!40101, @@SQL_MODE='NO_AUTO_VALUE_ON_ZERO,STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION'*/
  67 Query/*!40101 SET @@SQL_MODE := CONCAT(@@SQL_MODE, ',NO_AUTO_VALUE_ON_ZERO')*/
  67 QuerySHOW VARIABLES LIKE 'version%'
  67 QuerySHOW ENGINES
  67 QuerySHOW VARIABLES LIKE 'innodb_version'
  67 QuerySELECT @@binlog_format
  67 Query/*!50108 SET @@binlog_format := 'STATEMENT'*/         #依旧将语句改为行格式,而后在主库执行replace into
  67 QuerySET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ
  67 QuerySELECT CONCAT(@@hostname, @@port)
  67 Quit
  68 Connect   root@node1.test.com on
  68 Queryset autocommit=0
  68 QuerySELECT @@SQL_MODE
  68 QuerySHOW VARIABLES LIKE 'wait\_timeout'
  68 QuerySET SESSION wait_timeout=10000
  68 QuerySET @@SQL_QUOTE_SHOW_CREATE = 1/*!40101, @@SQL_MODE='NO_AUTO_VALUE_ON_ZERO,STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION'*/
  68 Query/*!40101 SET @@SQL_MODE := CONCAT(@@SQL_MODE, ',NO_AUTO_VALUE_ON_ZERO')*/
  68 QuerySHOW VARIABLES LIKE 'version%'
  68 QuerySHOW ENGINES
  68 QuerySHOW VARIABLES LIKE 'innodb_version'
  68 QuerySELECT @@binlog_format
  68 Query/*!50108 SET @@binlog_format := 'STATEMENT'*/
  68 QuerySET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ
  69 Connect   root@node1.test.com on
  69 Queryset autocommit=0
  69 QuerySELECT @@SQL_MODE
  69 QuerySHOW VARIABLES LIKE 'wait\_timeout'
  69 QuerySET SESSION wait_timeout=10000
  69 QuerySET @@SQL_QUOTE_SHOW_CREATE = 1/*!40101, @@SQL_MODE='NO_AUTO_VALUE_ON_ZERO,STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION'*/
  69 Query/*!40101 SET @@SQL_MODE := CONCAT(@@SQL_MODE, ',NO_AUTO_VALUE_ON_ZERO')*/
  69 QuerySHOW VARIABLES LIKE 'version%'
  69 QuerySHOW ENGINES
  69 QuerySHOW VARIABLES LIKE 'innodb_version'
  69 QuerySELECT @@binlog_format
  69 Query/*!50108 SET @@binlog_format := 'STATEMENT'*/
  69 QuerySET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ
  68 QuerySELECT @@SERVER_ID
  68 QuerySELECT db, tbl, CONCAT(db, '.', tbl) AS `table`, chunk, chunk_index, lower_boundary, upper_boundary, COALESCE(this_cnt-master_cnt, 0) AS cnt_diff, COALESCE(this_crcmaster_crc OR ISNULL(master_crc)ISNULL(this_crc), 0) AS crc_diff, this_cnt, master_cnt, this_crc, master_crc FROM testdb.checksums WHERE master_cntthis_cnt OR master_crcthis_crc OR ISNULL(master_crc)ISNULL(this_crc)
  68 QuerySHOW GRANTS FOR CURRENT_USER()
  68 QuerySHOW PROCESSLIST
  68 Query/*!40101 SET @OLD_SQL_MODE := @@SQL_MODE, @@SQL_MODE := '', @OLD_QUOTE := @@SQL_QUOTE_SHOW_CREATE, @@SQL_QUOTE_SHOW_CREATE := 1 */
  68 QueryUSE `test110`
  68 QuerySHOW CREATE TABLE `test110`.`yw`
  68 Query/*!40101 SET @@SQL_MODE := @OLD_SQL_MODE, @@SQL_QUOTE_SHOW_CREATE := @OLD_QUOTE */
  68 QuerySELECT table_schema, table_name FROM information_schema.key_column_usage WHERE constraint_schema='test110' AND referenced_table_name='yw'
  68 QuerySELECT MIN(`id`), MAX(`id`) FROM `test110`.`yw` FORCE INDEX (`PRIMARY`)
  68 QueryEXPLAIN SELECT * FROM `test110`.`yw` FORCE INDEX (`PRIMARY`)
  68 QuerySELECT CRC32('test-string')
  68 QuerySELECT CRC32('a')
  68 QuerySELECT CRC32('a')
  68 QueryUSE `test110`
  68 QuerySET @crc := '', @cnt := 0
  68 Querycommit
  68 QuerySTART TRANSACTION /*!40108 WITH CONSISTENT SNAPSHOT */
  68 QuerySELECT /*test110.yw:1/3*/ 0 AS chunk_num, COUNT(*) AS cnt, COALESCE(LOWER(CONV(BIT_XOR(CAST(CRC32(CONCAT_WS('#', `id`, `c1`, `c2`, `c3`, `c4`, `c5` + 0, `c6`)) AS UNSIGNED)), 10, 16)), 0) AS crc FROM `test110`.`yw` FORCE INDEX (`PRIMARY`) WHERE (`id` = 0) FOR UPDATE
  69 QuerySHOW MASTER STATUS
  68 QuerySET @crc := '', @cnt := 0
  68 Querycommit
  68 QuerySTART TRANSACTION /*!40108 WITH CONSISTENT SNAPSHOT */
  68 QuerySELECT /*test110.yw:2/3*/ 1 AS chunk_num, COUNT(*) AS cnt, COALESCE(LOWER(CONV(BIT_XOR(CAST(CRC32(CONCAT_WS('#', `id`, `c1`, `c2`, `c3`, `c4`, `c5` + 0, `c6`)) AS UNSIGNED)), 10, 16)), 0) AS crc FROM `test110`.`yw` FORCE INDEX (`PRIMARY`) WHERE (`id` > 0 AND `id` < '1001') FOR UPDATE
  69 QuerySHOW MASTER STATUS
  68 QuerySET @crc := '', @cnt := 0
  68 Querycommit
  68 QuerySTART TRANSACTION /*!40108 WITH CONSISTENT SNAPSHOT */
  68 QuerySELECT /*test110.yw:3/3*/ 2 AS chunk_num, COUNT(*) AS cnt, COALESCE(LOWER(CONV(BIT_XOR(CAST(CRC32(CONCAT_WS('#', `id`, `c1`, `c2`, `c3`, `c4`, `c5` + 0, `c6`)) AS UNSIGNED)), 10, 16)), 0) AS crc FROM `test110`.`yw` FORCE INDEX (`PRIMARY`) WHERE (`id` >= '1001') FOR UPDATE
  69 QuerySHOW MASTER STATUS
  68 QuerySET @crc := '', @cnt := 0
  68 QuerySELECT /*rows in chunk*/ `id`, `c1`, `c2`, `c3`, `c4`, `c5` + 0 AS `c5`, `c6`, CRC32(CONCAT_WS('#', `id`, `c1`, `c2`, `c3`, `c4`, `c5` + 0, `c6`)) AS __crc FROM `test110`.`yw` FORCE INDEX (`PRIMARY`) WHERE (`id` >= '1001') ORDER BY `id` FOR UPDATE
  68 QuerySELECT `id`, `c1`, `c2`, `c3`, `c4`, `c5`, `c6` FROM `test110`.`yw` WHERE `id`='1016' LIMIT 1
  #而后在主库执行replace into,其作用是主要修复主库上存在的语句,而从库没有的数据,或者主从都有主键,但是从库和主库的数据有冲突
  #另外一种是从库存在数据,而主库没有数据,则在主库执行delete操作,而后将语句记录在binlog中,再将binlog同步到relay log使从库上删掉
  68 QueryREPLACE INTO `test110`.`yw`(`id`, `c1`, `c2`, `c3`, `c4`, `c5`, `c6`) VALUES ('1016', '1', '1', '1', '1', '2014-11-13 17:02:24', 'testdbtestdbtestdb') /*percona-toolkit src_db:test110 src_tbl:yw src_dsn:h=10.12.33.58,p=...,u=root dst_db:test110 dst_tbl:yw dst_dsn:h=node2.test.com,p=...,u=root lock:1 transaction:1 changing_src:testdb.checksums replicate:testdb.checksums bidirectional:0 pid:15761 user:root host:node1.test.com*/
  68 QuerySELECT `id`, `c1`, `c2`, `c3`, `c4`, `c5`, `c6` FROM `test110`.`yw` WHERE `id`='1017' LIMIT 1
  68 QueryREPLACE INTO `test110`.`yw`(`id`, `c1`, `c2`, `c3`, `c4`, `c5`, `c6`) VALUES ('1017', '1', '0', '1', '0', '2014-11-13 17:02:24', 'testdbtestdbtestdbtestdbtestdbtestdbtestdbtestdbtestdbtestdbtestdbtestdbtestdbtestdbtestdb') /*percona-toolkit src_db:test110 src_tbl:yw src_dsn:h=10.12.33.58,p=...,u=root dst_db:test110 dst_tbl:yw dst_dsn:h=node2.test.com,p=...,u=root lock:1 transaction:1 changing_src:testdb.checksums replicate:testdb.checksums bidirectional:0 pid:15761 user:root host:node1.test.com*/
  68 Querycommit
  68 Querycommit
  68 Quit
  69 Querycommit
  69 Quit
  依旧将语句改为行格式,而后在主库执行replace into,其作用是主要修复主库上存在的语句,而从库没有的数据,或者主从都有主键,但是从库和主库的数据有冲突
  另外一种是从库存在数据,而主库没有数据,则在主库执行delete操作,而后将语句记录在binlog中,再将binlog同步到relay log使从库上删掉
  修复完毕后再次检测
  # pt-table-checksum --nocheck-replication-filters --no-check-binlog-format --replicate=testdb.checksums --create-replicate-table --databases=test110-h node1.test.com -P 3306 -u root -p mypass --recursion-method="processlist"
  TS ERRORSDIFFS   ROWSCHUNKS SKIPPED    TIME TABLE
  11-13T17:13:45      0      0   1017       1       0   0.075 test110.yw

页: [1]
查看完整版本: MySQL主从的一致性校验及修复