共计 9236 个字符，预计需要花费 24 分钟才能阅读完成。
背景：安装完 master 之后，修改 root 密码的时候忘了关闭 binlog，导致 update MySQL.user 表的时候记录了 binlog
开启 GTID 的复制后，直接报错：
Could not execute Update_rows event on table mysql.user; Can’t find record in ‘user’, Error_code: 1032; handler error HA_ERR_KEY_NOT_FOUND; the event’s master log binlog.000002, end_log_pos 744
网上有非常多的跳过 GTID 复制报错的文章，
当然 GTID 复制报错的原因有两种：
一种是数据不一致引起的（主库事物在从库上找不到对应数据，或者是数据主键冲突，索引冲突之类的）
另一种是主库上事物日志被清理，从库找不到主库的要重放的事物日志引起的（Got fatal error 1236 from master when reading data from binary log:）
显然这里是因为数据不一致引起的错误，最主要的是如何找到引起复制错误的事物号，然后跳过这个事物？
之前注意过这个细节问题，这次果然又遇到了。
如何找到造成复制错误对应的事物 Id？
对于 slave status 中的信息，注意如下两行
Retrieved_Gtid_Set: 6d257f5b-5e6b-11e8-b668-5254003de1b6:1-547
Executed_Gtid_Set:
Retrieved_Gtid_Set 是 slave 接收到的事务的信息，
Executed_Gtid_Set 是 slave 已经执行的 slave 的信息，这里没有任何信息，意味着复制的时候从库遇到主库的第一个事物 Id 就发生了错误
也就是说第一个事务复制就不能执行，为什么第一个事务就无法正常复制，按道理，跳过 6d257f5b-5e6b-11e8-b668-5254003de1b6:1 就可以的。
从复制报错来看，如下，说的是：Can’t find record in ‘user’ ****
Last_Errno: 1032
Last_Error: Could not execute Update_rows event on table mysql.user; Can’t find record in ‘user’, Error_code: 1032; handler error HA_ERR_KEY_NOT_FOUND;inlog.000002, end_log_pos 744
Skip_Counter: 0
Exec_Master_Log_Pos: 154
然后使用 mysqlbinlog 解析主库上的 binlog 信息
如下是执行 mysqlbinlog –no-defaults -v -v –base64-output=DECODE-ROWS binlog.000002 的结果
mysql> stop slave;
Query OK, 0 rows affected (0.00 sec)
mysql> exit
Bye
[root@tencent01 mysql8000binlog]# mysqlbinlog –no-defaults -v -v –base64-output=DECODE-ROWS binlog.000002
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/;
/*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/;
DELIMITER /*!*/;
# at 4
#180523 17:26:57 server id 8000 end_log_pos 123 CRC32 0x7a72d0c2 Start: binlog v 4, server v 5.7.20-log created 180523 17:26:57 at startup
ROLLBACK/*!*/;
# at 123
#180523 17:26:57 server id 8000 end_log_pos 154 CRC32 0x1e585b38 Previous-GTIDs
# [empty]
# at 154
#180523 17:27:08 server id 8000 end_log_pos 219 CRC32 0xcf9ed3c3 GTID last_committed=0 sequence_number=1 rbr_only=yes
/*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/;
SET @@SESSION.GTID_NEXT= ‘6d257f5b-5e6b-11e8-b668-5254003de1b6:1’/*!*/;
# at 219
#180523 17:27:08 server id 8000 end_log_pos 287 CRC32 0x5ca28a69 Query thread_id=5 exec_time=0 error_code=0
SET TIMESTAMP=1527067628/*!*/;
SET @@session.pseudo_thread_id=5/*!*/;
SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/;
SET @@session.sql_mode=1436549152/*!*/;
SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;
/*!\C utf8mb4 *//*!*/;
SET @@session.character_set_client=45,@@session.collation_connection=45,@@session.collation_server=45/*!*/;
SET @@session.lc_time_names=0/*!*/;
SET @@session.collation_database=DEFAULT/*!*/;
BEGIN
/*!*/;
# at 287
#180523 17:27:08 server id 8000 end_log_pos 459 CRC32 0xf4845b1b Table_map: `mysql`.`user` mapped to number 4
# at 459
#180523 17:27:08 server id 8000 end_log_pos 744 CRC32 0x74306d73 Update_rows: table id 4 flags: STMT_END_F
### UPDATE `mysql`.`user`
### WHERE
### @1=’localhost’ /* STRING(180) meta=65204 nullable=0 is_null=0 */
### @2=’root’ /* STRING(96) meta=65120 nullable=0 is_null=0 */
### @3=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @4=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @5=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @6=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @7=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @8=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @9=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @10=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @11=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @12=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @13=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @14=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @15=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @16=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @17=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @18=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @19=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @20=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @21=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @22=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @23=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @24=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @25=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @26=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @27=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @28=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @29=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @30=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @31=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @32=1 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @33=” /* BLOB/TEXT meta=2 nullable=0 is_null=0 */
### @34=” /* BLOB/TEXT meta=2 nullable=0 is_null=0 */
### @35=” /* BLOB/TEXT meta=2 nullable=0 is_null=0 */
### @36=0 /* INT meta=0 nullable=0 is_null=0 */
### @37=0 /* INT meta=0 nullable=0 is_null=0 */
### @38=0 /* INT meta=0 nullable=0 is_null=0 */
### @39=0 /* INT meta=0 nullable=0 is_null=0 */
### @40=’mysql_native_password’ /* STRING(192) meta=65216 nullable=0 is_null=0 */
### @41=” /* BLOB/TEXT meta=2 nullable=1 is_null=0 */
### @42=1 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @43=1527067612 /* TIMESTAMP(0) meta=0 nullable=1 is_null=0 */
### @44=NULL /* SHORTINT meta=0 nullable=1 is_null=1 */
### @45=1 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### SET
### @1=’%’ /* STRING(180) meta=65204 nullable=0 is_null=0 */
### @2=’root’ /* STRING(96) meta=65120 nullable=0 is_null=0 */
### @3=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @4=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @5=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @6=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @7=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @8=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @9=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @10=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @11=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @12=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @13=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @14=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @15=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @16=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @17=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @18=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @19=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @20=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @21=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @22=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @23=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @24=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @25=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @26=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @27=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @28=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @29=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @30=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @31=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @32=1 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @33=” /* BLOB/TEXT meta=2 nullable=0 is_null=0 */
### @34=” /* BLOB/TEXT meta=2 nullable=0 is_null=0 */
### @35=” /* BLOB/TEXT meta=2 nullable=0 is_null=0 */
### @36=0 /* INT meta=0 nullable=0 is_null=0 */
### @37=0 /* INT meta=0 nullable=0 is_null=0 */
### @38=0 /* INT meta=0 nullable=0 is_null=0 */
### @39=0 /* INT meta=0 nullable=0 is_null=0 */
### @40=’mysql_native_password’ /* STRING(192) meta=65216 nullable=0 is_null=0 */
### @41=’*81F5E21E35407D884A6CD4A731AEBFB6AF209E1B’ /* BLOB/TEXT meta=2 nullable=1 is_null=0 */
### @42=1 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
### @43=1527067612 /* TIMESTAMP(0) meta=0 nullable=1 is_null=0 */
### @44=NULL /* SHORTINT meta=0 nullable=1 is_null=1 */
### @45=1 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
# at 744
#180523 17:27:08 server id 8000 end_log_pos 813 CRC32 0xd3a07e78 Query thread_id=5 exec_time=0 error_code=0
SET TIMESTAMP=1527067628/*!*/;
COMMIT
/*!*/;
# at 813
#180523 17:27:08 server id 8000 end_log_pos 878 CRC32 0x6451705b GTID last_committed=1 sequence_number=2 rbr_only=no
SET @@SESSION.GTID_NEXT= ‘6d257f5b-5e6b-11e8-b668-5254003de1b6:2’/*!*/;
# at 878
#180523 17:27:08 server id 8000 end_log_pos 965 CRC32 0x7451238c Query thread_id=6 exec_time=0 error_code=0
SET TIMESTAMP=1527067628/*!*/;
/*!\C utf8 *//*!*/;
SET @@session.character_set_client=33,@@session.collation_connection=33,@@session.collation_server=45/*!*/;
SET @@session.time_zone=’SYSTEM’/*!*/;
flush privileges
/*!*/;
# at 965
#180523 17:27:08 server id 8000 end_log_pos 988 CRC32 0x108e7f09 Stop
SET @@SESSION.GTID_NEXT= ‘AUTOMATIC’ /* added by mysqlbinlog */ /*!*/;
DELIMITER ;
# End of log file
/*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/;
[root@tencent01 mysql8000binlog]#
不难理解，在 master 安装之后，第一时间修改了 root 的密码，那么修改 root 密码应该是第一个事务，
因此到了 slave 上，第一个事务就是无法执行的，为什么系统表（mysql.user）不允许复制事务？这一点先抛开，
如何在 binlog 中确认是哪一个事务 Id？
上面说的是 Exec_Master_Log_Pos: 154，end_log_pos 744，也就是在这个偏移量之间的事务是导致 slave 无法复制的，这个事务 Id 正式 1，也即 GTID_NEXT= ‘6d257f5b-5e6b-11e8-b668-5254003de1b6:1’
这里涉及利用 Exec_Master_Log_Pos 和 end_log_pos 找事物 Id 的问题，从名字大概能猜到是这两个偏移量之间的一个事物 Id
这两个偏移量之间的事物 Id，也就是 ‘6d257f5b-5e6b-11e8-b668-5254003de1b6:1’
笔者一开始是找 end_log_pos 744 后面的事物 Id，也即事物 2，然后在从库设置跳过，怎么也不行。
对于数据冲突之列的复制错误，至于跳过事物 Id 本身，就不复杂了。
(1)停止 slave 进程
mysql> STOP SLAVE;
(2) 设置事务号，事务号从 Retrieved_Gtid_Set 获取
在 session 里设置 gtid_next，即跳过这个 GTID
mysql> SET GTID_NEXT= ‘6d257f5b-5e6b-11e8-b668-5254003de1b6:1’
(3)设置空事物
mysql> BEGIN; COMMIT;
(4) 恢复事物号
mysql> SET SESSION GTID_NEXT = AUTOMATIC;
(5) 启动 slave 进程
mysql> START SLAVE;
跳过一个事务之后，重启 slave，恢复正常
稍等几秒钟，从库很快就追上主库了。
