pt-table-checksum 3.0.4 bug 無(wú)法檢查出不一致

環(huán)境及關(guān)鍵配置:oracle mysql 5.6.31拗引、pt-table-checksum 3.0.4

binlog_format : row

現(xiàn)象:通過(guò)工具進(jìn)行master slave 數(shù)據(jù)表的比對(duì),命令如下:

無(wú)法檢查出主從庫(kù)里表一致的情況碱工。

pt-table-checksum \

--host=172.17.0.2 \

--port=3306 \

--user=root \

--password=root \

--tables=test.sbtest1 \

--nocheck-replication-filters \

--nocreate-replicate-table \

--nocheck-binlog-format \

--replicate=percona.checksums \

--recursion-method dsn=t=percona.dsns

原因:簡(jiǎn)單說(shuō)明下工具的原理

工具會(huì)在主庫(kù)上建立表checksum注益,表中有字段this_crc,this_cnt,master_crc,master_cnt四個(gè)字段杉辙。

主庫(kù)建表會(huì)同步到從庫(kù)鼓寺,this是從庫(kù)表的一個(gè)chunk的值,master是主庫(kù)相同chunk的值法梯,對(duì)這四個(gè)字段進(jìn)行比對(duì)苔货,如果相等犀概,則數(shù)據(jù)一致。

那么兩組數(shù)據(jù)夜惭,四個(gè)值如何得到姻灶。

pt-table-checksum會(huì)先修改binlog_format=statement,再執(zhí)行兩次修改诈茧,第一次replace的方式修改this_crc,this_cnt产喉,以“變量”值在主庫(kù)執(zhí)行

REPLACE INTO `percona`.`checksums` (db, tbl, chunk, chunk_index, lower_boundary, upper_boundary, this_cnt, this_crc) SELECT 'test', 't1', '1', NULL, NULL, NULL, COUNT(*) AS cnt, COALESCE(LOWER(CONV(BIT_XOR(CAST(CRC32(CONCAT_WS('#', `t`, CONCAT(ISNULL(`t`)))) AS UNSIGNED)), 10, 16)), 0) AS crc FROM `test`.`t1` /*checksum table*/

語(yǔ)句復(fù)制到從庫(kù)執(zhí)行,如果主從的同一個(gè)chunk不一致敢会,則寫(xiě)入到值this_crc曾沈,this_cnt也會(huì)不一致

第二次update的方式修改master_crc,master_cnt

則是以master的值作為“常量”進(jìn)行更新,例如:

UPDATE `percona`.`checksums` SET chunk_time = '0.005717', master_crc = '435a7b4f', master_cnt = '3' WHERE db = 'test' AND tbl = 't1' AND chunk = '1'

則從庫(kù)會(huì)復(fù)制到主庫(kù)的值鸥昏,然后四個(gè)值兩兩比對(duì)塞俱,得到一致或者不一致。

那么為什么會(huì)出現(xiàn)無(wú)法檢查出不一致的情況呢吏垮。

因?yàn)槟_本沒(méi)有執(zhí)行set binlog_format=statement

試想下障涯,如果沒(méi)有修改復(fù)制模式,而主庫(kù)的復(fù)制模式是row或者mixed膳汪,則第一次的replace會(huì)使用row的方式進(jìn)行復(fù)制唯蝶,那么從庫(kù)表里的this和master兩組字段數(shù)據(jù)始終會(huì)保持一致。

比對(duì)pt-table-checksum工具3.0.3和3.0.4版本旅敷,發(fā)現(xiàn)問(wèn)題出在:

去掉這個(gè)if判斷修改此bug


附:

pt-table-checksum關(guān)鍵過(guò)程

引用自:http://keithlan.github.io/2016/05/25/pt_table_checksum/

master> /!50108 SET @@binlog_format := ‘STATEMENT’/ 設(shè)置binlog-format為statement

master> SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ 這是隔離級(jí)別為RR生棍,利用RR的特性讓數(shù)據(jù)在這一刻靜止颤霎,就不用加鎖了媳谁。

master> checksums表:REPLACE INTO select設(shè)置this_cnt, this_crc(傳遞到slave,這其實(shí)設(shè)置slave每個(gè)chunk的cnt,crc)友酱,算法來(lái)自:COALESCE(LOWER(CONV(BIT_XOR(CAST(CRC32(主鍵) AS UNSIGNED)), 10, 16)), 0)

slave> 當(dāng)同步追上后晴音,開(kāi)始執(zhí)行REPLACE INTO select,然后設(shè)置slave每個(gè)chunk的cnt,crc

master> checksums表:update master_cnt,master_crc 缔杉,這是設(shè)置master每個(gè)chunk的cnt锤躁,crc

slave> 當(dāng)同步追上后,開(kāi)始執(zhí)行update master_cnt,master_crc 或详,這是設(shè)置master每個(gè)chunk的cnt系羞,crc

以上,基本完成霸琴。 接下來(lái)只需要去checksums表中找 master_cnt <> this_cnt or OR master_crc <> this_crc 的記錄就行椒振。

在做查詢校驗(yàn)時(shí),select語(yǔ)句有兩個(gè)小技巧:

/*!40001 SQL_NO_CACHE */??? 不加載數(shù)據(jù)到innodb buffer里梧乘,避免大量的內(nèi)存被換出
FORCE INDEX 強(qiáng)制使用同樣的索引

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末澎迎,一起剝皮案震驚了整個(gè)濱河市庐杨,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌夹供,老刑警劉巖灵份,帶你破解...
    沈念sama閱讀 212,718評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異哮洽,居然都是意外死亡填渠,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,683評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門(mén)鸟辅,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)揭蜒,“玉大人,你說(shuō)我怎么就攤上這事剔桨√敫” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 158,207評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵洒缀,是天一觀的道長(zhǎng)瑰谜。 經(jīng)常有香客問(wèn)我,道長(zhǎng)树绩,這世上最難降的妖魔是什么萨脑? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,755評(píng)論 1 284
  • 正文 為了忘掉前任,我火速辦了婚禮饺饭,結(jié)果婚禮上渤早,老公的妹妹穿的比我還像新娘。我一直安慰自己瘫俊,他們只是感情好鹊杖,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,862評(píng)論 6 386
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著扛芽,像睡著了一般骂蓖。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上川尖,一...
    開(kāi)封第一講書(shū)人閱讀 50,050評(píng)論 1 291
  • 那天登下,我揣著相機(jī)與錄音,去河邊找鬼叮喳。 笑死被芳,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的馍悟。 我是一名探鬼主播畔濒,決...
    沈念sama閱讀 39,136評(píng)論 3 410
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼赋朦!你這毒婦竟也來(lái)了篓冲?” 一聲冷哼從身側(cè)響起李破,我...
    開(kāi)封第一講書(shū)人閱讀 37,882評(píng)論 0 268
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎壹将,沒(méi)想到半個(gè)月后嗤攻,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,330評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡诽俯,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,651評(píng)論 2 327
  • 正文 我和宋清朗相戀三年妇菱,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片暴区。...
    茶點(diǎn)故事閱讀 38,789評(píng)論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡闯团,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出仙粱,到底是詐尸還是另有隱情房交,我是刑警寧澤,帶...
    沈念sama閱讀 34,477評(píng)論 4 333
  • 正文 年R本政府宣布伐割,位于F島的核電站候味,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏隔心。R本人自食惡果不足惜白群,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,135評(píng)論 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望硬霍。 院中可真熱鬧帜慢,春花似錦、人聲如沸唯卖。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,864評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)耐床。三九已至密幔,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間撩轰,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,099評(píng)論 1 267
  • 我被黑心中介騙來(lái)泰國(guó)打工昧廷, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留堪嫂,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 46,598評(píng)論 2 362
  • 正文 我出身青樓木柬,卻偏偏與公主長(zhǎng)得像皆串,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子眉枕,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,697評(píng)論 2 351

推薦閱讀更多精彩內(nèi)容

  • 數(shù)據(jù)不一致的原因 我們平臺(tái)中上線了大量的MySQL業(yè)務(wù)恶复,但是每個(gè)MySQL業(yè)務(wù)中主從數(shù)據(jù)庫(kù)之間的一致性怜森,我們基本不...
    何約什閱讀 4,259評(píng)論 0 6
  • mysql主從復(fù)制 主從復(fù)制慨述 構(gòu)建大型,高性能應(yīng)用程序的基礎(chǔ)主服務(wù)器復(fù)制負(fù)責(zé)更新谤牡,且將更新寫(xiě)入二進(jìn)制日志文件副硅,...
    肖金光xjg閱讀 879評(píng)論 0 1
  • 【讀經(jīng)】 王上9章 【金句】 倘若你們和你們的子孫轉(zhuǎn)去不跟從我,不守我指示你們的誡命律例翅萤,去侍奉敬拜別神恐疲,我就必將...
    chanor閱讀 1,111評(píng)論 0 0
  • 大概斷斷續(xù)續(xù)用了小一個(gè)月才把這本書(shū)看完,總的來(lái)說(shuō)這本敘事說(shuō)情的經(jīng)典名著還是挺有意思套么,于是看完的當(dāng)天晚上熬夜把電...
    llpspark閱讀 266評(píng)論 0 1
  • 有時(shí)候會(huì)為了找一個(gè)軟件而頭疼不已培己,這里找那里問(wèn),就是為了找一個(gè)類似的軟件來(lái)替代胚泌,好不容易找到了省咨,還可能不支持手頭上...
    偽君子_閱讀 11,109評(píng)論 0 1