MySQL長(zhǎng)事務(wù)導(dǎo)致的Table Metadata Lock

一沸停、什么是Table Metadata Lock

在MySQL以前的版本中欢际,存在這樣一個(gè)bug:

Description:
If user1 has an active transaction on a table and then user2 drops this table, then user1 does COMMIT, then in the binlog we have something like:
DROP TABLE t;
BEGIN;
INSERT INTO t ... ;
COMMIT;
which is wrong.

MySQL官方文檔鏈接:
http://bugs.mysql.com/bug.php?id=989

這個(gè)bug大致意思是說:當(dāng)一個(gè)會(huì)話在主庫執(zhí)行DML操作還沒提交時(shí)怯伊,另一個(gè)會(huì)話對(duì)同一個(gè)對(duì)象執(zhí)行了DDL操作如drop table火俄,而由于MySQL的binlog是基于事務(wù)提交的先后順序進(jìn)行記錄的逗柴,因此在從庫上應(yīng)用時(shí)侦铜,就出現(xiàn)了先drop table夫啊,然后再向table中insert的情況函卒,導(dǎo)致從庫應(yīng)用出錯(cuò)。

因此撇眯,MySQL在5.5.3版本后引入了Metadata lock报嵌,只有在事務(wù)結(jié)束后才會(huì)釋放Metadata lock,因此在事務(wù)提交或回滾前熊榛,是無法進(jìn)行DDL操作的锚国。

MySQL官方文檔位置:
http://dev.mysql.com/doc/refman/5.6/en/metadata-locking.html


二、遇到的Metadata Lock問題

前幾天時(shí)候来候,公司的開發(fā)同事讓對(duì)一張表添加字段跷叉,由于該表數(shù)據(jù)量很大,因此使用了pt-online-change-schema工具進(jìn)行字段的添加营搅,在添加的過程中發(fā)現(xiàn)進(jìn)度非常慢云挟,通過shop processlist發(fā)現(xiàn)以及積累了大量的Metadata lock:Waiting for table metadata lock

這些語句很明顯是被添加字段的DDL所阻塞转质,但是DDL又是被誰阻塞了呢园欣?

查詢當(dāng)前正在進(jìn)行的事務(wù):

mysql> select * from information_schema.innodb_trx\G
*************************** 1. row ***************************
                    trx_id: 7202
                 trx_state: RUNNING
               trx_started: 2016-07-20 23:02:53
     trx_requested_lock_id: NULL
          trx_wait_started: NULL
                trx_weight: 0
       trx_mysql_thread_id: 52402
                 trx_query: NULL
       trx_operation_state: NULL
         trx_tables_in_use: 0
         trx_tables_locked: 0
          trx_lock_structs: 0
     trx_lock_memory_bytes: 360
           trx_rows_locked: 0
         trx_rows_modified: 0
   trx_concurrency_tickets: 0
       trx_isolation_level: READ COMMITTED
         trx_unique_checks: 1
    trx_foreign_key_checks: 1
trx_last_foreign_key_error: NULL
 trx_adaptive_hash_latched: 0
 trx_adaptive_hash_timeout: 10000
          trx_is_read_only: 0
trx_autocommit_non_locking: 0
1 row in set (0.00 sec)

發(fā)現(xiàn)一個(gè)正在運(yùn)行的事務(wù),從trx_started字段可以判斷出休蟹,該事務(wù)已經(jīng)運(yùn)行了很久沸枯,一直沒有結(jié)束日矫,看來就是這個(gè)事務(wù)阻塞了添加字段的DDL語句。

根據(jù)查詢到的trx_started時(shí)間以及trx_mysql_thread_id到MySQL的general log中查找绑榴,當(dāng)然前提是開啟了general log的功能哪轿,在general日志中對(duì)應(yīng)的時(shí)間發(fā)現(xiàn)該thread執(zhí)行了語句:

set autocommit=0;

關(guān)閉了自動(dòng)提交,再往下看翔怎,oh my god......下面居然是一堆SELECT語句窃诉!

好了,終于找到原因赤套,kill掉先:

mysql> kill 52402;
Query OK, 0 rows affected (0.00 sec)

之后便可以正常執(zhí)行下去了飘痛。


三、測(cè)試驗(yàn)證

為了進(jìn)一步確認(rèn)問題的原因并驗(yàn)證容握,進(jìn)行模擬測(cè)試:

會(huì)話1:顯式開啟事務(wù)宣脉,執(zhí)行SELECT:

mysql> begin;
Query OK, 0 rows affected (0.00 sec)

mysql> select * from test;
+----------+
| date     |
+----------+
| 20150616 |
| 20150617 |
| 20150619 |
+----------+
3 rows in set (0.00 sec)

會(huì)話2:對(duì)test表執(zhí)行DDL:

mysql> alter table test add index `date`(`date`);


語句被阻塞,show processlist查看狀態(tài):

mysql> show processlist;
+-------+-------------+-----------+------+---------+--------+-----------------------------------------------------------------------------+-------------------------------------------+
| Id    | User        | Host      | db   | Command | Time   | State                                                                       | Info                                      |
+-------+-------------+-----------+------+---------+--------+-----------------------------------------------------------------------------+-------------------------------------------+
|    16 | system user |           | NULL | Connect | 540155 | Waiting for master to send event                                            | NULL                                      |
|    17 | system user |           | NULL | Connect | 529732 | Slave has read all relay log; waiting for the slave I/O thread to update it | NULL                                      |
| 51673 | root        | localhost | test | Sleep   |     55 |                                                                             | NULL                                      |
| 51681 | root        | localhost | test | Query   |      0 | init                                                                        | show processlist                          |
| 51683 | root        | localhost | test | Query   |     29 | Waiting for table metadata lock                                             | alter table test add index `date`(`date`) |
+-------+-------------+-----------+------+---------+--------+-----------------------------------------------------------------------------+-------------------------------------------+
5 rows in set (0.00 sec)

可以看到alter table語句的狀態(tài)為Waiting for table metadata lock

會(huì)話3:對(duì)test表進(jìn)行查詢:

mysql> select * from test;


同樣被阻塞:

mysql> show processlist;
+-------+-------------+-----------+------+---------+--------+-----------------------------------------------------------------------------+-------------------------------------------+
| Id    | User        | Host      | db   | Command | Time   | State                                                                       | Info                                      |
+-------+-------------+-----------+------+---------+--------+-----------------------------------------------------------------------------+-------------------------------------------+
|    16 | system user |           | NULL | Connect | 540305 | Waiting for master to send event                                            | NULL                                      |
|    17 | system user |           | NULL | Connect | 529882 | Slave has read all relay log; waiting for the slave I/O thread to update it | NULL                                      |
| 51673 | root        | localhost | test | Sleep   |    205 |                                                                             | NULL                                      |
| 51681 | root        | localhost | test | Query   |      0 | init                                                                        | show processlist                          |
| 51683 | root        | localhost | test | Query   |    179 | Waiting for table metadata lock                                             | alter table test add index `date`(`date`) |
| 51703 | root        | localhost | test | Query   |     18 | Waiting for table metadata lock                                             | select * from test                        |
+-------+-------------+-----------+------+---------+--------+-----------------------------------------------------------------------------+-------------------------------------------+
6 rows in set (0.00 sec)

接下來我們將會(huì)話1的事務(wù)提交剔氏,效果如下:

  • 會(huì)話1:
mysql> begin;
Query OK, 0 rows affected (0.00 sec)

mysql> select * from test;
+----------+
| date     |
+----------+
| 20150616 |
| 20150617 |
| 20150619 |
+----------+
3 rows in set (0.00 sec)

mysql> commit;
Query OK, 0 rows affected (0.00 sec)
  • 會(huì)話2:
mysql> alter table test add index `date`(`date`);
Query OK, 0 rows affected (3 min 49.87 sec)
Records: 0  Duplicates: 0  Warnings: 0
  • 會(huì)話3:
mysql> select * from test;
+----------+
| date     |
+----------+
| 20150616 |
| 20150617 |
| 20150619 |
+----------+
3 rows in set (1 min 8.27 sec)
  • show processlist:
mysql> show processlist;
+-------+-------------+-----------+------+---------+--------+-----------------------------------------------------------------------------+------------------+
| Id    | User        | Host      | db   | Command | Time   | State                                                                       | Info             |
+-------+-------------+-----------+------+---------+--------+-----------------------------------------------------------------------------+------------------+
|    16 | system user |           | NULL | Connect | 540411 | Waiting for master to send event                                            | NULL             |
|    17 | system user |           | NULL | Connect | 529988 | Slave has read all relay log; waiting for the slave I/O thread to update it | NULL             |
| 51673 | root        | localhost | test | Sleep   |     55 |                                                                             | NULL             |
| 51681 | root        | localhost | test | Query   |      0 | init                                                                        | show processlist |
| 51683 | root        | localhost | test | Sleep   |    285 |                                                                             | NULL             |
| 51703 | root        | localhost | test | Sleep   |    124 |                                                                             | NULL             |
+-------+-------------+-----------+------+---------+--------+-----------------------------------------------------------------------------+------------------+
6 rows in set (0.00 sec)

可以看到塑猖,當(dāng)會(huì)話1提交事務(wù)后,會(huì)話2和會(huì)話3的語句便可以正常執(zhí)行了介蛉,由于被阻塞的原因萌庆,因此執(zhí)行時(shí)間分別為 ( 3 min 49.87 sec ) 溶褪、( 1 min 8.27 sec )


四币旧、總結(jié)

  • 對(duì)于純SELECT操作來說,完全沒有必要添加事務(wù)猿妈,MySQL的innodb是基于MVCC多版本控制吹菱,加事務(wù)沒有任何意義
  • 需要使用到事務(wù)時(shí),也要盡量縮小事務(wù)的運(yùn)行時(shí)間彭则,一個(gè)事務(wù)中不要包含太多的語句
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末鳍刷,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子俯抖,更是在濱河造成了極大的恐慌输瓜,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,602評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件芬萍,死亡現(xiàn)場(chǎng)離奇詭異尤揣,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)柬祠,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,442評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門北戏,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人漫蛔,你說我怎么就攤上這事嗜愈【啥辏” “怎么了?”我有些...
    開封第一講書人閱讀 152,878評(píng)論 0 344
  • 文/不壞的土叔 我叫張陵蠕嫁,是天一觀的道長(zhǎng)锨天。 經(jīng)常有香客問我,道長(zhǎng)剃毒,這世上最難降的妖魔是什么绍绘? 我笑而不...
    開封第一講書人閱讀 55,306評(píng)論 1 279
  • 正文 為了忘掉前任,我火速辦了婚禮迟赃,結(jié)果婚禮上陪拘,老公的妹妹穿的比我還像新娘。我一直安慰自己纤壁,他們只是感情好左刽,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,330評(píng)論 5 373
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著酌媒,像睡著了一般欠痴。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上秒咨,一...
    開封第一講書人閱讀 49,071評(píng)論 1 285
  • 那天喇辽,我揣著相機(jī)與錄音,去河邊找鬼雨席。 笑死菩咨,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的陡厘。 我是一名探鬼主播抽米,決...
    沈念sama閱讀 38,382評(píng)論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼糙置!你這毒婦竟也來了云茸?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,006評(píng)論 0 259
  • 序言:老撾萬榮一對(duì)情侶失蹤谤饭,失蹤者是張志新(化名)和其女友劉穎标捺,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體揉抵,經(jīng)...
    沈念sama閱讀 43,512評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡亡容,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,965評(píng)論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了功舀。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片萍倡。...
    茶點(diǎn)故事閱讀 38,094評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖辟汰,靈堂內(nèi)的尸體忽然破棺而出列敲,到底是詐尸還是另有隱情阱佛,我是刑警寧澤,帶...
    沈念sama閱讀 33,732評(píng)論 4 323
  • 正文 年R本政府宣布戴而,位于F島的核電站凑术,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏所意。R本人自食惡果不足惜淮逊,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,283評(píng)論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望扶踊。 院中可真熱鬧泄鹏,春花似錦、人聲如沸秧耗。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,286評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽分井。三九已至车猬,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間尺锚,已是汗流浹背珠闰。 一陣腳步聲響...
    開封第一講書人閱讀 31,512評(píng)論 1 262
  • 我被黑心中介騙來泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留瘫辩,地道東北人伏嗜。 一個(gè)月前我還...
    沈念sama閱讀 45,536評(píng)論 2 354
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像杭朱,于是被迫代替她去往敵國(guó)和親阅仔。 傳聞我的和親對(duì)象是個(gè)殘疾皇子吹散,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,828評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容