索引合并優(yōu)化(Index merge optimization)

MySQL在 5.0版本中引入新特性:索引合并優(yōu)化(Index merge optimization)前标,當(dāng)查詢中單張表可以使用多個索引時坡椒,同時掃描多個索引并將掃描結(jié)果進(jìn)行合并。

該特新主要應(yīng)用于以下三種場景:
1、 對OR語句求并集,如查詢SELECT * FROM TB1 WHERE c1="xxx" OR c2=""xxx"時,如果c1和c2列上分別有索引挣跋,可以按照c1和c2條件進(jìn)行查詢,再將查詢結(jié)果合并(union)操作狞换,得到最終結(jié)果
2避咆、 對AND語句求交集,如查詢SELECT * FROM TB1 WHERE c1="xxx" AND c2=""xxx"時修噪,如果c1和c2列上分別有索引查库,可以按照c1和c2條件進(jìn)行查詢,再將查詢結(jié)果取交集(intersect)操作黄琼,得到最終結(jié)果
3膨报、 對AND和OR組合語句求結(jié)果

該新特性可以在一些場景中大幅度提升查詢性能,但受限于MySQL糟糕的統(tǒng)計信息适荣,也導(dǎo)致很多場景查詢性能極差甚至導(dǎo)致數(shù)據(jù)庫崩潰现柠。
以SELECT * FROM TB1 WHERE c1="xxx" AND c2=""xxx" 為例:
1、 當(dāng)c1列和c2列選擇性較高時弛矛,按照c1和c2條件進(jìn)行查詢性能較高且返回數(shù)據(jù)集較小够吩,再對兩個數(shù)據(jù)量較小的數(shù)據(jù)集求交集的操作成本也較低,最終整個語句查詢高效丈氓;
2周循、 當(dāng)c1列或c2列選擇性較差且統(tǒng)計信息不準(zhǔn)時强法,比如整表數(shù)據(jù)量2000萬,按照c2列條件返回1500萬數(shù)據(jù)湾笛,按照c1列返回1000條數(shù)據(jù)饮怯,此時按照c2列條件進(jìn)行索引掃描+聚集索引查找的操作成本極高(可能是整表掃描的百倍消耗),對1000條數(shù)據(jù)和1500萬數(shù)據(jù)求交集的成本也極高嚎研,最終導(dǎo)致整條SQL需要消耗大量CPU和IO資源且相應(yīng)時間超長蓖墅,而如果值使用c1列的索引,查詢消耗資源較少且性能較高临扮。

由于上述的問題论矾,絕大多數(shù)的運(yùn)維團(tuán)隊都會選擇關(guān)閉該特性來避免執(zhí)行異常,京東商城也出現(xiàn)過類似案例杆勇,嚴(yán)重影響業(yè)務(wù)正常運(yùn)行贪壳。

最近系統(tǒng)中發(fā)現(xiàn)SQL執(zhí)行異常,SQL類似為:
SELECT *
FROM tb_xxxx_xxxx
WHERE yn=0
AND C1=‘123456789’
OR C2=‘123456789’;

表上C1和C2列分別建有索引蚜退,但OR條件導(dǎo)致僅掃描任何一個索引都無法得到滿足條件的全部數(shù)據(jù)闰靴,需要同時掃描兩個索引并對兩個臨時結(jié)果求并集,但由于我們關(guān)閉了Index merge特性钻注,導(dǎo)致執(zhí)行優(yōu)化器只能對表進(jìn)行全表掃描并導(dǎo)致執(zhí)行性能不佳传黄。

該問題的臨時解決辦法為開啟Index merge特性,但存在未知風(fēng)險队寇,因此我們建議修改SQL,將OR操作修改為UNION操作章姓,使得不開啟Index merge特性的情況下語句依然能使用多個索引佳遣,優(yōu)化SQL為:
SELECT *
FROM tb_xxxx_xxxx
WHERE yn=0
AND C1=‘123456789’
UNION ALL
SELECT *
FROM tb_xxxx_xxxx
WHERE yn=0
AND C2=‘123456789’
AND C1<>‘123456789’

PS:
1、在第二個SELECT語句中增加第一個SELECT語句條件的反操作凡伊,從而保證兩個SELECT 語句中沒有重復(fù)數(shù)據(jù)零渐,可以使用UNION ALL來求交集,避免UNION所帶來的排序消耗系忙。
2诵盼、在編寫SQL語句時,需要注意OR條件的書寫银还,
原SQL為:
WHERE yn=0
AND C1=‘123456789’
OR C2=‘123456789’
等價于:
WHERE (yn=0 AND C1=‘123456789’)
OR C2=‘123456789’
而實際需求要求所有返回數(shù)據(jù)滿足yn=0的條件风宁,應(yīng)正確寫為:
WHERE yn=0
AND (C1=‘123456789’
OR C2=‘123456789’)

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市蛹疯,隨后出現(xiàn)的幾起案子戒财,更是在濱河造成了極大的恐慌,老刑警劉巖捺弦,帶你破解...
    沈念sama閱讀 221,820評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件饮寞,死亡現(xiàn)場離奇詭異孝扛,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)幽崩,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,648評論 3 399
  • 文/潘曉璐 我一進(jìn)店門苦始,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人慌申,你說我怎么就攤上這事陌选。” “怎么了太示?”我有些...
    開封第一講書人閱讀 168,324評論 0 360
  • 文/不壞的土叔 我叫張陵柠贤,是天一觀的道長。 經(jīng)常有香客問我类缤,道長臼勉,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,714評論 1 297
  • 正文 為了忘掉前任餐弱,我火速辦了婚禮宴霸,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘膏蚓。我一直安慰自己瓢谢,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,724評論 6 397
  • 文/花漫 我一把揭開白布驮瞧。 她就那樣靜靜地躺著氓扛,像睡著了一般。 火紅的嫁衣襯著肌膚如雪论笔。 梳的紋絲不亂的頭發(fā)上采郎,一...
    開封第一講書人閱讀 52,328評論 1 310
  • 那天,我揣著相機(jī)與錄音狂魔,去河邊找鬼蒜埋。 笑死,一個胖子當(dāng)著我的面吹牛最楷,可吹牛的內(nèi)容都是我干的整份。 我是一名探鬼主播,決...
    沈念sama閱讀 40,897評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼籽孙,長吁一口氣:“原來是場噩夢啊……” “哼烈评!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起犯建,我...
    開封第一講書人閱讀 39,804評論 0 276
  • 序言:老撾萬榮一對情侶失蹤础倍,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后胎挎,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體沟启,經(jīng)...
    沈念sama閱讀 46,345評論 1 318
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡忆家,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,431評論 3 340
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了德迹。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片芽卿。...
    茶點(diǎn)故事閱讀 40,561評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖胳搞,靈堂內(nèi)的尸體忽然破棺而出卸例,到底是詐尸還是另有隱情,我是刑警寧澤肌毅,帶...
    沈念sama閱讀 36,238評論 5 350
  • 正文 年R本政府宣布筷转,位于F島的核電站,受9級特大地震影響悬而,放射性物質(zhì)發(fā)生泄漏呜舒。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,928評論 3 334
  • 文/蒙蒙 一笨奠、第九天 我趴在偏房一處隱蔽的房頂上張望袭蝗。 院中可真熱鬧,春花似錦般婆、人聲如沸到腥。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,417評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽乡范。三九已至,卻和暖如春啤咽,著一層夾襖步出監(jiān)牢的瞬間晋辆,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,528評論 1 272
  • 我被黑心中介騙來泰國打工闰蚕, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人连舍。 一個月前我還...
    沈念sama閱讀 48,983評論 3 376
  • 正文 我出身青樓没陡,卻偏偏與公主長得像,于是被迫代替她去往敵國和親索赏。 傳聞我的和親對象是個殘疾皇子盼玄,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,573評論 2 359

推薦閱讀更多精彩內(nèi)容