MySQL索引背后的數(shù)據(jù)結(jié)構(gòu)及算法原理

摘要

本文以MySQL數(shù)據(jù)庫為研究對象做粤,討論與數(shù)據(jù)庫索引相關(guān)的一些話題浇借。特別需要說明的是,MySQL支持諸多存儲引擎怕品,而各種存儲引擎對索引的支持也各不相同妇垢,因此MySQL數(shù)據(jù)庫支持多種索引類型,如BTree索引,哈希索引闯估,全文索引等等灼舍。為了避免混亂,本文將只關(guān)注于BTree索引涨薪,因為這是平常使用MySQL時主要打交道的索引骑素,至于哈希索引和全文索引本文暫不討論。

文章主要內(nèi)容分為三個部分尤辱。

第一部分主要從數(shù)據(jù)結(jié)構(gòu)及算法理論層面討論MySQL數(shù)據(jù)庫索引的數(shù)理基礎(chǔ)砂豌。

第二部分結(jié)合MySQL數(shù)據(jù)庫中MyISAM和InnoDB數(shù)據(jù)存儲引擎中索引的架構(gòu)實現(xiàn)討論聚集索引、非聚集索引及覆蓋索引等話題光督。

第三部分根據(jù)上面的理論基礎(chǔ)阳距,討論MySQL中高性能使用索引的策略。

數(shù)據(jù)結(jié)構(gòu)及算法基礎(chǔ)

索引的本質(zhì)

MySQL官方對索引的定義為:索引(Index)是幫助MySQL高效獲取數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)结借。提取句子主干筐摘,就可以得到索引的本質(zhì):索引是數(shù)據(jù)結(jié)構(gòu)。

我們知道船老,數(shù)據(jù)庫查詢是數(shù)據(jù)庫的最主要功能之一咖熟。我們都希望查詢數(shù)據(jù)的速度能盡可能的快,因此數(shù)據(jù)庫系統(tǒng)的設(shè)計者會從查詢算法的角度進(jìn)行優(yōu)化。最基本的查詢算法當(dāng)然是順序查找(linear search)牧氮,這種復(fù)雜度為O(n)的算法在數(shù)據(jù)量很大時顯然是糟糕的船殉,好在計算機(jī)科學(xué)的發(fā)展提供了很多更優(yōu)秀的查找算法,例如二分查找(binary search)确沸、二叉樹查找(binary tree search)等。如果稍微分析一下會發(fā)現(xiàn)俘陷,每種查找算法都只能應(yīng)用于特定的數(shù)據(jù)結(jié)構(gòu)之上罗捎,例如二分查找要求被檢索數(shù)據(jù)有序,而二叉樹查找只能應(yīng)用于二叉查找樹上拉盾,但是數(shù)據(jù)本身的組織結(jié)構(gòu)不可能完全滿足各種數(shù)據(jù)結(jié)構(gòu)(例如桨菜,理論上不可能同時將兩列都按順序進(jìn)行組織),所以捉偏,在數(shù)據(jù)之外倒得,數(shù)據(jù)庫系統(tǒng)還維護(hù)著滿足特定查找算法的數(shù)據(jù)結(jié)構(gòu),這些數(shù)據(jù)結(jié)構(gòu)以某種方式引用(指向)數(shù)據(jù)夭禽,這樣就可以在這些數(shù)據(jù)結(jié)構(gòu)上實現(xiàn)高級查找算法霞掺。這種數(shù)據(jù)結(jié)構(gòu),就是索引驻粟。

看一個例子:

圖1

圖1展示了一種可能的索引方式根悼。左邊是數(shù)據(jù)表凶异,一共有兩列七條記錄,最左邊的是數(shù)據(jù)記錄的物理地址(注意邏輯上相鄰的記錄在磁盤上也并不是一定物理相鄰的)挤巡。為了加快Col2的查找剩彬,可以維護(hù)一個右邊所示的二叉查找樹,每個節(jié)點分別包含索引鍵值和一個指向?qū)?yīng)數(shù)據(jù)記錄物理地址的指針矿卑,這樣就可以運用二叉查找在O(log2n)O(log2n)的復(fù)雜度內(nèi)獲取到相應(yīng)數(shù)據(jù)喉恋。

雖然這是一個貨真價實的索引,但是實際的數(shù)據(jù)庫系統(tǒng)幾乎沒有使用二叉查找樹或其進(jìn)化品種紅黑樹(red-black tree)實現(xiàn)的母廷,原因會在下文介紹轻黑。

B-Tree和B+Tree

目前大部分?jǐn)?shù)據(jù)庫系統(tǒng)及文件系統(tǒng)都采用B-Tree或其變種B+Tree作為索引結(jié)構(gòu),在本文的下一節(jié)會結(jié)合存儲器原理及計算機(jī)存取原理討論為什么B-Tree和B+Tree在被如此廣泛用于索引琴昆,這一節(jié)先單純從數(shù)據(jù)結(jié)構(gòu)角度描述它們氓鄙。

B-Tree

為了描述B-Tree,首先定義一條數(shù)據(jù)記錄為一個二元組[key, data]业舍,key為記錄的鍵值抖拦,對于不同數(shù)據(jù)記錄,key是互不相同的舷暮;data為數(shù)據(jù)記錄除key外的數(shù)據(jù)态罪。那么B-Tree是滿足下列條件的數(shù)據(jù)結(jié)構(gòu):

d為大于1的一個正整數(shù),稱為B-Tree的度下面。

h為一個正整數(shù)复颈,稱為B-Tree的高度。

每個非葉子節(jié)點由n-1個key和n個指針組成沥割,其中d<=n<=2d耗啦。

每個葉子節(jié)點最少包含一個key和兩個指針,最多包含2d-1個key和2d個指針驯遇,葉節(jié)點的指針均為null 芹彬。

所有葉節(jié)點具有相同的深度蓄髓,等于樹高h(yuǎn)叉庐。

key和指針互相間隔,節(jié)點兩端是指針会喝。

一個節(jié)點中的key從左到右非遞減排列陡叠。

所有節(jié)點組成樹結(jié)構(gòu)。

每個指針要么為null肢执,要么指向另外一個節(jié)點枉阵。

如果某個指針在節(jié)點node最左邊且不為null,則其指向節(jié)點的所有key小于v(key1)v(key1)预茄,其中v(key1)v(key1)為node的第一個key的值兴溜。

如果某個指針在節(jié)點node最右邊且不為null侦厚,則其指向節(jié)點的所有key大于v(keym)v(keym),其中v(keym)v(keym)為node的最后一個key的值拙徽。

如果某個指針在節(jié)點node的左右相鄰key分別是keyikeyi和keyi+1keyi+1且不為null刨沦,則其指向節(jié)點的所有key小于v(keyi+1)v(keyi+1)且大于v(keyi)v(keyi)。

圖2是一個d=2的B-Tree示意圖膘怕。

圖2

由于B-Tree的特性想诅,在B-Tree中按key檢索數(shù)據(jù)的算法非常直觀:首先從根節(jié)點進(jìn)行二分查找,如果找到則返回對應(yīng)節(jié)點的data岛心,否則對相應(yīng)區(qū)間的指針指向的節(jié)點遞歸進(jìn)行查找来破,直到找到節(jié)點或找到null指針,前者查找成功忘古,后者查找失敗徘禁。B-Tree上查找算法的偽代碼如下:

BTree_Search(node, key) {

? ? if(node == null) return null;

? ? foreach(node.key)

? ? {

? ? ? ? if(node.key[i] == key) return node.data[i];

? ? ? ? ? ? if(node.key[i] > key) return BTree_Search(point[i]->node);

? ? }

? ? return BTree_Search(point[i+1]->node);

}

data = BTree_Search(root, my_key);

關(guān)于B-Tree有一系列有趣的性質(zhì),例如一個度為d的B-Tree髓堪,設(shè)其索引N個key晌坤,則其樹高h(yuǎn)的上限為logd((N+1)/2)logd((N+1)/2),檢索一個key旦袋,其查找節(jié)點個數(shù)的漸進(jìn)復(fù)雜度為O(logdN)O(logdN)骤菠。從這點可以看出,B-Tree是一個非常有效率的索引數(shù)據(jù)結(jié)構(gòu)疤孕。

另外商乎,由于插入刪除新的數(shù)據(jù)記錄會破壞B-Tree的性質(zhì),因此在插入刪除時祭阀,需要對樹進(jìn)行一個分裂鹉戚、合并、轉(zhuǎn)移等操作以保持B-Tree性質(zhì)专控,本文不打算完整討論B-Tree這些內(nèi)容抹凳,因為已經(jīng)有許多資料詳細(xì)說明了B-Tree的數(shù)學(xué)性質(zhì)及插入刪除算法,有興趣的朋友可以在本文末的參考文獻(xiàn)一欄找到相應(yīng)的資料進(jìn)行閱讀伦腐。

B+Tree

B-Tree有許多變種赢底,其中最常見的是B+Tree,例如MySQL就普遍使用B+Tree實現(xiàn)其索引結(jié)構(gòu)柏蘑。

與B-Tree相比幸冻,B+Tree有以下不同點:

每個節(jié)點的指針上限為2d而不是2d+1。

內(nèi)節(jié)點不存儲data咳焚,只存儲key洽损;葉子節(jié)點不存儲指針。

圖3是一個簡單的B+Tree示意革半。

圖3

由于并不是所有節(jié)點都具有相同的域碑定,因此B+Tree中葉節(jié)點和內(nèi)節(jié)點一般大小不同流码。這點與B-Tree不同,雖然B-Tree中不同節(jié)點存放的key和指針可能數(shù)量不一致延刘,但是每個節(jié)點的域和上限是一致的旅掂,所以在實現(xiàn)中B-Tree往往對每個節(jié)點申請同等大小的空間。

一般來說访娶,B+Tree比B-Tree更適合實現(xiàn)外存儲索引結(jié)構(gòu)商虐,具體原因與外存儲器原理及計算機(jī)存取原理有關(guān),將在下面討論崖疤。

帶有順序訪問指針的B+Tree

一般在數(shù)據(jù)庫系統(tǒng)或文件系統(tǒng)中使用的B+Tree結(jié)構(gòu)都在經(jīng)典B+Tree的基礎(chǔ)上進(jìn)行了優(yōu)化秘车,增加了順序訪問指針。

圖4

如圖4所示劫哼,在B+Tree的每個葉子節(jié)點增加一個指向相鄰葉子節(jié)點的指針叮趴,就形成了帶有順序訪問指針的B+Tree。做這個優(yōu)化的目的是為了提高區(qū)間訪問的性能权烧,例如圖4中如果要查詢key為從18到49的所有數(shù)據(jù)記錄眯亦,當(dāng)找到18后,只需順著節(jié)點和指針順序遍歷就可以一次性訪問到所有數(shù)據(jù)節(jié)點般码,極大提到了區(qū)間查詢效率妻率。

這一節(jié)對B-Tree和B+Tree進(jìn)行了一個簡單的介紹,下一節(jié)結(jié)合存儲器存取原理介紹為什么目前B+Tree是數(shù)據(jù)庫系統(tǒng)實現(xiàn)索引的首選數(shù)據(jù)結(jié)構(gòu)板祝。

為什么使用B-Tree(B+Tree)

上文說過宫静,紅黑樹等數(shù)據(jù)結(jié)構(gòu)也可以用來實現(xiàn)索引,但是文件系統(tǒng)及數(shù)據(jù)庫系統(tǒng)普遍采用B-/+Tree作為索引結(jié)構(gòu)券时,這一節(jié)將結(jié)合計算機(jī)組成原理相關(guān)知識討論B-/+Tree作為索引的理論基礎(chǔ)孤里。

一般來說,索引本身也很大橘洞,不可能全部存儲在內(nèi)存中捌袜,因此索引往往以索引文件的形式存儲的磁盤上。這樣的話炸枣,索引查找過程中就要產(chǎn)生磁盤I/O消耗虏等,相對于內(nèi)存存取,I/O存取的消耗要高幾個數(shù)量級抛虏,所以評價一個數(shù)據(jù)結(jié)構(gòu)作為索引的優(yōu)劣最重要的指標(biāo)就是在查找過程中磁盤I/O操作次數(shù)的漸進(jìn)復(fù)雜度博其。換句話說套才,索引的結(jié)構(gòu)組織要盡量減少查找過程中磁盤I/O的存取次數(shù)迂猴。下面先介紹內(nèi)存和磁盤存取原理,然后再結(jié)合這些原理分析B-/+Tree作為索引的效率背伴。

主存存取原理

目前計算機(jī)使用的主存基本都是隨機(jī)讀寫存儲器(RAM)沸毁,現(xiàn)代RAM的結(jié)構(gòu)和存取原理比較復(fù)雜峰髓,這里本文拋卻具體差別,抽象出一個十分簡單的存取模型來說明RAM的工作原理息尺。

圖5

從抽象角度看携兵,主存是一系列的存儲單元組成的矩陣,每個存儲單元存儲固定大小的數(shù)據(jù)搂誉。每個存儲單元有唯一的地址徐紧,現(xiàn)代主存的編址規(guī)則比較復(fù)雜,這里將其簡化成一個二維地址:通過一個行地址和一個列地址可以唯一定位到一個存儲單元炭懊。圖5展示了一個4 x 4的主存模型并级。

主存的存取過程如下:

當(dāng)系統(tǒng)需要讀取主存時,則將地址信號放到地址總線上傳給主存侮腹,主存讀到地址信號后嘲碧,解析信號并定位到指定存儲單元,然后將此存儲單元數(shù)據(jù)放到數(shù)據(jù)總線上父阻,供其它部件讀取愈涩。

寫主存的過程類似,系統(tǒng)將要寫入單元地址和數(shù)據(jù)分別放在地址總線和數(shù)據(jù)總線上加矛,主存讀取兩個總線的內(nèi)容履婉,做相應(yīng)的寫操作。

這里可以看出斟览,主存存取的時間僅與存取次數(shù)呈線性關(guān)系谐鼎,因為不存在機(jī)械操作,兩次存取的數(shù)據(jù)的“距離”不會對時間有任何影響趣惠,例如狸棍,先取A0再取A1和先取A0再取D3的時間消耗是一樣的。

磁盤存取原理

上文說過味悄,索引一般以文件形式存儲在磁盤上草戈,索引檢索需要磁盤I/O操作。與主存不同侍瑟,磁盤I/O存在機(jī)械運動耗費唐片,因此磁盤I/O的時間消耗是巨大的。

圖6是磁盤的整體結(jié)構(gòu)示意圖涨颜。

圖6

一個磁盤由大小相同且同軸的圓形盤片組成费韭,磁盤可以轉(zhuǎn)動(各個磁盤必須同步轉(zhuǎn)動)。在磁盤的一側(cè)有磁頭支架庭瑰,磁頭支架固定了一組磁頭星持,每個磁頭負(fù)責(zé)存取一個磁盤的內(nèi)容。磁頭不能轉(zhuǎn)動弹灭,但是可以沿磁盤半徑方向運動(實際是斜切向運動)督暂,每個磁頭同一時刻也必須是同軸的揪垄,即從正上方向下看,所有磁頭任何時候都是重疊的(不過目前已經(jīng)有多磁頭獨立技術(shù)逻翁,可不受此限制)饥努。

圖7是磁盤結(jié)構(gòu)的示意圖。

圖7

盤片被劃分成一系列同心環(huán)八回,圓心是盤片中心酷愧,每個同心環(huán)叫做一個磁道,所有半徑相同的磁道組成一個柱面缠诅。磁道被沿半徑線劃分成一個個小的段伟墙,每個段叫做一個扇區(qū),每個扇區(qū)是磁盤的最小存儲單元滴铅。為了簡單起見戳葵,我們下面假設(shè)磁盤只有一個盤片和一個磁頭。

當(dāng)需要從磁盤讀取數(shù)據(jù)時汉匙,系統(tǒng)會將數(shù)據(jù)邏輯地址傳給磁盤拱烁,磁盤的控制電路按照尋址邏輯將邏輯地址翻譯成物理地址,即確定要讀的數(shù)據(jù)在哪個磁道噩翠,哪個扇區(qū)戏自。為了讀取這個扇區(qū)的數(shù)據(jù),需要將磁頭放到這個扇區(qū)上方伤锚,為了實現(xiàn)這一點擅笔,磁頭需要移動對準(zhǔn)相應(yīng)磁道,這個過程叫做尋道屯援,所耗費時間叫做尋道時間猛们,然后磁盤旋轉(zhuǎn)將目標(biāo)扇區(qū)旋轉(zhuǎn)到磁頭下,這個過程耗費的時間叫做旋轉(zhuǎn)時間狞洋。

局部性原理與磁盤預(yù)讀

由于存儲介質(zhì)的特性弯淘,磁盤本身存取就比主存慢很多,再加上機(jī)械運動耗費吉懊,磁盤的存取速度往往是主存的幾百分分之一庐橙,因此為了提高效率,要盡量減少磁盤I/O借嗽。為了達(dá)到這個目的态鳖,磁盤往往不是嚴(yán)格按需讀取,而是每次都會預(yù)讀恶导,即使只需要一個字節(jié)浆竭,磁盤也會從這個位置開始,順序向后讀取一定長度的數(shù)據(jù)放入內(nèi)存。這樣做的理論依據(jù)是計算機(jī)科學(xué)中著名的局部性原理:

當(dāng)一個數(shù)據(jù)被用到時兆蕉,其附近的數(shù)據(jù)也通常會馬上被使用羽戒。

程序運行期間所需要的數(shù)據(jù)通常比較集中缤沦。

由于磁盤順序讀取的效率很高(不需要尋道時間虎韵,只需很少的旋轉(zhuǎn)時間),因此對于具有局部性的程序來說缸废,預(yù)讀可以提高I/O效率包蓝。

預(yù)讀的長度一般為頁(page)的整倍數(shù)。頁是計算機(jī)管理存儲器的邏輯塊企量,硬件及操作系統(tǒng)往往將主存和磁盤存儲區(qū)分割為連續(xù)的大小相等的塊测萎,每個存儲塊稱為一頁(在許多操作系統(tǒng)中,頁得大小通常為4k)届巩,主存和磁盤以頁為單位交換數(shù)據(jù)硅瞧。當(dāng)程序要讀取的數(shù)據(jù)不在主存中時,會觸發(fā)一個缺頁異常恕汇,此時系統(tǒng)會向磁盤發(fā)出讀盤信號腕唧,磁盤會找到數(shù)據(jù)的起始位置并向后連續(xù)讀取一頁或幾頁載入內(nèi)存中,然后異常返回瘾英,程序繼續(xù)運行枣接。

B-/+Tree索引的性能分析

到這里終于可以分析B-/+Tree索引的性能了。

上文說過一般使用磁盤I/O次數(shù)評價索引結(jié)構(gòu)的優(yōu)劣缺谴。先從B-Tree分析但惶,根據(jù)B-Tree的定義,可知檢索一次最多需要訪問h個節(jié)點湿蛔。數(shù)據(jù)庫系統(tǒng)的設(shè)計者巧妙利用了磁盤預(yù)讀原理膀曾,將一個節(jié)點的大小設(shè)為等于一個頁,這樣每個節(jié)點只需要一次I/O就可以完全載入阳啥。為了達(dá)到這個目的妓肢,在實際實現(xiàn)B-Tree還需要使用如下技巧:

每次新建節(jié)點時,直接申請一個頁的空間苫纤,這樣就保證一個節(jié)點物理上也存儲在一個頁里碉钠,加之計算機(jī)存儲分配都是按頁對齊的,就實現(xiàn)了一個node只需一次I/O卷拘。

B-Tree中一次檢索最多需要h-1次I/O(根節(jié)點常駐內(nèi)存)喊废,漸進(jìn)復(fù)雜度為O(h)=O(logdN)O(h)=O(logdN)。一般實際應(yīng)用中栗弟,出度d是非常大的數(shù)字污筷,通常超過100,因此h非常小(通常不超過3)瓣蛀。

綜上所述陆蟆,用B-Tree作為索引結(jié)構(gòu)效率是非常高的。

而紅黑樹這種結(jié)構(gòu)惋增,h明顯要深的多叠殷。由于邏輯上很近的節(jié)點(父子)物理上可能很遠(yuǎn),無法利用局部性诈皿,所以紅黑樹的I/O漸進(jìn)復(fù)雜度也為O(h)林束,效率明顯比B-Tree差很多。

上文還說過稽亏,B+Tree更適合外存索引壶冒,原因和內(nèi)節(jié)點出度d有關(guān)。從上面分析可以看到截歉,d越大索引的性能越好胖腾,而出度的上限取決于節(jié)點內(nèi)key和data的大小:

dmax=floor(pagesize/(keysize+datasize+pointsize))dmax=floor(pagesize/(keysize+datasize+pointsize))

floor表示向下取整瘪松。由于B+Tree內(nèi)節(jié)點去掉了data域咸作,因此可以擁有更大的出度,擁有更好的性能凉逛。

這一章從理論角度討論了與索引相關(guān)的數(shù)據(jù)結(jié)構(gòu)與算法問題性宏,下一章將討論B+Tree是如何具體實現(xiàn)為MySQL中索引,同時將結(jié)合MyISAM和InnDB存儲引擎介紹非聚集索引和聚集索引兩種不同的索引實現(xiàn)形式状飞。

MySQL索引實現(xiàn)

在MySQL中毫胜,索引屬于存儲引擎級別的概念,不同存儲引擎對索引的實現(xiàn)方式是不同的诬辈,本文主要討論MyISAM和InnoDB兩個存儲引擎的索引實現(xiàn)方式酵使。

MyISAM索引實現(xiàn)

MyISAM引擎使用B+Tree作為索引結(jié)構(gòu),葉節(jié)點的data域存放的是數(shù)據(jù)記錄的地址焙糟。下圖是MyISAM索引的原理圖:

圖8

這里設(shè)表一共有三列口渔,假設(shè)我們以Col1為主鍵,則圖8是一個MyISAM表的主索引(Primary key)示意穿撮∪甭觯可以看出MyISAM的索引文件僅僅保存數(shù)據(jù)記錄的地址。在MyISAM中悦穿,主索引和輔助索引(Secondary key)在結(jié)構(gòu)上沒有任何區(qū)別攻礼,只是主索引要求key是唯一的,而輔助索引的key可以重復(fù)栗柒。如果我們在Col2上建立一個輔助索引礁扮,則此索引的結(jié)構(gòu)如下圖所示:

圖9

同樣也是一顆B+Tree,data域保存數(shù)據(jù)記錄的地址。因此太伊,MyISAM中索引檢索的算法為首先按照B+Tree搜索算法搜索索引雇锡,如果指定的Key存在,則取出其data域的值僚焦,然后以data域的值為地址锰提,讀取相應(yīng)數(shù)據(jù)記錄。

MyISAM的索引方式也叫做“非聚集”的叠赐,之所以這么稱呼是為了與InnoDB的聚集索引區(qū)分欲账。

InnoDB索引實現(xiàn)

雖然InnoDB也使用B+Tree作為索引結(jié)構(gòu)屡江,但具體實現(xiàn)方式卻與MyISAM截然不同芭概。

第一個重大區(qū)別是InnoDB的數(shù)據(jù)文件本身就是索引文件。從上文知道惩嘉,MyISAM索引文件和數(shù)據(jù)文件是分離的罢洲,索引文件僅保存數(shù)據(jù)記錄的地址。而在InnoDB中文黎,表數(shù)據(jù)文件本身就是按B+Tree組織的一個索引結(jié)構(gòu)惹苗,這棵樹的葉節(jié)點data域保存了完整的數(shù)據(jù)記錄。這個索引的key是數(shù)據(jù)表的主鍵耸峭,因此InnoDB表數(shù)據(jù)文件本身就是主索引桩蓉。

圖10

圖10是InnoDB主索引(同時也是數(shù)據(jù)文件)的示意圖,可以看到葉節(jié)點包含了完整的數(shù)據(jù)記錄劳闹。這種索引叫做聚集索引院究。因為InnoDB的數(shù)據(jù)文件本身要按主鍵聚集,所以InnoDB要求表必須有主鍵(MyISAM可以沒有)本涕,如果沒有顯式指定业汰,則MySQL系統(tǒng)會自動選擇一個可以唯一標(biāo)識數(shù)據(jù)記錄的列作為主鍵,如果不存在這種列菩颖,則MySQL自動為InnoDB表生成一個隱含字段作為主鍵样漆,這個字段長度為6個字節(jié),類型為長整形晦闰。

第二個與MyISAM索引的不同是InnoDB的輔助索引data域存儲相應(yīng)記錄主鍵的值而不是地址放祟。換句話說,InnoDB的所有輔助索引都引用主鍵作為data域呻右。例如跪妥,圖11為定義在Col3上的一個輔助索引:

圖11

這里以英文字符的ASCII碼作為比較準(zhǔn)則。聚集索引這種實現(xiàn)方式使得按主鍵的搜索十分高效窿冯,但是輔助索引搜索需要檢索兩遍索引:首先檢索輔助索引獲得主鍵骗奖,然后用主鍵到主索引中檢索獲得記錄。

了解不同存儲引擎的索引實現(xiàn)方式對于正確使用和優(yōu)化索引都非常有幫助,例如知道了InnoDB的索引實現(xiàn)后执桌,就很容易明白為什么不建議使用過長的字段作為主鍵鄙皇,因為所有輔助索引都引用主索引,過長的主索引會令輔助索引變得過大仰挣。再例如伴逸,用非單調(diào)的字段作為主鍵在InnoDB中不是個好主意,因為InnoDB數(shù)據(jù)文件本身是一顆B+Tree膘壶,非單調(diào)的主鍵會造成在插入新記錄時數(shù)據(jù)文件為了維持B+Tree的特性而頻繁的分裂調(diào)整错蝴,十分低效,而使用自增字段作為主鍵則是一個很好的選擇颓芭。

下一章將具體討論這些與索引有關(guān)的優(yōu)化策略顷锰。

索引使用策略及優(yōu)化

MySQL的優(yōu)化主要分為結(jié)構(gòu)優(yōu)化(Scheme optimization)和查詢優(yōu)化(Query optimization)。本章討論的高性能索引策略主要屬于結(jié)構(gòu)優(yōu)化范疇亡问。本章的內(nèi)容完全基于上文的理論基礎(chǔ)漩符,實際上一旦理解了索引背后的機(jī)制利诺,那么選擇高性能的策略就變成了純粹的推理,并且可以理解這些策略背后的邏輯。

示例數(shù)據(jù)庫

為了討論索引策略蚂维,需要一個數(shù)據(jù)量不算小的數(shù)據(jù)庫作為示例陶耍。本文選用MySQL官方文檔中提供的示例數(shù)據(jù)庫之一:employees赏陵。這個數(shù)據(jù)庫關(guān)系復(fù)雜度適中屑柔,且數(shù)據(jù)量較大。下圖是這個數(shù)據(jù)庫的E-R關(guān)系圖(引用自MySQL官方手冊):

圖12

MySQL官方文檔中關(guān)于此數(shù)據(jù)庫的頁面為http://dev.mysql.com/doc/employee/en/employee.html锈死。里面詳細(xì)介紹了此數(shù)據(jù)庫贫堰,并提供了下載地址和導(dǎo)入方法,如果有興趣導(dǎo)入此數(shù)據(jù)庫到自己的MySQL可以參考文中內(nèi)容馅精。

最左前綴原理與相關(guān)優(yōu)化

高效使用索引的首要條件是知道什么樣的查詢會使用到索引严嗜,這個問題和B+Tree中的“最左前綴原理”有關(guān),下面通過例子說明最左前綴原理洲敢。

這里先說一下聯(lián)合索引的概念漫玄。在上文中,我們都是假設(shè)索引只引用了單個的列压彭,實際上睦优,MySQL中的索引可以以一定順序引用多個列,這種索引叫做聯(lián)合索引壮不,一般的汗盘,一個聯(lián)合索引是一個有序元組<a1, a2, …, an>,其中各個元素均為數(shù)據(jù)表的一列询一,實際上要嚴(yán)格定義索引需要用到關(guān)系代數(shù)隐孽,但是這里我不想討論太多關(guān)系代數(shù)的話題癌椿,因為那樣會顯得很枯燥,所以這里就不再做嚴(yán)格定義菱阵。另外踢俄,單列索引可以看成聯(lián)合索引元素數(shù)為1的特例。

以employees.titles表為例晴及,下面先查看其上都有哪些索引:

SHOW INDEX FROM employees.titles;

+--------+------------+----------+--------------+-------------+-----------+-------------+------+------------+

| Table? | Non_unique | Key_name | Seq_in_index | Column_name | Collation | Cardinality | Null | Index_type |

+--------+------------+----------+--------------+-------------+-----------+-------------+------+------------+

| titles |? ? ? ? ? 0 | PRIMARY? |? ? ? ? ? ? 1 | emp_no? ? ? | A? ? ? ? |? ? ? ? NULL |? ? ? | BTREE? ? ? |

| titles |? ? ? ? ? 0 | PRIMARY? |? ? ? ? ? ? 2 | title? ? ? | A? ? ? ? |? ? ? ? NULL |? ? ? | BTREE? ? ? |

| titles |? ? ? ? ? 0 | PRIMARY? |? ? ? ? ? ? 3 | from_date? | A? ? ? ? |? ? ? 443308 |? ? ? | BTREE? ? ? |

| titles |? ? ? ? ? 1 | emp_no? |? ? ? ? ? ? 1 | emp_no? ? ? | A? ? ? ? |? ? ? 443308 |? ? ? | BTREE? ? ? |

+--------+------------+----------+--------------+-------------+-----------+-------------+------+------------+

從結(jié)果中可以到titles表的主索引為<emp_no, title, from_date>都办,還有一個輔助索引<emp_no>。為了避免多個索引使事情變復(fù)雜(MySQL的SQL優(yōu)化器在多索引時行為比較復(fù)雜)虑稼,這里我們將輔助索引drop掉:

ALTER TABLE employees.titles DROP INDEX emp_no;

這樣就可以專心分析索引PRIMARY的行為了琳钉。

情況一:全列匹配。

EXPLAIN SELECT * FROM employees.titles WHERE emp_no='10001' AND title='Senior Engineer' AND from_date='1986-06-26';

+----+-------------+--------+-------+---------------+---------+---------+-------------------+------+-------+

| id | select_type | table? | type? | possible_keys | key? ? | key_len | ref? ? ? ? ? ? ? | rows | Extra |

+----+-------------+--------+-------+---------------+---------+---------+-------------------+------+-------+

|? 1 | SIMPLE? ? ? | titles | const | PRIMARY? ? ? | PRIMARY | 59? ? ? | const,const,const |? ? 1 |? ? ? |

+----+-------------+--------+-------+---------------+---------+---------+-------------------+------+-------+

很明顯蛛倦,當(dāng)按照索引中所有列進(jìn)行精確匹配(這里精確匹配指“=”或“IN”匹配)時歌懒,索引可以被用到。這里有一點需要注意胰蝠,理論上索引對順序是敏感的歼培,但是由于MySQL的查詢優(yōu)化器會自動調(diào)整where子句的條件順序以使用適合的索引震蒋,例如我們將where中的條件順序顛倒:

EXPLAIN SELECT * FROM employees.titles WHERE from_date='1986-06-26' AND emp_no='10001' AND title='Senior Engineer';

+----+-------------+--------+-------+---------------+---------+---------+-------------------+------+-------+

| id | select_type | table? | type? | possible_keys | key? ? | key_len | ref? ? ? ? ? ? ? | rows | Extra |

+----+-------------+--------+-------+---------------+---------+---------+-------------------+------+-------+

|? 1 | SIMPLE? ? ? | titles | const | PRIMARY? ? ? | PRIMARY | 59? ? ? | const,const,const |? ? 1 |? ? ? |

+----+-------------+--------+-------+---------------+---------+---------+-------------------+------+-------+

效果是一樣的茸塞。

情況二:最左前綴匹配。

EXPLAIN SELECT * FROM employees.titles WHERE emp_no='10001';

+----+-------------+--------+------+---------------+---------+---------+-------+------+-------+

| id | select_type | table? | type | possible_keys | key? ? | key_len | ref? | rows | Extra |

+----+-------------+--------+------+---------------+---------+---------+-------+------+-------+

|? 1 | SIMPLE? ? ? | titles | ref? | PRIMARY? ? ? | PRIMARY | 4? ? ? | const |? ? 1 |? ? ? |

+----+-------------+--------+------+---------------+---------+---------+-------+------+-------+

當(dāng)查詢條件精確匹配索引的左邊連續(xù)一個或幾個列時查剖,如<emp_no>或<emp_no, title>钾虐,所以可以被用到,但是只能用到一部分笋庄,即條件所組成的最左前綴效扫。上面的查詢從分析結(jié)果看用到了PRIMARY索引,但是key_len為4直砂,說明只用到了索引的第一列前綴菌仁。

情況三:查詢條件用到了索引中列的精確匹配,但是中間某個條件未提供静暂。

EXPLAIN SELECT * FROM employees.titles WHERE emp_no='10001' AND from_date='1986-06-26';

+----+-------------+--------+------+---------------+---------+---------+-------+------+-------------+

| id | select_type | table? | type | possible_keys | key? ? | key_len | ref? | rows | Extra? ? ? |

+----+-------------+--------+------+---------------+---------+---------+-------+------+-------------+

|? 1 | SIMPLE? ? ? | titles | ref? | PRIMARY? ? ? | PRIMARY | 4? ? ? | const |? ? 1 | Using where |

+----+-------------+--------+------+---------------+---------+---------+-------+------+-------------+

此時索引使用情況和情況二相同济丘,因為title未提供,所以查詢只用到了索引的第一列洽蛀,而后面的from_date雖然也在索引中摹迷,但是由于title不存在而無法和左前綴連接,因此需要對結(jié)果進(jìn)行掃描過濾from_date(這里由于emp_no唯一郊供,所以不存在掃描)峡碉。如果想讓from_date也使用索引而不是where過濾,可以增加一個輔助索引<emp_no, from_date>驮审,此時上面的查詢會使用這個索引鲫寄。除此之外吉执,還可以使用一種稱之為“隔離列”的優(yōu)化方法,將emp_no與from_date之間的“坑”填上地来。

首先我們看下title一共有幾種不同的值:

SELECT DISTINCT(title) FROM employees.titles;

+--------------------+

| title? ? ? ? ? ? ? |

+--------------------+

| Senior Engineer? ? |

| Staff? ? ? ? ? ? ? |

| Engineer? ? ? ? ? |

| Senior Staff? ? ? |

| Assistant Engineer |

| Technique Leader? |

| Manager? ? ? ? ? ? |

+--------------------+

只有7種鼠证。在這種成為“坑”的列值比較少的情況下,可以考慮用“IN”來填補(bǔ)這個“坑”從而形成最左前綴:

EXPLAIN SELECT * FROM employees.titles

WHERE emp_no='10001'

AND title IN ('Senior Engineer', 'Staff', 'Engineer', 'Senior Staff', 'Assistant Engineer', 'Technique Leader', 'Manager')

AND from_date='1986-06-26';

+----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+

| id | select_type | table? | type? | possible_keys | key? ? | key_len | ref? | rows | Extra? ? ? |

+----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+

|? 1 | SIMPLE? ? ? | titles | range | PRIMARY? ? ? | PRIMARY | 59? ? ? | NULL |? ? 7 | Using where |

+----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+

這次key_len為59靠抑,說明索引被用全了量九,但是從type和rows看出IN實際上執(zhí)行了一個range查詢,這里檢查了7個key颂碧≤校看下兩種查詢的性能比較:

SHOW PROFILES;

+----------+------------+-------------------------------------------------------------------------------+

| Query_ID | Duration? | Query? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? |

+----------+------------+-------------------------------------------------------------------------------+

|? ? ? 10 | 0.00058000 | SELECT * FROM employees.titles WHERE emp_no='10001' AND from_date='1986-06-26'|

|? ? ? 11 | 0.00052500 | SELECT * FROM employees.titles WHERE emp_no='10001' AND title IN ...? ? ? ? ? |

+----------+------------+-------------------------------------------------------------------------------+

“填坑”后性能提升了一點。如果經(jīng)過emp_no篩選后余下很多數(shù)據(jù)载城,則后者性能優(yōu)勢會更加明顯肌似。當(dāng)然,如果title的值很多诉瓦,用填坑就不合適了川队,必須建立輔助索引。

情況四:查詢條件沒有指定索引第一列睬澡。

EXPLAIN SELECT * FROM employees.titles WHERE from_date='1986-06-26';

+----+-------------+--------+------+---------------+------+---------+------+--------+-------------+

| id | select_type | table? | type | possible_keys | key? | key_len | ref? | rows? | Extra? ? ? |

+----+-------------+--------+------+---------------+------+---------+------+--------+-------------+

|? 1 | SIMPLE? ? ? | titles | ALL? | NULL? ? ? ? ? | NULL | NULL? ? | NULL | 443308 | Using where |

+----+-------------+--------+------+---------------+------+---------+------+--------+-------------+

由于不是最左前綴固额,索引這樣的查詢顯然用不到索引。

情況五:匹配某列的前綴字符串煞聪。

EXPLAIN SELECT * FROM employees.titles WHERE emp_no='10001' AND title LIKE 'Senior%';

+----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+

| id | select_type | table? | type? | possible_keys | key? ? | key_len | ref? | rows | Extra? ? ? |

+----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+

|? 1 | SIMPLE? ? ? | titles | range | PRIMARY? ? ? | PRIMARY | 56? ? ? | NULL |? ? 1 | Using where |

+----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+

此時可以用到索引斗躏,但是如果通配符不是只出現(xiàn)在末尾,則無法使用索引昔脯。(原文表述有誤啄糙,如果通配符%不出現(xiàn)在開頭,則可以用到索引云稚,但根據(jù)具體情況不同可能只會用其中一個前綴)

情況六:范圍查詢隧饼。

EXPLAIN SELECT * FROM employees.titles WHERE emp_no < '10010' and title='Senior Engineer';

+----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+

| id | select_type | table? | type? | possible_keys | key? ? | key_len | ref? | rows | Extra? ? ? |

+----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+

|? 1 | SIMPLE? ? ? | titles | range | PRIMARY? ? ? | PRIMARY | 4? ? ? | NULL |? 16 | Using where |

+----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+

范圍列可以用到索引(必須是最左前綴),但是范圍列后面的列無法用到索引静陈。同時燕雁,索引最多用于一個范圍列,因此如果查詢條件中有兩個范圍列則無法全用到索引窿给。

EXPLAIN SELECT * FROM employees.titles

WHERE emp_no < '10010'

AND title='Senior Engineer'

AND from_date BETWEEN '1986-01-01' AND '1986-12-31';

+----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+

| id | select_type | table? | type? | possible_keys | key? ? | key_len | ref? | rows | Extra? ? ? |

+----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+

|? 1 | SIMPLE? ? ? | titles | range | PRIMARY? ? ? | PRIMARY | 4? ? ? | NULL |? 16 | Using where |

+----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+

可以看到索引對第二個范圍索引無能為力贵白。這里特別要說明MySQL一個有意思的地方,那就是僅用explain可能無法區(qū)分范圍索引和多值匹配崩泡,因為在type中這兩者都顯示為range禁荒。同時,用了“between”并不意味著就是范圍查詢角撞,例如下面的查詢:

EXPLAIN SELECT * FROM employees.titles

WHERE emp_no BETWEEN '10001' AND '10010'

AND title='Senior Engineer'

AND from_date BETWEEN '1986-01-01' AND '1986-12-31';

+----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+

| id | select_type | table? | type? | possible_keys | key? ? | key_len | ref? | rows | Extra? ? ? |

+----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+

|? 1 | SIMPLE? ? ? | titles | range | PRIMARY? ? ? | PRIMARY | 59? ? ? | NULL |? 16 | Using where |

+----+-------------+--------+-------+---------------+---------+---------+------+------+-------------+

看起來是用了兩個范圍查詢呛伴,但作用于emp_no上的“BETWEEN”實際上相當(dāng)于“IN”勃痴,也就是說emp_no實際是多值精確匹配∪瓤担可以看到這個查詢用到了索引全部三個列沛申。因此在MySQL中要謹(jǐn)慎地區(qū)分多值匹配和范圍匹配,否則會對MySQL的行為產(chǎn)生困惑姐军。

情況七:查詢條件中含有函數(shù)或表達(dá)式铁材。

很不幸,如果查詢條件中含有函數(shù)或表達(dá)式奕锌,則MySQL不會為這列使用索引(雖然某些在數(shù)學(xué)意義上可以使用)著觉。例如:

EXPLAIN SELECT * FROM employees.titles WHERE emp_no='10001' AND left(title, 6)='Senior';

+----+-------------+--------+------+---------------+---------+---------+-------+------+-------------+

| id | select_type | table? | type | possible_keys | key? ? | key_len | ref? | rows | Extra? ? ? |

+----+-------------+--------+------+---------------+---------+---------+-------+------+-------------+

|? 1 | SIMPLE? ? ? | titles | ref? | PRIMARY? ? ? | PRIMARY | 4? ? ? | const |? ? 1 | Using where |

+----+-------------+--------+------+---------------+---------+---------+-------+------+-------------+

雖然這個查詢和情況五中功能相同,但是由于使用了函數(shù)left惊暴,則無法為title列應(yīng)用索引饼丘,而情況五中用LIKE則可以。再如:

EXPLAIN SELECT * FROM employees.titles WHERE emp_no - 1='10000';

+----+-------------+--------+------+---------------+------+---------+------+--------+-------------+

| id | select_type | table? | type | possible_keys | key? | key_len | ref? | rows? | Extra? ? ? |

+----+-------------+--------+------+---------------+------+---------+------+--------+-------------+

|? 1 | SIMPLE? ? ? | titles | ALL? | NULL? ? ? ? ? | NULL | NULL? ? | NULL | 443308 | Using where |

+----+-------------+--------+------+---------------+------+---------+------+--------+-------------+

顯然這個查詢等價于查詢emp_no為10001的函數(shù)辽话,但是由于查詢條件是一個表達(dá)式肄鸽,MySQL無法為其使用索引∮推。看來MySQL還沒有智能到自動優(yōu)化常量表達(dá)式的程度典徘,因此在寫查詢語句時盡量避免表達(dá)式出現(xiàn)在查詢中,而是先手工私下代數(shù)運算村砂,轉(zhuǎn)換為無表達(dá)式的查詢語句烂斋。

索引選擇性與前綴索引

既然索引可以加快查詢速度,那么是不是只要是查詢語句需要础废,就建上索引?答案是否定的罕模。因為索引雖然加快了查詢速度评腺,但索引也是有代價的:索引文件本身要消耗存儲空間,同時索引會加重插入淑掌、刪除和修改記錄時的負(fù)擔(dān)蒿讥,另外,MySQL在運行時也要消耗資源維護(hù)索引抛腕,因此索引并不是越多越好芋绸。一般兩種情況下不建議建索引。

第一種情況是表記錄比較少担敌,例如一兩千條甚至只有幾百條記錄的表摔敛,沒必要建索引,讓查詢做全表掃描就好了全封。至于多少條記錄才算多马昙,這個個人有個人的看法桃犬,我個人的經(jīng)驗是以2000作為分界線,記錄數(shù)不超過 2000可以考慮不建索引行楞,超過2000條可以酌情考慮索引攒暇。

另一種不建議建索引的情況是索引的選擇性較低。所謂索引的選擇性(Selectivity)子房,是指不重復(fù)的索引值(也叫基數(shù)形用,Cardinality)與表記錄數(shù)(#T)的比值:

Index Selectivity = Cardinality / #T

顯然選擇性的取值范圍為(0, 1],選擇性越高的索引價值越大证杭,這是由B+Tree的性質(zhì)決定的尾序。例如,上文用到的employees.titles表躯砰,如果title字段經(jīng)常被單獨查詢每币,是否需要建索引,我們看一下它的選擇性:

SELECT count(DISTINCT(title))/count(*) AS Selectivity FROM employees.titles;

+-------------+

| Selectivity |

+-------------+

|? ? ? 0.0000 |

+-------------+

title的選擇性不足0.0001(精確值為0.00001579)琢歇,所以實在沒有什么必要為其單獨建索引兰怠。

有一種與索引選擇性有關(guān)的索引優(yōu)化策略叫做前綴索引,就是用列的前綴代替整個列作為索引key李茫,當(dāng)前綴長度合適時揭保,可以做到既使得前綴索引的選擇性接近全列索引,同時因為索引key變短而減少了索引文件的大小和維護(hù)開銷魄宏。下面以employees.employees表為例介紹前綴索引的選擇和使用秸侣。

從圖12可以看到employees表只有一個索引<emp_no>,那么如果我們想按名字搜索一個人宠互,就只能全表掃描了:

EXPLAIN SELECT * FROM employees.employees WHERE first_name='Eric' AND last_name='Anido';

+----+-------------+-----------+------+---------------+------+---------+------+--------+-------------+

| id | select_type | table? ? | type | possible_keys | key? | key_len | ref? | rows? | Extra? ? ? |

+----+-------------+-----------+------+---------------+------+---------+------+--------+-------------+

|? 1 | SIMPLE? ? ? | employees | ALL? | NULL? ? ? ? ? | NULL | NULL? ? | NULL | 300024 | Using where |

+----+-------------+-----------+------+---------------+------+---------+------+--------+-------------+

如果頻繁按名字搜索員工味榛,這樣顯然效率很低,因此我們可以考慮建索引予跌。有兩種選擇搏色,建<first_name>或<first_name, last_name>,看下兩個索引的選擇性:

SELECT count(DISTINCT(first_name))/count(*) AS Selectivity FROM employees.employees;

+-------------+

| Selectivity |

+-------------+

|? ? ? 0.0042 |

+-------------+

SELECT count(DISTINCT(concat(first_name, last_name)))/count(*) AS Selectivity FROM employees.employees;

+-------------+

| Selectivity |

+-------------+

|? ? ? 0.9313 |

+-------------+

<first_name>顯然選擇性太低券册,<first_name, last_name>選擇性很好频轿,但是first_name和last_name加起來長度為30,有沒有兼顧長度和選擇性的辦法烁焙?可以考慮用first_name和last_name的前幾個字符建立索引航邢,例如<first_name, left(last_name, 3)>,看看其選擇性:

SELECT count(DISTINCT(concat(first_name, left(last_name, 3))))/count(*) AS Selectivity FROM employees.employees;

+-------------+

| Selectivity |

+-------------+

|? ? ? 0.7879 |

+-------------+

選擇性還不錯骄蝇,但離0.9313還是有點距離膳殷,那么把last_name前綴加到4:

SELECT count(DISTINCT(concat(first_name, left(last_name, 4))))/count(*) AS Selectivity FROM employees.employees;

+-------------+

| Selectivity |

+-------------+

|? ? ? 0.9007 |

+-------------+

這時選擇性已經(jīng)很理想了,而這個索引的長度只有18乞榨,比<first_name, last_name>短了接近一半秽之,我們把這個前綴索引 建上:

ALTER TABLE employees.employees

ADD INDEX `first_name_last_name4` (first_name, last_name(4));

此時再執(zhí)行一遍按名字查詢当娱,比較分析一下與建索引前的結(jié)果:

SHOW PROFILES;

+----------+------------+---------------------------------------------------------------------------------+

| Query_ID | Duration? | Query? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? |

+----------+------------+---------------------------------------------------------------------------------+

|? ? ? 87 | 0.11941700 | SELECT * FROM employees.employees WHERE first_name='Eric' AND last_name='Anido' |

|? ? ? 90 | 0.00092400 | SELECT * FROM employees.employees WHERE first_name='Eric' AND last_name='Anido' |

+----------+------------+---------------------------------------------------------------------------------+

性能的提升是顯著的,查詢速度提高了120多倍考榨。

前綴索引兼顧索引大小和查詢速度跨细,但是其缺點是不能用于ORDER BY和GROUP BY操作,也不能用于Covering index(即當(dāng)索引本身包含查詢所需全部數(shù)據(jù)時河质,不再訪問數(shù)據(jù)文件本身)冀惭。

InnoDB的主鍵選擇與插入優(yōu)化

在使用InnoDB存儲引擎時,如果沒有特別的需要掀鹅,請永遠(yuǎn)使用一個與業(yè)務(wù)無關(guān)的自增字段作為主鍵散休。

經(jīng)常看到有帖子或博客討論主鍵選擇問題乐尊,有人建議使用業(yè)務(wù)無關(guān)的自增主鍵戚丸,有人覺得沒有必要,完全可以使用如學(xué)號或身份證號這種唯一字段作為主鍵扔嵌。不論支持哪種論點限府,大多數(shù)論據(jù)都是業(yè)務(wù)層面的。如果從數(shù)據(jù)庫索引優(yōu)化角度看痢缎,使用InnoDB引擎而不使用自增主鍵絕對是一個糟糕的主意胁勺。

上文討論過InnoDB的索引實現(xiàn),InnoDB使用聚集索引独旷,數(shù)據(jù)記錄本身被存于主索引(一顆B+Tree)的葉子節(jié)點上署穗。這就要求同一個葉子節(jié)點內(nèi)(大小為一個內(nèi)存頁或磁盤頁)的各條數(shù)據(jù)記錄按主鍵順序存放,因此每當(dāng)有一條新的記錄插入時嵌洼,MySQL會根據(jù)其主鍵將其插入適當(dāng)?shù)墓?jié)點和位置案疲,如果頁面達(dá)到裝載因子(InnoDB默認(rèn)為15/16),則開辟一個新的頁(節(jié)點)咱台。

如果表使用自增主鍵络拌,那么每次插入新的記錄,記錄就會順序添加到當(dāng)前索引節(jié)點的后續(xù)位置回溺,當(dāng)一頁寫滿,就會自動開辟一個新的頁混萝。如下圖所示:

圖13

這樣就會形成一個緊湊的索引結(jié)構(gòu)遗遵,近似順序填滿。由于每次插入時也不需要移動已有數(shù)據(jù)逸嘀,因此效率很高车要,也不會增加很多開銷在維護(hù)索引上。

如果使用非自增主鍵(如果身份證號或?qū)W號等)崭倘,由于每次插入主鍵的值近似于隨機(jī)翼岁,因此每次新紀(jì)錄都要被插到現(xiàn)有索引頁得中間某個位置:

圖14

此時MySQL不得不為了將新記錄插到合適位置而移動數(shù)據(jù)类垫,甚至目標(biāo)頁面可能已經(jīng)被回寫到磁盤上而從緩存中清掉,此時又要從磁盤上讀回來琅坡,這增加了很多開銷悉患,同時頻繁的移動、分頁操作造成了大量的碎片榆俺,得到了不夠緊湊的索引結(jié)構(gòu)售躁,后續(xù)不得不通過OPTIMIZE TABLE來重建表并優(yōu)化填充頁面。

因此茴晋,只要可以陪捷,請盡量在InnoDB上采用自增字段做主鍵。

后記

這篇文章斷斷續(xù)續(xù)寫了半個月诺擅,主要內(nèi)容就是上面這些了市袖。不可否認(rèn),這篇文章在一定程度上有紙上談兵之嫌烁涌,因為我本人對MySQL的使用屬于菜鳥級別苍碟,更沒有太多數(shù)據(jù)庫調(diào)優(yōu)的經(jīng)驗,在這里大談數(shù)據(jù)庫索引調(diào)優(yōu)有點大言不慚烹玉。就當(dāng)是我個人的一篇學(xué)習(xí)筆記了驰怎。

其實數(shù)據(jù)庫索引調(diào)優(yōu)是一項技術(shù)活,不能僅僅靠理論二打,因為實際情況千變?nèi)f化县忌,而且MySQL本身存在很復(fù)雜的機(jī)制,如查詢優(yōu)化策略和各種引擎的實現(xiàn)差異等都會使情況變得更加復(fù)雜继效。但同時這些理論是索引調(diào)優(yōu)的基礎(chǔ)症杏,只有在明白理論的基礎(chǔ)上,才能對調(diào)優(yōu)策略進(jìn)行合理推斷并了解其背后的機(jī)制瑞信,然后結(jié)合實踐中不斷的實驗和摸索厉颤,從而真正達(dá)到高效使用MySQL索引的目的。

另外凡简,MySQL索引及其優(yōu)化涵蓋范圍非常廣逼友,本文只是涉及到其中一部分。如與排序(ORDER BY)相關(guān)的索引優(yōu)化及覆蓋索引(Covering index)的話題本文并未涉及秤涩,同時除B-Tree索引外MySQL還根據(jù)不同引擎支持的哈希索引帜乞、全文索引等等本文也并未涉及。如果有機(jī)會筐眷,希望再對本文未涉及的部分進(jìn)行補(bǔ)充吧黎烈。

參考文獻(xiàn)

[1] Baron Scbwartz等 著,王小東等 譯;高性能MySQL(High Performance MySQL)照棋;電子工業(yè)出版社资溃,2010

[2] Michael Kofler 著,楊曉云等 譯烈炭;MySQL5權(quán)威指南(The Definitive Guide to MySQL5)溶锭;人民郵電出版社,2006

[3] 姜承堯 著梳庆;MySQL技術(shù)內(nèi)幕-InnoDB存儲引擎暖途;機(jī)械工業(yè)出版社,2011

[4] D Comer, Ubiquitous B-tree; ACM Computing Surveys (CSUR), 1979

[5] Codd, E. F. (1970). "A relational model of data for large shared data banks". Communications of the ACM, , Vol. 13, No. 6, pp. 377-387

[6] MySQL5.1參考手冊 -?http://dev.mysql.com/doc/refman/5.1/zh/index.html

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末膏执,一起剝皮案震驚了整個濱河市驻售,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌更米,老刑警劉巖欺栗,帶你破解...
    沈念sama閱讀 206,214評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異征峦,居然都是意外死亡迟几,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,307評論 2 382
  • 文/潘曉璐 我一進(jìn)店門栏笆,熙熙樓的掌柜王于貴愁眉苦臉地迎上來类腮,“玉大人,你說我怎么就攤上這事蛉加⊙潦啵” “怎么了?”我有些...
    開封第一講書人閱讀 152,543評論 0 341
  • 文/不壞的土叔 我叫張陵针饥,是天一觀的道長厂抽。 經(jīng)常有香客問我,道長丁眼,這世上最難降的妖魔是什么筷凤? 我笑而不...
    開封第一講書人閱讀 55,221評論 1 279
  • 正文 為了忘掉前任,我火速辦了婚禮苞七,結(jié)果婚禮上藐守,老公的妹妹穿的比我還像新娘。我一直安慰自己蹂风,他們只是感情好吗伤,可當(dāng)我...
    茶點故事閱讀 64,224評論 5 371
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著硫眨,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上礁阁,一...
    開封第一講書人閱讀 49,007評論 1 284
  • 那天巧号,我揣著相機(jī)與錄音,去河邊找鬼姥闭。 笑死丹鸿,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的棚品。 我是一名探鬼主播靠欢,決...
    沈念sama閱讀 38,313評論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼铜跑!你這毒婦竟也來了门怪?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 36,956評論 0 259
  • 序言:老撾萬榮一對情侶失蹤锅纺,失蹤者是張志新(化名)和其女友劉穎掷空,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體囤锉,經(jīng)...
    沈念sama閱讀 43,441評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡坦弟,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 35,925評論 2 323
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了官地。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片酿傍。...
    茶點故事閱讀 38,018評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖驱入,靈堂內(nèi)的尸體忽然破棺而出赤炒,到底是詐尸還是另有隱情,我是刑警寧澤沧侥,帶...
    沈念sama閱讀 33,685評論 4 322
  • 正文 年R本政府宣布可霎,位于F島的核電站,受9級特大地震影響宴杀,放射性物質(zhì)發(fā)生泄漏癣朗。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,234評論 3 307
  • 文/蒙蒙 一旺罢、第九天 我趴在偏房一處隱蔽的房頂上張望旷余。 院中可真熱鬧,春花似錦扁达、人聲如沸正卧。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,240評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽炉旷。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間窘行,已是汗流浹背饥追。 一陣腳步聲響...
    開封第一講書人閱讀 31,464評論 1 261
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留罐盔,地道東北人但绕。 一個月前我還...
    沈念sama閱讀 45,467評論 2 352
  • 正文 我出身青樓,卻偏偏與公主長得像惶看,于是被迫代替她去往敵國和親捏顺。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 42,762評論 2 345

推薦閱讀更多精彩內(nèi)容