mysql數(shù)據(jù)庫(kù)索引如何做察藐?

MySQL索引底層的實(shí)現(xiàn),今天簡(jiǎn)單聊一聊舟扎,少講“是怎么樣”分飞,更多說(shuō)說(shuō)“為什么設(shè)計(jì)成這樣”。


問(wèn)題1. 數(shù)據(jù)庫(kù)為什么要設(shè)計(jì)索引睹限?

圖書(shū)館存了1000W本圖書(shū)譬猫,要從中找到《架構(gòu)師之路》,一本本查羡疗,要查到什么時(shí)候去染服?

于是,圖書(shū)管理員設(shè)計(jì)了一套規(guī)則:

(1)一樓放歷史類(lèi)顺囊,二樓放文學(xué)類(lèi)肌索,三樓放IT類(lèi)…

(2)IT類(lèi),又分軟件類(lèi)特碳,硬件類(lèi)…

(3)軟件類(lèi)诚亚,又按照書(shū)名音序排序…

以便快速找到一本書(shū)。


與之類(lèi)比午乓,數(shù)據(jù)庫(kù)存儲(chǔ)了1000W條數(shù)據(jù)站宗,要從中找到name=”shenjian”的記錄,一條條查益愈,要查到什么時(shí)候去梢灭?

于是,要有索引蒸其,用于提升數(shù)據(jù)庫(kù)的查找速度敏释。


問(wèn)題2. 哈希(hash)比樹(shù)(tree)更快,索引結(jié)構(gòu)為什么要設(shè)計(jì)成樹(shù)型摸袁?

加速查找速度的數(shù)據(jù)結(jié)構(gòu)钥顽,常見(jiàn)的有兩類(lèi):

(1)哈希,例如HashMap靠汁,查詢(xún)/插入/修改/刪除的平均時(shí)間復(fù)雜度都是O(1)蜂大;

(2)樹(shù)闽铐,例如平衡二叉搜索樹(shù),查詢(xún)/插入/修改/刪除的平均時(shí)間復(fù)雜度都是O(lg(n))奶浦;


可以看到兄墅,不管是讀請(qǐng)求,還是寫(xiě)請(qǐng)求澳叉,哈希類(lèi)型的索引隙咸,都要比樹(shù)型的索引更快一些,那為什么成洗,索引結(jié)構(gòu)要設(shè)計(jì)成樹(shù)型呢扎瓶?

畫(huà)外音:80%的同學(xué),面試都答不出來(lái)泌枪。


索引設(shè)計(jì)成樹(shù)形,和SQL的需求相關(guān)秕岛。


對(duì)于這樣一個(gè)單行查詢(xún)的SQL需求:

select * from t where name=”shenjian”;

確實(shí)是哈希索引更快碌燕,因?yàn)槊看味贾徊樵?xún)一條記錄。

畫(huà)外音:所以继薛,如果業(yè)務(wù)需求都是單行訪問(wèn)修壕,例如passport,確實(shí)可以使用哈希索引遏考。


但是對(duì)于排序查詢(xún)的SQL需求:

分組:group by

排序:order by

比較:<慈鸠、>

哈希型的索引,時(shí)間復(fù)雜度會(huì)退化為O(n)灌具,而樹(shù)型的“有序”特性青团,依然能夠保持O(log(n))?的高效率。


任何脫離需求的設(shè)計(jì)都是耍流氓咖楣。


多說(shuō)一句督笆,InnoDB并不支持哈希索引。


問(wèn)題3. 數(shù)據(jù)庫(kù)索引為什么使用B+樹(shù)诱贿?

為了保持知識(shí)體系的完整性娃肿,簡(jiǎn)單介紹下幾種樹(shù)。


第一種:二叉搜索樹(shù)

二叉搜索樹(shù)珠十,如上圖料扰,是最為大家所熟知的一種數(shù)據(jù)結(jié)構(gòu),就不展開(kāi)介紹了焙蹭,它為什么不適合用作數(shù)據(jù)庫(kù)索引晒杈?

(1)當(dāng)數(shù)據(jù)量大的時(shí)候,樹(shù)的高度會(huì)比較高壳嚎,數(shù)據(jù)量大的時(shí)候桐智,查詢(xún)會(huì)比較慢末早;

(2)每個(gè)節(jié)點(diǎn)只存儲(chǔ)一個(gè)記錄,可能導(dǎo)致一次查詢(xún)有很多次磁盤(pán)IO说庭;

畫(huà)外音:這個(gè)樹(shù)經(jīng)常出現(xiàn)在大學(xué)課本里然磷,所以最為大家所熟知。


第二種:B樹(shù)

B樹(shù)刊驴,如上圖姿搜,它的特點(diǎn)是:

(1)不再是二叉搜索,而是m叉搜索捆憎;

(2)葉子節(jié)點(diǎn)舅柜,非葉子節(jié)點(diǎn),都存儲(chǔ)數(shù)據(jù)躲惰;

(3)中序遍歷致份,可以獲得所有節(jié)點(diǎn);

畫(huà)外音础拨,實(shí)在不想介紹這個(gè)特性:非根節(jié)點(diǎn)包含的關(guān)鍵字個(gè)數(shù)j滿足氮块,(┌m/2┐)-1 <= j <= m-1,節(jié)點(diǎn)分裂時(shí)要滿足這個(gè)條件诡宗。


B樹(shù)被作為實(shí)現(xiàn)索引的數(shù)據(jù)結(jié)構(gòu)被創(chuàng)造出來(lái)滔蝉,是因?yàn)樗軌蛲昝赖睦谩熬植啃栽怼薄?/p>


什么是局部性原理?

局部性原理的邏輯是這樣的:

(1)內(nèi)存讀寫(xiě)塊塔沃,磁盤(pán)讀寫(xiě)慢蝠引,而且慢很多;

(2)磁盤(pán)預(yù)讀:磁盤(pán)讀寫(xiě)并不是按需讀取蛀柴,而是按頁(yè)預(yù)讀螃概,一次會(huì)讀一頁(yè)的數(shù)據(jù),每次加載更多的數(shù)據(jù)名扛,如果未來(lái)要讀取的數(shù)據(jù)就在這一頁(yè)中谅年,可以避免未來(lái)的磁盤(pán)IO,提高效率肮韧;

畫(huà)外音:通常融蹂,一頁(yè)數(shù)據(jù)是4K。

(3)局部性原理:軟件設(shè)計(jì)要盡量遵循“數(shù)據(jù)讀取集中”與“使用到一個(gè)數(shù)據(jù)弄企,大概率會(huì)使用其附近的數(shù)據(jù)”超燃,這樣磁盤(pán)預(yù)讀能充分提高磁盤(pán)IO;


B樹(shù)為何適合做索引拘领?

(1)由于是m分叉的意乓,高度能夠大大降低;

(2)每個(gè)節(jié)點(diǎn)可以存儲(chǔ)j個(gè)記錄约素,如果將節(jié)點(diǎn)大小設(shè)置為頁(yè)大小届良,例如4K笆凌,能夠充分的利用預(yù)讀的特性,極大減少磁盤(pán)IO士葫;


第三種:B+樹(shù)

B+樹(shù)乞而,如上圖,仍是m叉搜索樹(shù)慢显,在B樹(shù)的基礎(chǔ)上爪模,做了一些改進(jìn)

(1)非葉子節(jié)點(diǎn)不再存儲(chǔ)數(shù)據(jù),數(shù)據(jù)只存儲(chǔ)在同一層的葉子節(jié)點(diǎn)上荚藻;

畫(huà)外音:B+樹(shù)中根到每一個(gè)節(jié)點(diǎn)的路徑長(zhǎng)度一樣屋灌,而B(niǎo)樹(shù)不是這樣。

(2)葉子之間应狱,增加了鏈表共郭,獲取所有節(jié)點(diǎn),不再需要中序遍歷疾呻;


這些改進(jìn)讓B+樹(shù)比B樹(shù)有更優(yōu)的特性:

(1)范圍查找落塑,定位min與max之后,中間葉子節(jié)點(diǎn)罐韩,就是結(jié)果集,不用中序回溯污朽;

畫(huà)外音:范圍查詢(xún)?cè)赟QL中用得很多散吵,這是B+樹(shù)比B樹(shù)最大的優(yōu)勢(shì)。

(2)葉子節(jié)點(diǎn)存儲(chǔ)實(shí)際記錄行蟆肆,記錄行相對(duì)比較緊密的存儲(chǔ)矾睦,適合大數(shù)據(jù)量磁盤(pán)存儲(chǔ);非葉子節(jié)點(diǎn)存儲(chǔ)記錄的PK炎功,用于查詢(xún)加速枚冗,適合內(nèi)存存儲(chǔ);

(3)非葉子節(jié)點(diǎn)蛇损,不存儲(chǔ)實(shí)際記錄赁温,而只存儲(chǔ)記錄的KEY的話,那么在相同內(nèi)存的情況下淤齐,B+樹(shù)能夠存儲(chǔ)更多索引股囊;


最后,量化說(shuō)下更啄,為什么m叉的B+樹(shù)比二叉搜索樹(shù)的高度大大大大降低稚疹?

大概計(jì)算一下:

(1)局部性原理老充,將一個(gè)節(jié)點(diǎn)的大小設(shè)為一頁(yè)娶吞,一頁(yè)4K,假設(shè)一個(gè)KEY有8字節(jié),一個(gè)節(jié)點(diǎn)可以存儲(chǔ)500個(gè)KEY窘拯,即j=500

(2)m叉樹(shù),大概m/2<= j <=m盛险,即可以差不多是1000叉樹(shù)

(3)那么:

一層樹(shù):1個(gè)節(jié)點(diǎn)妓柜,1*500個(gè)KEY,大小4K

二層樹(shù):1000個(gè)節(jié)點(diǎn)偎行,1000*500=50W個(gè)KEY川背,大小1000*4K=4M

三層樹(shù):1000*1000個(gè)節(jié)點(diǎn),1000*1000*500=5億個(gè)KEY蛤袒,大小1000*1000*4K=4G

畫(huà)外音:額熄云,幫忙看下有沒(méi)有算錯(cuò)。

可以看到妙真,存儲(chǔ)大量的數(shù)據(jù)(5億)缴允,并不需要太高樹(shù)的深度(高度3),索引也不是太占內(nèi)存(4G)珍德。

總結(jié)

數(shù)據(jù)庫(kù)索引用于加速查詢(xún)

雖然哈希索引是O(1)练般,樹(shù)索引是O(log(n)),但SQL有很多“有序”需求锈候,故數(shù)據(jù)庫(kù)使用樹(shù)型索引

InnoDB不支持哈希索引

數(shù)據(jù)預(yù)讀的思路是:磁盤(pán)讀寫(xiě)并不是按需讀取薄料,而是按頁(yè)預(yù)讀,一次會(huì)讀一頁(yè)的數(shù)據(jù)泵琳,每次加載更多的數(shù)據(jù)摄职,以便未來(lái)減少磁盤(pán)IO

局部性原理:軟件設(shè)計(jì)要盡量遵循“數(shù)據(jù)讀取集中”與“使用到一個(gè)數(shù)據(jù),大概率會(huì)使用其附近的數(shù)據(jù)”获列,這樣磁盤(pán)預(yù)讀能充分提高磁盤(pán)IO

數(shù)據(jù)庫(kù)的索引最常用B+樹(shù):

(1)很適合磁盤(pán)存儲(chǔ)谷市,能夠充分利用局部性原理,磁盤(pán)預(yù)讀击孩;

(2)很低的樹(shù)高度迫悠,能夠存儲(chǔ)大量數(shù)據(jù);

(3)索引本身占用的內(nèi)存很泄摇创泄;

(4)能夠很好的支持單點(diǎn)查詢(xún),范圍查詢(xún)括蝠,有序性查詢(xún)验烧;

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市又跛,隨后出現(xiàn)的幾起案子碍拆,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 212,884評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件感混,死亡現(xiàn)場(chǎng)離奇詭異端幼,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)弧满,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,755評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門(mén)婆跑,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人庭呜,你說(shuō)我怎么就攤上這事滑进。” “怎么了募谎?”我有些...
    開(kāi)封第一講書(shū)人閱讀 158,369評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵扶关,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我数冬,道長(zhǎng)节槐,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,799評(píng)論 1 285
  • 正文 為了忘掉前任拐纱,我火速辦了婚禮铜异,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘秸架。我一直安慰自己揍庄,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,910評(píng)論 6 386
  • 文/花漫 我一把揭開(kāi)白布东抹。 她就那樣靜靜地躺著币绩,像睡著了一般。 火紅的嫁衣襯著肌膚如雪府阀。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 50,096評(píng)論 1 291
  • 那天芽突,我揣著相機(jī)與錄音试浙,去河邊找鬼。 笑死寞蚌,一個(gè)胖子當(dāng)著我的面吹牛田巴,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播挟秤,決...
    沈念sama閱讀 39,159評(píng)論 3 411
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼壹哺,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了艘刚?” 一聲冷哼從身側(cè)響起管宵,我...
    開(kāi)封第一講書(shū)人閱讀 37,917評(píng)論 0 268
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后箩朴,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體岗喉,經(jīng)...
    沈念sama閱讀 44,360評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,673評(píng)論 2 327
  • 正文 我和宋清朗相戀三年炸庞,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了钱床。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,814評(píng)論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡埠居,死狀恐怖查牌,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情滥壕,我是刑警寧澤纸颜,帶...
    沈念sama閱讀 34,509評(píng)論 4 334
  • 正文 年R本政府宣布,位于F島的核電站捏浊,受9級(jí)特大地震影響懂衩,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜金踪,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,156評(píng)論 3 317
  • 文/蒙蒙 一浊洞、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧胡岔,春花似錦法希、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,882評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至怨咪,卻和暖如春屋剑,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背诗眨。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,123評(píng)論 1 267
  • 我被黑心中介騙來(lái)泰國(guó)打工唉匾, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人匠楚。 一個(gè)月前我還...
    沈念sama閱讀 46,641評(píng)論 2 362
  • 正文 我出身青樓巍膘,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親芋簿。 傳聞我的和親對(duì)象是個(gè)殘疾皇子峡懈,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,728評(píng)論 2 351

推薦閱讀更多精彩內(nèi)容