mysql--索引

來源:http://www.cnblogs.com/tgycoder/p/5410057.html

https://www.2cto.com/database/201501/368126.html

MySQL官方對索引的定義為:索引(Index)是幫助MySQL高效獲取數(shù)據(jù)的數(shù)據(jù)結構吃环。

二叉查找樹.png

二分查找要求被檢索數(shù)據(jù)有序炬搭,而二叉樹查找只能應用于二叉查找樹上,但是數(shù)據(jù)本身的組織結構不可能完全滿足各種數(shù)據(jù)結構(例如,理論上不可能同時將兩列都按順序進行組織)狼讨。

文件系統(tǒng)及數(shù)據(jù)庫系統(tǒng)普遍采用B-/+Tree作為索引結構,

索引本身也很大柒竞,不可能全部存儲在內存中政供,因此索引往往以索引文件的形式存儲的磁盤上桥温。這樣的話世剖,索引查找過程中就要產(chǎn)生磁盤I/O消耗咆繁,相對于內存存取揖赴,I/O存取的消耗要高幾個數(shù)量級勒魔,所以評價一個數(shù)據(jù)結構作為索引的優(yōu)劣最重要的指標就是在查找過程中磁盤I/O操作次數(shù)的漸進復雜度夸盟。換句話說铛嘱,索引的結構組織要盡量減少查找過程中磁盤I/O的存取次數(shù)夹供。

主存存取原理

目前計算機使用的主存基本都是隨機讀寫存儲器(RAM)霎俩,現(xiàn)代RAM的結構和存取原理比較復雜哀军,這里本文拋卻具體差別沉眶,抽象出一個十分簡單的存取模型來說明RAM的工作原理。

ram模型.png

主存存取的時間僅與存取次數(shù)呈線性關系杉适,因為不存在機械操作谎倔,兩次存取的數(shù)據(jù)的“距離”不會對時間有任何影響,例如猿推,先取A0再取A1和先取A0再取D3的時間消耗是一樣的片习。

磁盤存取原理

磁盤結構.png

索引一般以文件形式存儲在磁盤上,索引檢索需要磁盤I/O操作蹬叭。與主存不同藕咏,磁盤I/O存在機械運動耗費,因此磁盤I/O的時間消耗是巨大的具垫。
侈离,磁盤往往不是嚴格按需讀取,而是每次都會預讀筝蚕,即使只需要一個字節(jié)卦碾,磁盤也會從這個位置開始,順序向后讀取一定長度的數(shù)據(jù)放入內存起宽。這樣做的理論依據(jù)是計算機科學中著名的局部性原理:

當一個數(shù)據(jù)被用到時洲胖,其附近的數(shù)據(jù)也通常會馬上被使用。
程序運行期間所需要的數(shù)據(jù)通常比較集中坯沪。

Hash索引

MySQL中绿映,只有Memory(Memory表只存在內存中,斷電會消失腐晾,適用于臨時表)存儲引擎顯示支持Hash索引叉弦,是Memory表的默認索引類型,盡管Memory表也可以使用B+Tree索引藻糖。hsah索引把數(shù)據(jù)的索引以hash形式組織起來淹冰,因此當查找某一條記錄的時候,速度非常快巨柒。當時因為是hash結構樱拴,每個鍵只對應一個值,而且是散列的方式分布洋满。所以他并不支持范圍查找和排序等功能晶乔。

B-/+Tree索引的性能分析

從使用磁盤I/O次數(shù)評價索引結構的優(yōu)劣性:根據(jù)B-Tree的定義,可知檢索一次最多需要訪問h個結點牺勾。數(shù)據(jù)庫系統(tǒng)的設計者巧妙的利用了磁盤預讀原理正罢,將一個結點的大小設為等于一個頁面,這樣每個結點只需要一次I/O就可以完全載入驻民。為了達到這個目的翻具,在實際實現(xiàn)B-Tree還需要使用如下技巧:

每次新建結點時袱饭,直接申請一個頁面的空間,這樣可以保證一個結點的大小等于一個頁面呛占,加之計算機存儲分配都是按頁對齊的虑乖,就實現(xiàn)了一個node只需一次I/O。

B-Tree中一次檢索最多需要h-1次I/O(根結點常駐內存)晾虑,漸進復雜度為O(h)=O(logdN)疹味。一般實際應用中,出讀d是非常大的數(shù)字帜篇,通常超過100糙捺,因此h非常小。

綜上所述笙隙,用B-Tree作為索引結構效率是非常高的洪灯。

而紅黑樹結構,h明顯要深得多竟痰。由于邏輯上很近的結點(父子結點)物理上可能離得很遠签钩,無法利用局部性原理。所以即使紅黑樹的I/O漸進復雜度也為O(h)坏快,但是查找效率明顯比B-Tree差得多铅檩。

B+Tree更適合外存索引,是和內結點出度d有關莽鸿。從上面分析可以看到昧旨,d越大索引的性能越好,而出度的上限取決于結點內key和data的大邢榈谩:dmax=floor(pagesize/(keysize+datasize+pointsize))兔沃。

floor表示向下取整。由于B+Tree內結點去掉了data域级及,因此可以擁有更大的出度乒疏,擁有更好的性能。

這一章從理論角度討論了與索引相關的數(shù)據(jù)結構與算法問題创千,下一章將討論B+Tree是如何具體實現(xiàn)為MySQL中索引缰雇,同時將結合MyISAM和InnDB存儲引擎介紹非聚集索引和聚集索引兩種不同的索引實現(xiàn)形式入偷。

MySQL索引實現(xiàn)

MyISAM索引實現(xiàn)

MyISAM引擎使用B+Tree作為索引結構追驴,葉結點的data域存放的是數(shù)據(jù)記錄的地址。下面是MyISAM索引的原理圖:

MyISAM索引原理圖.png

這里設表一共有三列疏之,假設我們以Col1為主鍵殿雪,則圖8是一個MyISAM表的主索引(Primary key)示意》孀Γ可以看出MyISAM的索引文件僅僅保存數(shù)據(jù)記錄的地址丙曙。在MyISAM中爸业,主索引和輔助索引(Secondary key)在結構上沒有任何區(qū)別,只是主索引要求key是唯一的亏镰,而輔助索引的key可以重復扯旷。如果我們在Col2上建立一個輔助索引,則此索引的結構如下圖所示:

MyISAM索引結構.png

同樣也是一顆B+Tree索抓,data域保存數(shù)據(jù)記錄的地址钧忽。因此,MyISAM中索引檢索的算法為首先按照B+Tree搜索算法搜索索引逼肯,如果指定的Key存在耸黑,則取出其data域的值,然后以data域的值為地址篮幢,讀取相應數(shù)據(jù)記錄大刊。
MyISAM的索引方式也叫做“非聚集”的,之所以這么稱呼是為了與InnoDB的聚集索引區(qū)分三椿。

InnoDB索引實現(xiàn)

雖然InnoDB也使用B+Tree作為索引結構缺菌,但具體實現(xiàn)方式卻與MyISAM截然不同。

第一個重大區(qū)別是InnoDB的數(shù)據(jù)文件本身就是索引文件搜锰。從上文知道男翰,MyISAM索引文件和數(shù)據(jù)文件是分離的,索引文件僅保存數(shù)據(jù)記錄的地址纽乱。而在InnoDB中蛾绎,表數(shù)據(jù)文件本身就是按B+Tree組織的一個索引結構,這棵樹的葉結點data域保存了完整的數(shù)據(jù)記錄鸦列。這個索引的key是數(shù)據(jù)表的主鍵租冠,因此InnoDB表數(shù)據(jù)文件本身就是主索引。

InnoDB索引.png

可以看到葉結點包含了完整的數(shù)據(jù)記錄薯嗤。這種索引叫做聚集索引顽爹。因為InnoDB的數(shù)據(jù)文件本身要按主鍵聚集,所以InnoDB要求表必須有主鍵(MyISAM可以沒有)骆姐,如果沒有顯式指定镜粤,則MySQL系統(tǒng)會自動選擇一個可以唯一標識數(shù)據(jù)記錄的列作為主鍵,如果不存在這種列玻褪,則MySQL自動為InnoDB表生成一個隱含字段作為主鍵肉渴,這個字段長度為6個字節(jié),類型為長整形带射。

第二個與MyISAM索引的不同是InnoDB的輔助索引data域存儲相應記錄主鍵的值而不是地址同规。換句話說,InnoDB的所有輔助索引都引用主鍵作為data域。例如券勺,圖11為定義在Col3上的一個輔助索引:

聚集索引這種實現(xiàn)方式使得按主鍵的搜索十分高效绪钥,但是輔助索引搜索需要檢索兩遍索引:首先檢索輔助索引獲得主鍵,然后用主鍵到主索引中檢索獲得記錄关炼。

了解不同存儲引擎的索引實現(xiàn)方式對于正確使用和優(yōu)化索引都非常有幫助程腹,例如知道了InnoDB的索引實現(xiàn)后,就很容易明白為什么不建議使用過長的字段作為主鍵儒拂,因為所有輔助索引都引用主索引跪楞,過長的主索引會令輔助索引變得過大。再例如侣灶,用非單調的字段作為主鍵在InnoDB中不是個好主意甸祭,因為InnoDB數(shù)據(jù)文件本身是一顆B+Tree,非單調的主鍵會造成在插入新記錄時數(shù)據(jù)文件為了維持B+Tree的特性而頻繁的分裂調整褥影,十分低效池户,而使用自增字段作為主鍵則是一個很好的選擇。

索引使用策略及優(yōu)化

示例數(shù)據(jù)庫

MySQL官方文檔中提供的示例數(shù)據(jù)庫之一:employees

E-R關系圖.png

InnoDB的主鍵選擇與優(yōu)化

在使用InnoDB存儲引擎時凡怎,如果沒有特別的需要校焦,請永遠使用一個與業(yè)務無關的自增字段作為主鍵。

經(jīng)惩车梗看到有帖子或博客討論主鍵選擇問題寨典,有人建議使用業(yè)務無關的自增主鍵,有人覺得沒有必要房匆,完全可以使用如學號或身份證號這種唯一字段作為主鍵耸成。不論支持哪種論點,大多數(shù)論據(jù)都是業(yè)務層面的浴鸿。如果從數(shù)據(jù)庫索引優(yōu)化角度看井氢,使用InnoDB引擎而不使用自增主鍵絕對是一個糟糕的主意。

上文討論過InnoDB的索引實現(xiàn)岳链,InnoDB使用聚集索引花竞,數(shù)據(jù)記錄本身被存于主索引(一顆B+Tree)的葉子節(jié)點上。這就要求同一個葉子節(jié)點內(大小為一個內存頁或磁盤頁)的各條數(shù)據(jù)記錄按主鍵順序存放掸哑,因此每當有一條新的記錄插入時约急,MySQL會根據(jù)其主鍵將其插入適當?shù)墓?jié)點和位置,如果頁面達到裝載因子(InnoDB默認為15/16)苗分,則開辟一個新的頁(節(jié)點)厌蔽。

如果表使用自增主鍵,那么每次插入新的記錄俭嘁,記錄就會順序添加到當前索引節(jié)點的后續(xù)位置躺枕,當一頁寫滿服猪,就會自動開辟一個新的頁供填。如下圖所示:

image.png

這樣就會形成一個緊湊的索引結構拐云,近似順序填滿。由于每次插入時也不需要移動已有數(shù)據(jù)近她,因此效率很高叉瘩,也不會增加很多開銷在維護索引上。

如果使用非自增主鍵(如果身份證號或學號等)粘捎,由于每次插入主鍵的值近似于隨機薇缅,因此每次新紀錄都要被插到現(xiàn)有索引頁得中間某個位置

image.png

此時MySQL不得不為了將新記錄插到合適位置而移動數(shù)據(jù),甚至目標頁面可能已經(jīng)被回寫到磁盤上而從緩存中清掉攒磨,此時又要從磁盤上讀回來泳桦,這增加了很多開銷,同時頻繁的移動娩缰、分頁操作造成了大量的碎片灸撰,得到了不夠緊湊的索引結構,后續(xù)不得不通過OPTIMIZE TABLE來重建表并優(yōu)化填充頁面拼坎。

因此浮毯,只要可以,請盡量在InnoDB上采用自增字段做主鍵泰鸡。

索引類型

唯一索引(unique index) 
主鍵
全文索引:InnoDB不支持债蓝,MyISAM支持性能比較好,一般在 CHAR盛龄、VARCHAR 或 TEXT 列上創(chuàng)建饰迹。
單列索引與多列索引
聚簇索引

索引選擇性與前綴索引

所謂索引的選擇性(Selectivity),是指不重復的索引值(也叫基數(shù)余舶,Cardinality)與表記錄數(shù)(#T)的比值:
Index Selectivity = Cardinality / #T
基數(shù)可以通過 “show index from 表名”查看蹦锋。高索引選擇性的好處就是mysql查找匹配的時候可以過濾更多的行,唯一索引的選擇性最佳欧芽,值為1莉掂。 那么對于非唯一索引或者說要被創(chuàng)建索引的列的數(shù)據(jù)內容很長,那就要選擇索引前綴千扔。這里就簡單說明一下:

mysql> select count(distinct(username))/count(*)  from one;  
+------------------------------------+  
| count(distinct(username))/count(*) |  
+------------------------------------+  
|                             0.2047 |  
+------------------------------------+  
1 row in set (0.09 sec)  

有一種與索引選擇性有關的索引優(yōu)化策略叫做前綴索引憎妙,就是用列的前綴代替整個列作為索引key,當前綴長度合適時曲楚,可以做到既使得前綴索引的選擇性接近全列索引厘唾,同時因為索引key變短而減少了索引文件的大小和維護開銷。下面以employees.employees表為例介紹前綴索引的選擇和使用龙誊。
從圖12可以看到employees表只有一個索引<emp_no>抚垃,那么如果我們想按名字搜索一個人,就只能全表掃描了:

EXPLAIN SELECT * FROM employees.employees WHERE first_name='Eric' AND last_name='Anido';
+----+-------------+-----------+------+---------------+------+---------+------+--------+-------------+
| id | select_type | table     | type | possible_keys | key  | key_len | ref  | rows   | Extra       |
+----+-------------+-----------+------+---------------+------+---------+------+--------+-------------+
|  1 | SIMPLE      | employees | ALL  | NULL          | NULL | NULL    | NULL | 300024 | Using where |
+----+-------------+-----------+------+---------------+------+---------+------+--------+-------------+

如果頻繁按名字搜索員工铣焊,這樣顯然效率很低,因此我們可以考慮建索引曲伊。有兩種選擇,建<first_name>或<first_name, last_name>坟募,看下兩個索引的選擇性:

SELECT count(DISTINCT(first_name))/count(*) AS Selectivity FROM employees.employees;
+-------------+
| Selectivity |
+-------------+
|      0.0042 |
+-------------+
SELECT count(DISTINCT(concat(first_name, last_name)))/count(*) AS Selectivity FROM employees.employees;
+-------------+
| Selectivity |
+-------------+
|      0.9313 |
+-------------+

<first_name>顯然選擇性太低,<first_name, last_name>選擇性很好懈糯,但是first_name和last_name加起來長度為30,有沒有兼顧長度和選擇性的辦法单雾?可以考慮用first_name和last_name的前幾個字符建立索引昂利,例如<first_name, left(last_name, 4)>,看看其選擇性:

SELECT count(DISTINCT(concat(first_name, left(last_name, 4))))/count(*) AS Selectivity FROM employees.employees;
+-------------+
| Selectivity |
+-------------+
|      0.9007 |
+-------------+

mysql查詢執(zhí)行流程

mysql查詢執(zhí)行流程.png
  1. 查詢緩存铁坎,判斷sql語句是否完全匹配蜂奸,再判斷是否有權限,兩個判斷為假則到解析器解析語句硬萍,為真則提取數(shù)據(jù)結果返回給用戶扩所。 2. 解析器解析。解析器先詞法分析朴乖,語法分析祖屏,檢查錯誤比如引號有沒閉合等,然后生成解析樹买羞。 3. 預處理袁勺。預處理解決解析器無法決解的語義,如檢查表和列是否存在畜普,別名是否有錯期丰,生成新的解析樹。 4. 優(yōu)化器做大量的優(yōu)化操作吃挑。 5. 生成執(zhí)行計劃钝荡。 6. 查詢執(zhí)行引擎,負責調度引擎獲取相應數(shù)據(jù) 7. 返回結果舶衬。
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末埠通,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子逛犹,更是在濱河造成了極大的恐慌端辱,老刑警劉巖梁剔,帶你破解...
    沈念sama閱讀 216,544評論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異舞蔽,居然都是意外死亡荣病,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,430評論 3 392
  • 文/潘曉璐 我一進店門喷鸽,熙熙樓的掌柜王于貴愁眉苦臉地迎上來众雷,“玉大人灸拍,你說我怎么就攤上這事做祝。” “怎么了鸡岗?”我有些...
    開封第一講書人閱讀 162,764評論 0 353
  • 文/不壞的土叔 我叫張陵混槐,是天一觀的道長。 經(jīng)常有香客問我声登,道長揣苏,這世上最難降的妖魔是什么卸察? 我笑而不...
    開封第一講書人閱讀 58,193評論 1 292
  • 正文 為了忘掉前任坑质,我火速辦了婚禮,結果婚禮上稼跳,老公的妹妹穿的比我還像新娘汤善。我一直安慰自己票彪,他們只是感情好抹镊,可當我...
    茶點故事閱讀 67,216評論 6 388
  • 文/花漫 我一把揭開白布垮耳。 她就那樣靜靜地躺著,像睡著了一般俊嗽。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上芯咧,一...
    開封第一講書人閱讀 51,182評論 1 299
  • 那天敬飒,我揣著相機與錄音无拗,去河邊找鬼英染。 笑死被饿,一個胖子當著我的面吹牛,可吹牛的內容都是我干的闪金。 我是一名探鬼主播毕泌,決...
    沈念sama閱讀 40,063評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼撼泛,長吁一口氣:“原來是場噩夢啊……” “哼愿题!你這毒婦竟也來了蛙奖?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 38,917評論 0 274
  • 序言:老撾萬榮一對情侶失蹤仔夺,失蹤者是張志新(化名)和其女友劉穎缸兔,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體昂拂,經(jīng)...
    沈念sama閱讀 45,329評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡抛猖,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,543評論 2 332
  • 正文 我和宋清朗相戀三年财著,在試婚紗的時候發(fā)現(xiàn)自己被綠了瓢宦。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片灰羽。...
    茶點故事閱讀 39,722評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖玫镐,靈堂內的尸體忽然破棺而出恐似,到底是詐尸還是另有隱情傍念,我是刑警寧澤,帶...
    沈念sama閱讀 35,425評論 5 343
  • 正文 年R本政府宣布双藕,位于F島的核電站忧陪,受9級特大地震影響近范,放射性物質發(fā)生泄漏。R本人自食惡果不足惜叶堆,卻給世界環(huán)境...
    茶點故事閱讀 41,019評論 3 326
  • 文/蒙蒙 一虱颗、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧咐熙,春花似錦辨萍、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,671評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽椅棺。三九已至两疚,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間丐巫,已是汗流浹背递胧。 一陣腳步聲響...
    開封第一講書人閱讀 32,825評論 1 269
  • 我被黑心中介騙來泰國打工赡茸, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留坛掠,地道東北人。 一個月前我還...
    沈念sama閱讀 47,729評論 2 368
  • 正文 我出身青樓舷蒲,卻偏偏與公主長得像牲平,于是被迫代替她去往敵國和親域滥。 傳聞我的和親對象是個殘疾皇子蜈抓,可洞房花燭夜當晚...
    茶點故事閱讀 44,614評論 2 353

推薦閱讀更多精彩內容