來源:http://www.cnblogs.com/tgycoder/p/5410057.html
https://www.2cto.com/database/201501/368126.html
MySQL官方對索引的定義為:索引(Index)是幫助MySQL高效獲取數(shù)據(jù)的數(shù)據(jù)結構吃环。
二分查找要求被檢索數(shù)據(jù)有序炬搭,而二叉樹查找只能應用于二叉查找樹上,但是數(shù)據(jù)本身的組織結構不可能完全滿足各種數(shù)據(jù)結構(例如,理論上不可能同時將兩列都按順序進行組織)狼讨。
文件系統(tǒng)及數(shù)據(jù)庫系統(tǒng)普遍采用B-/+Tree作為索引結構,
索引本身也很大柒竞,不可能全部存儲在內存中政供,因此索引往往以索引文件的形式存儲的磁盤上桥温。這樣的話世剖,索引查找過程中就要產(chǎn)生磁盤I/O消耗咆繁,相對于內存存取揖赴,I/O存取的消耗要高幾個數(shù)量級勒魔,所以評價一個數(shù)據(jù)結構作為索引的優(yōu)劣最重要的指標就是在查找過程中磁盤I/O操作次數(shù)的漸進復雜度夸盟。換句話說铛嘱,索引的結構組織要盡量減少查找過程中磁盤I/O的存取次數(shù)夹供。
主存存取原理
目前計算機使用的主存基本都是隨機讀寫存儲器(RAM)霎俩,現(xiàn)代RAM的結構和存取原理比較復雜哀军,這里本文拋卻具體差別沉眶,抽象出一個十分簡單的存取模型來說明RAM的工作原理。
主存存取的時間僅與存取次數(shù)呈線性關系杉适,因為不存在機械操作谎倔,兩次存取的數(shù)據(jù)的“距離”不會對時間有任何影響,例如猿推,先取A0再取A1和先取A0再取D3的時間消耗是一樣的片习。
磁盤存取原理
索引一般以文件形式存儲在磁盤上,索引檢索需要磁盤I/O操作蹬叭。與主存不同藕咏,磁盤I/O存在機械運動耗費,因此磁盤I/O的時間消耗是巨大的具垫。
侈离,磁盤往往不是嚴格按需讀取,而是每次都會預讀筝蚕,即使只需要一個字節(jié)卦碾,磁盤也會從這個位置開始,順序向后讀取一定長度的數(shù)據(jù)放入內存起宽。這樣做的理論依據(jù)是計算機科學中著名的局部性原理:
當一個數(shù)據(jù)被用到時洲胖,其附近的數(shù)據(jù)也通常會馬上被使用。
程序運行期間所需要的數(shù)據(jù)通常比較集中坯沪。
Hash索引
MySQL中绿映,只有Memory(Memory表只存在內存中,斷電會消失腐晾,適用于臨時表)存儲引擎顯示支持Hash索引叉弦,是Memory表的默認索引類型,盡管Memory表也可以使用B+Tree索引藻糖。hsah索引把數(shù)據(jù)的索引以hash形式組織起來淹冰,因此當查找某一條記錄的時候,速度非常快巨柒。當時因為是hash結構樱拴,每個鍵只對應一個值,而且是散列的方式分布洋满。所以他并不支持范圍查找和排序等功能晶乔。
B-/+Tree索引的性能分析
從使用磁盤I/O次數(shù)評價索引結構的優(yōu)劣性:根據(jù)B-Tree的定義,可知檢索一次最多需要訪問h個結點牺勾。數(shù)據(jù)庫系統(tǒng)的設計者巧妙的利用了磁盤預讀原理正罢,將一個結點的大小設為等于一個頁面,這樣每個結點只需要一次I/O就可以完全載入驻民。為了達到這個目的翻具,在實際實現(xiàn)B-Tree還需要使用如下技巧:
每次新建結點時袱饭,直接申請一個頁面的空間,這樣可以保證一個結點的大小等于一個頁面呛占,加之計算機存儲分配都是按頁對齊的虑乖,就實現(xiàn)了一個node只需一次I/O。
B-Tree中一次檢索最多需要h-1次I/O(根結點常駐內存)晾虑,漸進復雜度為O(h)=O(logdN)疹味。一般實際應用中,出讀d是非常大的數(shù)字帜篇,通常超過100糙捺,因此h非常小。
綜上所述笙隙,用B-Tree作為索引結構效率是非常高的洪灯。
而紅黑樹結構,h明顯要深得多竟痰。由于邏輯上很近的結點(父子結點)物理上可能離得很遠签钩,無法利用局部性原理。所以即使紅黑樹的I/O漸進復雜度也為O(h)坏快,但是查找效率明顯比B-Tree差得多铅檩。
B+Tree更適合外存索引,是和內結點出度d有關莽鸿。從上面分析可以看到昧旨,d越大索引的性能越好,而出度的上限取決于結點內key和data的大邢榈谩:dmax=floor(pagesize/(keysize+datasize+pointsize))兔沃。
floor表示向下取整。由于B+Tree內結點去掉了data域级及,因此可以擁有更大的出度乒疏,擁有更好的性能。
這一章從理論角度討論了與索引相關的數(shù)據(jù)結構與算法問題创千,下一章將討論B+Tree是如何具體實現(xiàn)為MySQL中索引缰雇,同時將結合MyISAM和InnDB存儲引擎介紹非聚集索引和聚集索引兩種不同的索引實現(xiàn)形式入偷。
MySQL索引實現(xiàn)
MyISAM索引實現(xiàn)
MyISAM引擎使用B+Tree作為索引結構追驴,葉結點的data域存放的是數(shù)據(jù)記錄的地址。下面是MyISAM索引的原理圖:
這里設表一共有三列疏之,假設我們以Col1為主鍵殿雪,則圖8是一個MyISAM表的主索引(Primary key)示意》孀Γ可以看出MyISAM的索引文件僅僅保存數(shù)據(jù)記錄的地址丙曙。在MyISAM中爸业,主索引和輔助索引(Secondary key)在結構上沒有任何區(qū)別,只是主索引要求key是唯一的亏镰,而輔助索引的key可以重復扯旷。如果我們在Col2上建立一個輔助索引,則此索引的結構如下圖所示:
同樣也是一顆B+Tree索抓,data域保存數(shù)據(jù)記錄的地址钧忽。因此,MyISAM中索引檢索的算法為首先按照B+Tree搜索算法搜索索引逼肯,如果指定的Key存在耸黑,則取出其data域的值,然后以data域的值為地址篮幢,讀取相應數(shù)據(jù)記錄大刊。
MyISAM的索引方式也叫做“非聚集”的,之所以這么稱呼是為了與InnoDB的聚集索引區(qū)分三椿。
InnoDB索引實現(xiàn)
雖然InnoDB也使用B+Tree作為索引結構缺菌,但具體實現(xiàn)方式卻與MyISAM截然不同。
第一個重大區(qū)別是InnoDB的數(shù)據(jù)文件本身就是索引文件搜锰。從上文知道男翰,MyISAM索引文件和數(shù)據(jù)文件是分離的,索引文件僅保存數(shù)據(jù)記錄的地址纽乱。而在InnoDB中蛾绎,表數(shù)據(jù)文件本身就是按B+Tree組織的一個索引結構,這棵樹的葉結點data域保存了完整的數(shù)據(jù)記錄鸦列。這個索引的key是數(shù)據(jù)表的主鍵租冠,因此InnoDB表數(shù)據(jù)文件本身就是主索引。
可以看到葉結點包含了完整的數(shù)據(jù)記錄薯嗤。這種索引叫做聚集索引顽爹。因為InnoDB的數(shù)據(jù)文件本身要按主鍵聚集,所以InnoDB要求表必須有主鍵(MyISAM可以沒有)骆姐,如果沒有顯式指定镜粤,則MySQL系統(tǒng)會自動選擇一個可以唯一標識數(shù)據(jù)記錄的列作為主鍵,如果不存在這種列玻褪,則MySQL自動為InnoDB表生成一個隱含字段作為主鍵肉渴,這個字段長度為6個字節(jié),類型為長整形带射。
第二個與MyISAM索引的不同是InnoDB的輔助索引data域存儲相應記錄主鍵的值而不是地址同规。換句話說,InnoDB的所有輔助索引都引用主鍵作為data域。例如券勺,圖11為定義在Col3上的一個輔助索引:
聚集索引這種實現(xiàn)方式使得按主鍵的搜索十分高效绪钥,但是輔助索引搜索需要檢索兩遍索引:首先檢索輔助索引獲得主鍵,然后用主鍵到主索引中檢索獲得記錄关炼。
了解不同存儲引擎的索引實現(xiàn)方式對于正確使用和優(yōu)化索引都非常有幫助程腹,例如知道了InnoDB的索引實現(xiàn)后,就很容易明白為什么不建議使用過長的字段作為主鍵儒拂,因為所有輔助索引都引用主索引跪楞,過長的主索引會令輔助索引變得過大。再例如侣灶,用非單調的字段作為主鍵在InnoDB中不是個好主意甸祭,因為InnoDB數(shù)據(jù)文件本身是一顆B+Tree,非單調的主鍵會造成在插入新記錄時數(shù)據(jù)文件為了維持B+Tree的特性而頻繁的分裂調整褥影,十分低效池户,而使用自增字段作為主鍵則是一個很好的選擇。
索引使用策略及優(yōu)化
示例數(shù)據(jù)庫
MySQL官方文檔中提供的示例數(shù)據(jù)庫之一:employees
InnoDB的主鍵選擇與優(yōu)化
在使用InnoDB存儲引擎時凡怎,如果沒有特別的需要校焦,請永遠使用一個與業(yè)務無關的自增字段作為主鍵。
經(jīng)惩车梗看到有帖子或博客討論主鍵選擇問題寨典,有人建議使用業(yè)務無關的自增主鍵,有人覺得沒有必要房匆,完全可以使用如學號或身份證號這種唯一字段作為主鍵耸成。不論支持哪種論點,大多數(shù)論據(jù)都是業(yè)務層面的浴鸿。如果從數(shù)據(jù)庫索引優(yōu)化角度看井氢,使用InnoDB引擎而不使用自增主鍵絕對是一個糟糕的主意。
上文討論過InnoDB的索引實現(xiàn)岳链,InnoDB使用聚集索引花竞,數(shù)據(jù)記錄本身被存于主索引(一顆B+Tree)的葉子節(jié)點上。這就要求同一個葉子節(jié)點內(大小為一個內存頁或磁盤頁)的各條數(shù)據(jù)記錄按主鍵順序存放掸哑,因此每當有一條新的記錄插入時约急,MySQL會根據(jù)其主鍵將其插入適當?shù)墓?jié)點和位置,如果頁面達到裝載因子(InnoDB默認為15/16)苗分,則開辟一個新的頁(節(jié)點)厌蔽。
如果表使用自增主鍵,那么每次插入新的記錄俭嘁,記錄就會順序添加到當前索引節(jié)點的后續(xù)位置躺枕,當一頁寫滿服猪,就會自動開辟一個新的頁供填。如下圖所示:
這樣就會形成一個緊湊的索引結構拐云,近似順序填滿。由于每次插入時也不需要移動已有數(shù)據(jù)近她,因此效率很高叉瘩,也不會增加很多開銷在維護索引上。
如果使用非自增主鍵(如果身份證號或學號等)粘捎,由于每次插入主鍵的值近似于隨機薇缅,因此每次新紀錄都要被插到現(xiàn)有索引頁得中間某個位置
此時MySQL不得不為了將新記錄插到合適位置而移動數(shù)據(jù),甚至目標頁面可能已經(jīng)被回寫到磁盤上而從緩存中清掉攒磨,此時又要從磁盤上讀回來泳桦,這增加了很多開銷,同時頻繁的移動娩缰、分頁操作造成了大量的碎片灸撰,得到了不夠緊湊的索引結構,后續(xù)不得不通過OPTIMIZE TABLE來重建表并優(yōu)化填充頁面拼坎。
因此浮毯,只要可以,請盡量在InnoDB上采用自增字段做主鍵泰鸡。
索引類型
唯一索引(unique index)
主鍵
全文索引:InnoDB不支持债蓝,MyISAM支持性能比較好,一般在 CHAR盛龄、VARCHAR 或 TEXT 列上創(chuàng)建饰迹。
單列索引與多列索引
聚簇索引
索引選擇性與前綴索引
所謂索引的選擇性(Selectivity),是指不重復的索引值(也叫基數(shù)余舶,Cardinality)與表記錄數(shù)(#T)的比值:
Index Selectivity = Cardinality / #T
基數(shù)可以通過 “show index from 表名”查看蹦锋。高索引選擇性的好處就是mysql查找匹配的時候可以過濾更多的行,唯一索引的選擇性最佳欧芽,值為1莉掂。 那么對于非唯一索引或者說要被創(chuàng)建索引的列的數(shù)據(jù)內容很長,那就要選擇索引前綴千扔。這里就簡單說明一下:
mysql> select count(distinct(username))/count(*) from one;
+------------------------------------+
| count(distinct(username))/count(*) |
+------------------------------------+
| 0.2047 |
+------------------------------------+
1 row in set (0.09 sec)
有一種與索引選擇性有關的索引優(yōu)化策略叫做前綴索引憎妙,就是用列的前綴代替整個列作為索引key,當前綴長度合適時曲楚,可以做到既使得前綴索引的選擇性接近全列索引厘唾,同時因為索引key變短而減少了索引文件的大小和維護開銷。下面以employees.employees表為例介紹前綴索引的選擇和使用龙誊。
從圖12可以看到employees表只有一個索引<emp_no>抚垃,那么如果我們想按名字搜索一個人,就只能全表掃描了:
EXPLAIN SELECT * FROM employees.employees WHERE first_name='Eric' AND last_name='Anido';
+----+-------------+-----------+------+---------------+------+---------+------+--------+-------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+-----------+------+---------------+------+---------+------+--------+-------------+
| 1 | SIMPLE | employees | ALL | NULL | NULL | NULL | NULL | 300024 | Using where |
+----+-------------+-----------+------+---------------+------+---------+------+--------+-------------+
如果頻繁按名字搜索員工铣焊,這樣顯然效率很低,因此我們可以考慮建索引曲伊。有兩種選擇,建<first_name>或<first_name, last_name>坟募,看下兩個索引的選擇性:
SELECT count(DISTINCT(first_name))/count(*) AS Selectivity FROM employees.employees;
+-------------+
| Selectivity |
+-------------+
| 0.0042 |
+-------------+
SELECT count(DISTINCT(concat(first_name, last_name)))/count(*) AS Selectivity FROM employees.employees;
+-------------+
| Selectivity |
+-------------+
| 0.9313 |
+-------------+
<first_name>顯然選擇性太低,<first_name, last_name>選擇性很好懈糯,但是first_name和last_name加起來長度為30,有沒有兼顧長度和選擇性的辦法单雾?可以考慮用first_name和last_name的前幾個字符建立索引昂利,例如<first_name, left(last_name, 4)>,看看其選擇性:
SELECT count(DISTINCT(concat(first_name, left(last_name, 4))))/count(*) AS Selectivity FROM employees.employees;
+-------------+
| Selectivity |
+-------------+
| 0.9007 |
+-------------+
mysql查詢執(zhí)行流程
- 查詢緩存铁坎,判斷sql語句是否完全匹配蜂奸,再判斷是否有權限,兩個判斷為假則到解析器解析語句硬萍,為真則提取數(shù)據(jù)結果返回給用戶扩所。 2. 解析器解析。解析器先詞法分析朴乖,語法分析祖屏,檢查錯誤比如引號有沒閉合等,然后生成解析樹买羞。 3. 預處理袁勺。預處理解決解析器無法決解的語義,如檢查表和列是否存在畜普,別名是否有錯期丰,生成新的解析樹。 4. 優(yōu)化器做大量的優(yōu)化操作吃挑。 5. 生成執(zhí)行計劃钝荡。 6. 查詢執(zhí)行引擎,負責調度引擎獲取相應數(shù)據(jù) 7. 返回結果舶衬。