深入淺出理解索引結(jié)構(gòu)
實(shí)際上徙缴，您可以把索引理解為一種特殊的目錄鹃觉。微軟的SQL SERVER提供了兩種索引：聚集索引（clustered index析校，也稱聚類索引、簇集索引）和非聚集索引（nonclustered index浅侨，也稱非聚類索引、非簇集索引）证膨。下面如输，我們舉例來說明一下聚集索引和非聚集索引的區(qū)別：
其實(shí)，我們的漢語字典的正文本身就是一個聚集索引央勒。比如不见，我們要查“安”字，就會很自然地翻開字典的前幾頁崔步，因?yàn)椤鞍病钡钠匆羰恰癮n”稳吮，而按照拼音排序漢字的字典是以英文字母“a”開頭并以“z”結(jié)尾的，那么“安”字就自然地排在字典的前部井濒。如果您翻完了所有以“a”開頭的部分仍然找不到這個字盖高，那么就說明您的字典中沒有這個字；同樣的眼虱，如果查“張”字喻奥，那您也會將您的字典翻到最后部分，因?yàn)椤皬垺钡钠匆羰恰皕hang”捏悬。也就是說撞蚕，字典的正文部分本身就是一個目錄，您不需要再去查其他目錄來找到您需要找的內(nèi)容过牙。我們把這種正文內(nèi)容本身就是一種按照一定規(guī)則排列的目錄稱為“聚集索引”甥厦。
如果您認(rèn)識某個字纺铭，您可以快速地從自動中查到這個字。但您也可能會遇到您不認(rèn)識的字刀疙，不知道它的發(fā)音舶赔，這時候，您就不能按照剛才的方法找到您要查的字谦秧，而需要去根據(jù)“偏旁部首”查到您要找的字竟纳，然后根據(jù)這個字后的頁碼直接翻到某頁來找到您要找的字。但您結(jié)合“部首目錄”和“檢字表”而查到的字的排序并不是真正的正文的排序方法疚鲤，比如您查“張”字锥累，我們可以看到在查部首之后的檢字表中“張”的頁碼是672頁，檢字表中“張”的上面是“馳”字集歇，但頁碼卻是63頁桶略，“張”的下面是“弩”字，頁面是390頁诲宇。很顯然际歼，這些字并不是真正的分別位于“張”字的上下方，現(xiàn)在您看到的連續(xù)的“馳姑蓝、張鹅心、弩”三字實(shí)際上就是他們在非聚集索引中的排序，是字典正文中的字在非聚集索引中的映射它掂。我們可以通過這種方式來找到您所需要的字巴帮，但它需要兩個過程，先找到目錄中的結(jié)果虐秋，然后再翻到您所需要的頁碼榕茧。我們把這種目錄純粹是目錄，正文純粹是正文的排序方式稱為“非聚集索引”客给。
通過以上例子用押，我們可以理解到什么是“聚集索引”和“非聚集索引”。進(jìn)一步引申一下靶剑，我們可以很容易的理解：每個表只能有一個聚集索引蜻拨，因?yàn)槟夸浿荒馨凑找环N方法進(jìn)行排序。
二桩引、何時使用聚集索引或非聚集索引
下面的表總結(jié)了何時使用聚集索引或非聚集索引（很重要）：
事實(shí)上缎讼，我們可以通過前面聚集索引和非聚集索引的定義的例子來理解上表。如：返回某范圍內(nèi)的數(shù)據(jù)一項(xiàng)坑匠。比如您的某個表有一個時間列血崭，恰好您把聚合索引建立在了該列，這時您查詢2004年1月1日至2004年10月1日之間的全部數(shù)據(jù)時，這個速度就將是很快的夹纫，因?yàn)槟倪@本字典正文是按日期進(jìn)行排序的咽瓷，聚類索引只需要找到要檢索的所有數(shù)據(jù)中的開頭和結(jié)尾數(shù)據(jù)即可；而不像非聚集索引舰讹，必須先查到目錄中查到每一項(xiàng)數(shù)據(jù)對應(yīng)的頁碼茅姜，然后再根據(jù)頁碼查到具體內(nèi)容。
三月匣、結(jié)合實(shí)際钻洒，談索引使用的誤區(qū)
理論的目的是應(yīng)用。雖然我們剛才列出了何時應(yīng)使用聚集索引或非聚集索引桶错，但在實(shí)踐中以上規(guī)則卻很容易被忽視或不能根據(jù)實(shí)際情況進(jìn)行綜合分析航唆。下面我們將根據(jù)在實(shí)踐中遇到的實(shí)際問題來談一下索引使用的誤區(qū)胀蛮，以便于大家掌握索引建立的方法院刁。
1、主鍵就是聚集索引
這種想法筆者認(rèn)為是極端錯誤的粪狼，是對聚集索引的一種浪費(fèi)退腥。雖然SQL SERVER默認(rèn)是在主鍵上建立聚集索引的。
通常再榄，我們會在每個表中都建立一個ID列狡刘，以區(qū)分每條數(shù)據(jù)，并且這個ID列是自動增大的困鸥，步長一般為1嗅蔬。我們的這個辦公自動化的實(shí)例中的列Gid就是如此。此時疾就，如果我們將這個列設(shè)為主鍵澜术，SQL SERVER會將此列默認(rèn)為聚集索引。這樣做有好處猬腰，就是可以讓您的數(shù)據(jù)在數(shù)據(jù)庫中按照ID進(jìn)行物理排序鸟废，但筆者認(rèn)為這樣做意義不大。
顯而易見姑荷，聚集索引的優(yōu)勢是很明顯的盒延，而每個表中只能有一個聚集索引的規(guī)則，這使得聚集索引變得更加珍貴鼠冕。
從我們前面談到的聚集索引的定義我們可以看出添寺，使用聚集索引的最大好處就是能夠根據(jù)查詢要求，迅速縮小查詢范圍懈费，避免全表掃描计露。在實(shí)際應(yīng)用中，因?yàn)镮D號是自動生成的，我們并不知道每條記錄的ID號薄坏，所以我們很難在實(shí)踐中用ID號來進(jìn)行查詢趋厉。這就使讓ID號這個主鍵作為聚集索引成為一種資源浪費(fèi)。其次胶坠，讓每個ID號都不同的字段作為聚集索引也不符合“大數(shù)目的不同值情況下不應(yīng)建立聚合索引”規(guī)則君账；當(dāng)然，這種情況只是針對用戶經(jīng)常修改記錄內(nèi)容沈善，特別是索引項(xiàng)的時候會負(fù)作用乡数，但對于查詢速度并沒有影響。
在辦公自動化系統(tǒng)中闻牡，無論是系統(tǒng)首頁顯示的需要用戶簽收的文件净赴、會議還是用戶進(jìn)行文件查詢等任何情況下進(jìn)行數(shù)據(jù)查詢都離不開字段的是“日期”還有用戶本身的“用戶名”。
通常罩润，辦公自動化的首頁會顯示每個用戶尚未簽收的文件或會議玖翅。雖然我們的where語句可以僅僅限制當(dāng)前用戶尚未簽收的情況，但如果您的系統(tǒng)已建立了很長時間割以，并且數(shù)據(jù)量很大金度，那么，每次每個用戶打開首頁的時候都進(jìn)行一次全表掃描严沥，這樣做意義是不大的猜极，絕大多數(shù)的用戶1個月前的文件都已經(jīng)瀏覽過了，這樣做只能徒增數(shù)據(jù)庫的開銷而已消玄。事實(shí)上跟伏，我們完全可以讓用戶打開系統(tǒng)首頁時，數(shù)據(jù)庫僅僅查詢這個用戶近3個月來未閱覽的文件翩瓜，通過“日期”這個字段來限制表掃描受扳，提高查詢速度。如果您的辦公自動化系統(tǒng)已經(jīng)建立的2年奥溺，那么您的首頁顯示速度理論上將是原來速度8倍辞色，甚至更快。
在這里之所以提到“理論上”三字浮定，是因?yàn)槿绻木奂饕€是盲目地建在ID這個主鍵上時相满，您的查詢速度是沒有這么高的，即使您在“日期”這個字段上建立的索引（非聚合索引）桦卒。下面我們就來看一下在1000萬條數(shù)據(jù)量的情況下各種查詢的速度表現(xiàn)（3個月內(nèi)的數(shù)據(jù)為25萬條）：
（1）僅在主鍵上建立聚集索引立美，并且不劃分時間段：
1.Select gid,fariqi,neibuyonghu,title from tgongwen
用時：128470毫秒（即：128秒）
（2）在主鍵上建立聚集索引，在fariq上建立非聚集索引：
1.select gid,fariqi,neibuyonghu,title from Tgongwen
2.where fariqi> dateadd(day,-90,getdate())
用時：53763毫秒（54秒）
（3）將聚合索引建立在日期列（fariqi）上：
1.select gid,fariqi,neibuyonghu,title from Tgongwen
2.where fariqi> dateadd(day,-90,getdate())
用時：2423毫秒（2秒）
雖然每條語句提取出來的都是25萬條數(shù)據(jù)方灾，各種情況的差異卻是巨大的建蹄，特別是將聚集索引建立在日期列時的差異碌更。事實(shí)上，如果您的數(shù)據(jù)庫真的有1000萬容量的話洞慎，把主鍵建立在ID列上痛单，就像以上的第1、2種情況劲腿，在網(wǎng)頁上的表現(xiàn)就是超時旭绒，根本就無法顯示。這也是我摒棄ID列作為聚集索引的一個最重要的因素焦人。得出以上速度的方法是：在各個select語句前加：
1.declare @d datetime
2.set @d=getdate()
并在select語句后加：
1.select [語句執(zhí)行花費(fèi)時間(毫秒)]=datediff(ms,@d,getdate())
2挥吵、只要建立索引就能顯著提高查詢速度
事實(shí)上，我們可以發(fā)現(xiàn)上面的例子中花椭，第2忽匈、3條語句完全相同，且建立索引的字段也相同矿辽；不同的僅是前者在fariqi字段上建立的是非聚合索引丹允，后者在此字段上建立的是聚合索引，但查詢速度卻有著天壤之別嗦锐。所以嫌松，并非是在任何字段上簡單地建立索引就能提高查詢速度沪曙。
從建表的語句中奕污，我們可以看到這個有著1000萬數(shù)據(jù)的表中fariqi字段有5003個不同記錄。在此字段上建立聚合索引是再合適不過了液走。在現(xiàn)實(shí)中碳默，我們每天都會發(fā)幾個文件，這幾個文件的發(fā)文日期就相同缘眶，這完全符合建立聚集索引要求的：“既不能絕大多數(shù)都相同嘱根，又不能只有極少數(shù)相同”的規(guī)則。由此看來巷懈，我們建立“適當(dāng)”的聚合索引對于我們提高查詢速度是非常重要的该抒。
3、把所有需要提高查詢速度的字段都加進(jìn)聚集索引顶燕，以提高查詢速度
上面已經(jīng)談到：在進(jìn)行數(shù)據(jù)查詢時都離不開字段的是“日期”還有用戶本身的“用戶名”凑保。既然這兩個字段都是如此的重要，我們可以把他們合并起來涌攻，建立一個復(fù)合索引（compound index）欧引。
很多人認(rèn)為只要把任何字段加進(jìn)聚集索引，就能提高查詢速度恳谎，也有人感到迷惑：如果把復(fù)合的聚集索引字段分開查詢芝此，那么查詢速度會減慢嗎憋肖？帶著這個問題，我們來看一下以下的查詢速度（結(jié)果集都是25萬條數(shù)據(jù)）：（日期列fariqi首先排在復(fù)合聚集索引的起始列婚苹，用戶名neibuyonghu排在后列）：
1.（1）select gid,fariqi,neibuyonghu,title from Tgongwen where fariqi>''2004-5-5''
查詢速度：2513毫秒
1.（2）select gid,fariqi,neibuyonghu,title from Tgongwen where fariqi>''2004-5-5'' and neibuyonghu=''辦公室''
查詢速度：2516毫秒
1.（3）select gid,fariqi,neibuyonghu,title from Tgongwen where neibuyonghu=''辦公室''
查詢速度：60280毫秒
從以上試驗(yàn)中岸更，我們可以看到如果僅用聚集索引的起始列作為查詢條件和同時用到復(fù)合聚集索引的全部列的查詢速度是幾乎一樣的，甚至比用上全部的復(fù)合索引列還要略快（在查詢結(jié)果集數(shù)目一樣的情況下）膊升；而如果僅用復(fù)合聚集索引的非起始列作為查詢條件的話坐慰，這個索引是不起任何作用的。當(dāng)然用僧，語句1结胀、2的查詢速度一樣是因?yàn)椴樵兊臈l目數(shù)一樣，如果復(fù)合索引的所有列都用上责循，而且查詢結(jié)果少的話糟港，這樣就會形成“索引覆蓋”，因而性能可以達(dá)到最優(yōu)院仿。同時秸抚，請記住：無論您是否經(jīng)常使用聚合索引的其他列歹垫，但其前導(dǎo)列一定要是使用最頻繁的列剥汤。
四、其他書上沒有的索引使用經(jīng)驗(yàn)總結(jié)
1排惨、用聚合索引比用不是聚合索引的主鍵速度快
下面是實(shí)例語句：（都是提取25萬條數(shù)據(jù)）
1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=''2004-9-16''
使用時間：3326毫秒
1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where gid<=250000
使用時間：4470毫秒
這里吭敢，用聚合索引比用不是聚合索引的主鍵速度快了近1/4。
2暮芭、用聚合索引比用一般的主鍵作order by時速度快鹿驼，特別是在小數(shù)據(jù)量情況下
1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen order by fariqi
用時：12936
1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen order by gid
用時：18843
這里，用聚合索引比用一般的主鍵作order by時辕宏，速度快了3/10畜晰。事實(shí)上，如果數(shù)據(jù)量很小的話瑞筐，用聚集索引作為排序列要比使用非聚集索引速度快得明顯的多凄鼻；而數(shù)據(jù)量如果很大的話，如10萬以上聚假，則二者的速度差別不明顯块蚌。
3、使用聚合索引內(nèi)的時間段魔策，搜索時間會按數(shù)據(jù)占整個數(shù)據(jù)表的百分比成比例減少匈子，而無論聚合索引使用了多少個：
1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi>''2004-1-1''
用時：6343毫秒（提取100萬條）
1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi>''2004-6-6''
用時：3170毫秒（提取50萬條）
1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=''2004-9-16''
用時：3326毫秒（和上句的結(jié)果一模一樣。如果采集的數(shù)量一樣闯袒，那么用大于號和等于號是一樣的）
1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi>''2004-1-1'' and fariqi<''2004-6-6''
用時：3280毫秒
4虎敦、日期列不會因?yàn)橛蟹置氲妮斎攵鴾p慢查詢速度
下面的例子中游岳，共有100萬條數(shù)據(jù)，2004年1月1日以后的數(shù)據(jù)有50萬條其徙，但只有兩個不同的日期胚迫，日期精確到日；之前有數(shù)據(jù)50萬條唾那，有5000個不同的日期访锻，日期精確到秒。
1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi>''2004-1-1'' order by fariqi
用時：6390毫秒
1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi<''2004-1-1'' order by fariqi
用時：6453毫秒
五闹获、其他注意事項(xiàng)
“水可載舟期犬，亦可覆舟”，索引也一樣避诽。索引有助于提高檢索性能龟虎，但過多或不當(dāng)?shù)乃饕矔?dǎo)致系統(tǒng)低效。因?yàn)橛脩粼诒碇忻考舆M(jìn)一個索引沙庐，數(shù)據(jù)庫就要做更多的工作鲤妥。過多的索引甚至?xí)?dǎo)致索引碎片。
所以說拱雏，我們要建立一個“適當(dāng)”的索引體系棉安，特別是對聚合索引的創(chuàng)建，更應(yīng)精益求精铸抑，以使您的數(shù)據(jù)庫能得到高性能的發(fā)揮贡耽。
當(dāng)然，在實(shí)踐中羡滑，作為一個盡職的數(shù)據(jù)庫管理員菇爪，您還要多測試一些方案，找出哪種方案效率最高柒昏、最為有效。
（二）改善SQL語句
很多人不知道SQL語句在SQL SERVER中是如何執(zhí)行的熙揍，他們擔(dān)心自己所寫的SQL語句會被SQL SERVER誤解职祷。比如：
1.select * from table1 where name=''zhangsan'' and tID > 10000和執(zhí)行select * from table1 where tID > 10000 and name=''zhangsan''
一些人不知道以上兩條語句的執(zhí)行效率是否一樣，因?yàn)槿绻唵蔚膹恼Z句先后上看届囚，這兩個語句的確是不一樣有梆，如果tID是一個聚合索引，那么后一句僅僅從表的10000條以后的記錄中查找就行了意系；而前一句則要先從全表中查找看有幾個name=''zhangsan''的泥耀，而后再根據(jù)限制條件條件tID>10000來提出查詢結(jié)果。
事實(shí)上蛔添，這樣的擔(dān)心是不必要的痰催。SQL SERVER中有一個“查詢分析優(yōu)化器”兜辞，它可以計算出where子句中的搜索條件并確定哪個索引能縮小表掃描的搜索空間，也就是說夸溶，它能實(shí)現(xiàn)自動優(yōu)化逸吵。
雖然查詢優(yōu)化器可以根據(jù)where子句自動的進(jìn)行查詢優(yōu)化，但大家仍然有必要了解一下“查詢優(yōu)化器”的工作原理缝裁，如非這樣扫皱，有時查詢優(yōu)化器就會不按照您的本意進(jìn)行快速查詢。
在查詢分析階段捷绑，查詢優(yōu)化器查看查詢的每個階段并決定限制需要掃描的數(shù)據(jù)量是否有用韩脑。如果一個階段可以被用作一個掃描參數(shù)（SARG），那么就稱之為可優(yōu)化的粹污，并且可以利用索引快速獲得所需數(shù)據(jù)扰才。
SARG的定義：用于限制搜索的一個操作，因?yàn)樗ǔＪ侵敢粋€特定的匹配厕怜，一個值得范圍內(nèi)的匹配或者兩個以上條件的AND連接衩匣。形式如下：
列名 操作符 <常數(shù) 或 變量>或<常數(shù) 或 變量> 操作符列名
列名可以出現(xiàn)在操作符的一邊，而常數(shù)或變量出現(xiàn)在操作符的另一邊粥航。如：
Name=’張三’
價格>5000
5000<價格
Name=’張三’ and 價格>5000
如果一個表達(dá)式不能滿足SARG的形式琅捏，那它就無法限制搜索的范圍了，也就是SQL SERVER必須對每一行都判斷它是否滿足WHERE子句中的所有條件递雀。所以一個索引對于不滿足SARG形式的表達(dá)式來說是無用的柄延。
介紹完SARG后，我們來總結(jié)一下使用SARG以及在實(shí)踐中遇到的和某些資料上結(jié)論不同的經(jīng)驗(yàn)：
1缀程、Like語句是否屬于SARG取決于所使用的通配符的類型
如：name like ‘張%’ 搜吧，這就屬于SARG
而：name like ‘%張’ ,就不屬于SARG。
原因是通配符%在字符串的開通使得索引無法使用杨凑。
2滤奈、or 會引起全表掃描
Name=’張三’ and 價格>5000 符號SARG，而：Name=’張三’ or 價格>5000 則不符合SARG撩满。使用or會引起全表掃描蜒程。
3、非操作符伺帘、函數(shù)引起的不滿足SARG形式的語句
不滿足SARG形式的語句最典型的情況就是包括非操作符的語句昭躺，如：NOT、!=伪嫁、<>领炫、!<、!>张咳、NOT EXISTS帝洪、NOT IN似舵、NOT LIKE等，另外還有函數(shù)碟狞。下面就是幾個不滿足SARG形式的例子：
ABS(價格)<5000
Name like ‘%三’
有些表達(dá)式啄枕，如：
WHERE 價格*2>5000
SQL SERVER也會認(rèn)為是SARG，SQL SERVER會將此式轉(zhuǎn)化為：
WHERE 價格>2500/2
但我們不推薦這樣使用族沃，因?yàn)橛袝rSQL SERVER不能保證這種轉(zhuǎn)化與原始表達(dá)式是完全等價的频祝。
4、IN 的作用相當(dāng)與OR
語句：
Select * from table1 where tid in (2,3)和Select * from table1 where tid=2 or tid=3
是一樣的脆淹，都會引起全表掃描常空，如果tid上有索引，其索引也會失效盖溺。
5漓糙、盡量少用NOT
6、exists 和 in 的執(zhí)行效率是一樣的
很多資料上都顯示說烘嘱，exists要比in的執(zhí)行效率要高昆禽，同時應(yīng)盡可能的用not exists來代替not in。但事實(shí)上蝇庭，我試驗(yàn)了一下醉鳖，發(fā)現(xiàn)二者無論是前面帶不帶not，二者之間的執(zhí)行效率都是一樣的哮内。因?yàn)樯婕白硬樵兊量茫覀冊囼?yàn)這次用SQL SERVER自帶的pubs數(shù)據(jù)庫。運(yùn)行前我們可以把SQL SERVER的statistics I/O狀態(tài)打開：
1.（1）select title,price from titles where title_id in (select title_id from sales where qty>30)
該句的執(zhí)行結(jié)果為：
表 ''sales''北发。掃描計數(shù) 18纹因，邏輯讀 56 次，物理讀 0 次琳拨，預(yù)讀 0 次瞭恰。
表 ''titles''。掃描計數(shù) 1从绘，邏輯讀 2 次寄疏，物理讀 0 次，預(yù)讀 0 次僵井。
1.（2）select title,price from titles where exists (select * from sales where sales.title_id=titles.title_id and qty>30)
第二句的執(zhí)行結(jié)果為：
表 ''sales''。掃描計數(shù) 18驳棱，邏輯讀 56 次批什，物理讀 0 次，預(yù)讀 0 次社搅。
表 ''titles''驻债。掃描計數(shù) 1乳规，邏輯讀 2 次，物理讀 0 次合呐，預(yù)讀 0 次暮的。
我們從此可以看到用exists和用in的執(zhí)行效率是一樣的。
7淌实、用函數(shù)charindex()和前面加通配符%的LIKE執(zhí)行效率一樣
前面冻辩，我們談到，如果在LIKE前面加上通配符%拆祈，那么將會引起全表掃描恨闪，所以其執(zhí)行效率是低下的。但有的資料介紹說放坏，用函數(shù)charindex()來代替LIKE速度會有大的提升咙咽，經(jīng)我試驗(yàn)，發(fā)現(xiàn)這種說明也是錯誤的：
1.select gid,title,fariqi,reader from tgongwen where charindex(''刑偵支隊'',reader)>0 and fariqi>''2004-5-5''
用時：7秒淤年，另外：掃描計數(shù) 4钧敞，邏輯讀 7155 次，物理讀 0 次麸粮，預(yù)讀 0 次溉苛。
1.select gid,title,fariqi,reader from tgongwen where reader like ''%'' + ''刑偵支隊'' + ''%'' and fariqi>''2004-5-5''
用時：7秒，另外：掃描計數(shù) 4豹休，邏輯讀 7155 次炊昆，物理讀 0 次，預(yù)讀 0 次威根。
8凤巨、union并不絕對比or的執(zhí)行效率高
我們前面已經(jīng)談到了在where子句中使用or會引起全表掃描，一般的洛搀，我所見過的資料都是推薦這里用union來代替or敢茁。事實(shí)證明，這種說法對于大部分都是適用的留美。
1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=''2004-9-16'' or gid>9990000
用時：68秒彰檬。掃描計數(shù) 1，邏輯讀 404008 次谎砾，物理讀 283 次逢倍，預(yù)讀 392163 次。
1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=''2004-9-16''
2.union
3.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where gid>9990000
用時：9秒景图。掃描計數(shù) 8较雕，邏輯讀 67489 次，物理讀 216 次，預(yù)讀 7499 次亮蒋。
看來匾乓，用union在通常情況下比用or的效率要高的多楞黄。
但經(jīng)過試驗(yàn)犀呼，筆者發(fā)現(xiàn)如果or兩邊的查詢列是一樣的話呻待，那么用union則反倒和用or的執(zhí)行速度差很多，雖然這里union掃描的是索引趁怔，而or掃描的是全表湿硝。
1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=''2004-9-16'' or fariqi=''2004-2-5''
用時：6423毫秒。掃描計數(shù) 2痕钢，邏輯讀 14726 次图柏，物理讀 1 次，預(yù)讀 7176 次任连。
1.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=''2004-9-16''
2.union
3.select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi=''2004-2-5''
用時：11640毫秒蚤吹。掃描計數(shù) 8，邏輯讀 14806 次随抠，物理讀 108 次裁着，預(yù)讀 1144 次。
9拱她、字段提取要按照“需多少二驰、提多少”的原則，避免“select *”
我們來做一個試驗(yàn)：
1.select top 10000 gid,fariqi,reader,title from tgongwen order by gid desc
用時：4673毫秒
1.select top 10000 gid,fariqi,title from tgongwen order by gid desc
用時：1376毫秒
1.select top 10000 gid,fariqi from tgongwen order by gid desc
用時：80毫秒
由此看來秉沼，我們每少提取一個字段桶雀，數(shù)據(jù)的提取速度就會有相應(yīng)的提升。提升的速度還要看您舍棄的字段的大小來判斷唬复。
10矗积、count(*)不比count(字段)慢
某些資料上說：用*會統(tǒng)計所有列，顯然要比一個世界的列名效率低敞咧。這種說法其實(shí)是沒有根據(jù)的棘捣。我們來看：
1.select count(*) from Tgongwen
用時：1500毫秒
1.select count(gid) from Tgongwen
用時：1483毫秒
1.select count(fariqi) from Tgongwen
用時：3140毫秒
1.select count(title) from Tgongwen
用時：52050毫秒
從以上可以看出，如果用count()和用count(主鍵)的速度是相當(dāng)?shù)男萁ǎ鴆ount()卻比其他任何除主鍵以外的字段匯總速度要快乍恐，而且字段越長，匯總的速度就越慢测砂。我想茵烈，如果用count(*)， SQL SERVER可能會自動查找最小字段來匯總的砌些。當(dāng)然瞧毙，如果您直接寫count(主鍵)將會來的更直接些。
11寄症、order by按聚集索引列排序效率最高
我們來看：（gid是主鍵宙彪，fariqi是聚合索引列）：
1.select top 10000 gid,fariqi,reader,title from tgongwen
用時：196 毫秒。 掃描計數(shù) 1有巧，邏輯讀 289 次释漆，物理讀 1 次，預(yù)讀 1527 次篮迎。
1.select top 10000 gid,fariqi,reader,title from tgongwen order by gid asc
用時：4720毫秒男图。 掃描計數(shù) 1，邏輯讀 41956 次甜橱，物理讀 0 次逊笆，預(yù)讀 1287 次。
1.select top 10000 gid,fariqi,reader,title from tgongwen order by gid desc
用時：4736毫秒岂傲。 掃描計數(shù) 1难裆，邏輯讀 55350 次，物理讀 10 次镊掖，預(yù)讀 775 次乃戈。
1.select top 10000 gid,fariqi,reader,title from tgongwen order by fariqi asc
用時：173毫秒。 掃描計數(shù) 1亩进，邏輯讀 290 次症虑，物理讀 0 次，預(yù)讀 0 次归薛。
1.select top 10000 gid,fariqi,reader,title from tgongwen order by fariqi desc
用時：156毫秒谍憔。 掃描計數(shù) 1，邏輯讀 289 次主籍，物理讀 0 次习贫，預(yù)讀 0 次。
從以上我們可以看出崇猫，不排序的速度以及邏輯讀次數(shù)都是和“order by 聚集索引列” 的速度是相當(dāng)?shù)纳蛱酰@些都比“order by 非聚集索引列”的查詢速度是快得多的。
同時诅炉，按照某個字段進(jìn)行排序的時候蜡歹，無論是正序還是倒序，速度是基本相當(dāng)?shù)摹?/p>
12涕烧、高效的TOP
事實(shí)上月而，在查詢和提取超大容量的數(shù)據(jù)集時，影響數(shù)據(jù)庫響應(yīng)時間的最大因素不是數(shù)據(jù)查找议纯，而是物理的I/0操作父款。如：
1.select top 10 * from (
2.select top 10000 gid,fariqi,title from tgongwen
3.where neibuyonghu=''辦公室''
4.order by gid desc) as a
5.order by gid asc
這條語句，從理論上講，整條語句的執(zhí)行時間應(yīng)該比子句的執(zhí)行時間長憨攒，但事實(shí)相反世杀。因?yàn)椋泳鋱?zhí)行后返回的是10000條記錄肝集，而整條語句僅返回10條語句瞻坝，所以影響數(shù)據(jù)庫響應(yīng)時間最大的因素是物理I/O操作。而限制物理I/O操作此處的最有效方法之一就是使用TOP關(guān)鍵詞了杏瞻。TOP關(guān)鍵詞是SQL SERVER中經(jīng)過系統(tǒng)優(yōu)化過的一個用來提取前幾條或前幾個百分比數(shù)據(jù)的詞所刀。經(jīng)筆者在實(shí)踐中的應(yīng)用，發(fā)現(xiàn)TOP確實(shí)很好用捞挥，效率也很高浮创。但這個詞在另外一個大型數(shù)據(jù)庫ORACLE中卻沒有，這不能說不是一個遺憾砌函，雖然在ORACLE中可以用其他方法（如：rownumber）來解決斩披。在以后的關(guān)于“實(shí)現(xiàn)千萬級數(shù)據(jù)的分頁顯示存儲過程”的討論中，我們就將用到TOP這個關(guān)鍵詞胸嘴。
到此為止雏掠，我們上面討論了如何實(shí)現(xiàn)從大容量的數(shù)據(jù)庫中快速地查詢出您所需要的數(shù)據(jù)方法。當(dāng)然劣像，我們介紹的這些方法都是“軟”方法乡话，在實(shí)踐中，我們還要考慮各種“硬”因素耳奕，如：網(wǎng)絡(luò)性能绑青、服務(wù)器的性能、操作系統(tǒng)的性能屋群，甚至網(wǎng)卡闸婴、交換機(jī)等。
（三）實(shí)現(xiàn)小數(shù)據(jù)量和海量數(shù)據(jù)的通用分頁顯示存儲過程
建立一個 Web 應(yīng)用芍躏，分頁瀏覽功能必不可少邪乍。這個問題是數(shù)據(jù)庫處理中十分常見的問題。經(jīng)典的數(shù)據(jù)分頁方法是:ADO 紀(jì)錄集分頁法对竣，也就是利用ADO自帶的分頁功能（利用游標(biāo)）來實(shí)現(xiàn)分頁庇楞。但這種分頁方法僅適用于較小數(shù)據(jù)量的情形，因?yàn)橛螛?biāo)本身有缺點(diǎn)：游標(biāo)是存放在內(nèi)存中否纬，很費(fèi)內(nèi)存吕晌。游標(biāo)一建立，就將相關(guān)的記錄鎖住临燃，直到取消游標(biāo)睛驳。游標(biāo)提供了對特定集合中逐行掃描的手段烙心，一般使用游標(biāo)來逐行遍歷數(shù)據(jù)，根據(jù)取出數(shù)據(jù)條件的不同進(jìn)行不同的操作乏沸。而對于多表和大表中定義的游標(biāo)（大的數(shù)據(jù)集合）循環(huán)很容易使程序進(jìn)入一個漫長的等待甚至死機(jī)淫茵。
更重要的是，對于非常大的數(shù)據(jù)模型而言屎蜓，分頁檢索時痘昌，如果按照傳統(tǒng)的每次都加載整個數(shù)據(jù)源的方法是非常浪費(fèi)資源的。現(xiàn)在流行的分頁方法一般是檢索頁面大小的塊區(qū)的數(shù)據(jù)炬转，而非檢索所有的數(shù)據(jù)，然后單步執(zhí)行當(dāng)前行算灸。
最早較好地實(shí)現(xiàn)這種根據(jù)頁面大小和頁碼來提取數(shù)據(jù)的方法大概就是“俄羅斯存儲過程”扼劈。這個存儲過程用了游標(biāo)，由于游標(biāo)的局限性菲驴，所以這個方法并沒有得到大家的普遍認(rèn)可荐吵。
后來，網(wǎng)上有人改造了此存儲過程赊瞬，下面的存儲過程就是結(jié)合我們的辦公自動化實(shí)例寫的分頁存儲過程：
自動化實(shí)例寫的存儲過程
以上存儲過程運(yùn)用了SQL SERVER的最新技術(shù)――表變量先煎。應(yīng)該說這個存儲過程也是一個非常優(yōu)秀的分頁存儲過程。當(dāng)然巧涧，在這個過程中薯蝎，您也可以把其中的表變量寫成臨時表：CREATE TABLE #Temp。但很明顯谤绳，在SQL SERVER中占锯，用臨時表是沒有用表變量快的。所以筆者剛開始使用這個存儲過程時缩筛，感覺非常的不錯消略，速度也比原來的ADO的好。但后來瞎抛，我又發(fā)現(xiàn)了比此方法更好的方法艺演。
筆者曾在網(wǎng)上看到了一篇小短文《從數(shù)據(jù)表中取出第n條到第m條的記錄的方法》，全文如下：
從數(shù)據(jù)表中取出n條到m條記錄的方法
我當(dāng)時看到這篇文章的時候桐臊，真的是精神為之一振胎撤，覺得思路非常得好。等到后來豪硅，我在作辦公自動化系統(tǒng)（ASP.NET+ C#＋SQL SERVER）的時候哩照，忽然想起了這篇文章，我想如果把這個語句改造一下懒浮，這就可能是一個非常好的分頁存儲過程飘弧。于是我就滿網(wǎng)上找這篇文章识藤，沒想到，文章還沒找到次伶，卻找到了一篇根據(jù)此語句寫的一個分頁存儲過程痴昧，這個存儲過程也是目前較為流行的一種分頁存儲過程，我很后悔沒有爭先把這段文字改造成存儲過程：
目前流行的一種分頁存儲過程
即冠王，用not exists來代替not in赶撰，但我們前面已經(jīng)談過了，二者的執(zhí)行效率實(shí)際上是沒有區(qū)別的柱彻。既便如此豪娜，用TOP 結(jié)合NOT IN的這個方法還是比用游標(biāo)要來得快一些。
雖然用not exists并不能挽救上個存儲過程的效率哟楷，但使用SQL SERVER中的TOP關(guān)鍵字卻是一個非常明智的選擇瘤载。因?yàn)榉猪搩?yōu)化的最終目的就是避免產(chǎn)生過大的記錄集，而我們在前面也已經(jīng)提到了TOP的優(yōu)勢卖擅，通過TOP 即可實(shí)現(xiàn)對數(shù)據(jù)量的控制鸣奔。
在分頁算法中，影響我們查詢速度的關(guān)鍵因素有兩點(diǎn)：TOP和NOT IN惩阶。TOP可以提高我們的查詢速度挎狸，而NOT IN會減慢我們的查詢速度，所以要提高我們整個分頁算法的速度断楷，就要徹底改造NOT IN锨匆，同其他方法來替代它。
我們知道脐嫂，幾乎任何字段统刮，我們都可以通過max(字段)或min(字段)來提取某個字段中的最大或最小值，所以如果這個字段不重復(fù)账千，那么就可以利用這些不重復(fù)的字段的max或min作為分水嶺侥蒙，使其成為分頁算法中分開每頁的參照物。在這里匀奏，我們可以用操作符“>”或“<”號來完成這個使命鞭衩，使查詢語句符合SARG形式。如：
[
](javascript:void(0); "復(fù)制代碼")
<pre style="margin: 0px; padding: 0px; white-space: pre-wrap; word-wrap: break-word; font-family: 'Courier New' !important; font-size: 12px !important;">1.Select top 10 * from table1 where id>200 于是就有了如下分頁方案： 1.select top 頁大小 *
2.from table1 3.where id>
4.(select max (id) from
5.(select top ((頁碼-1)*頁大小) id from table1 order by id) as T 6.) 7.order by id</pre>
[
](javascript:void(0); "復(fù)制代碼")
在選擇即不重復(fù)值娃善，又容易分辨大小的列時论衍，我們通常會選擇主鍵。下表列出了筆者用有著1000萬數(shù)據(jù)的辦公自動化系統(tǒng)中的表聚磺，在以GID（GID是主鍵坯台，但并不是聚集索引。）為排序列瘫寝、提取gid,fariqi,title字段蜒蕾，分別以第1稠炬、10、100咪啡、500首启、1000、1萬撤摸、10萬毅桃、25萬、50萬頁為例准夷，測試以上三種分頁方案的執(zhí)行速度：（單位：毫秒）
從上表中钥飞，我們可以看出，三種存儲過程在執(zhí)行100頁以下的分頁命令時冕象，都是可以信任的代承，速度都很好。但第一種方案在執(zhí)行分頁1000頁以上后渐扮，速度就降了下來。第二種方案大約是在執(zhí)行分頁1萬頁以上后速度開始降了下來掖棉。而第三種方案卻始終沒有大的降勢墓律，后勁仍然很足。
在確定了第三種分頁方案后幔亥，我們可以據(jù)此寫一個存儲過程耻讽。大家知道SQL SERVER的存儲過程是事先編譯好的SQL語句，它的執(zhí)行效率要比通過WEB頁面?zhèn)鱽淼腟QL語句的執(zhí)行效率要高帕棉。下面的存儲過程不僅含有分頁方案针肥，還會根據(jù)頁面?zhèn)鱽淼膮?shù)來確定是否進(jìn)行數(shù)據(jù)總數(shù)統(tǒng)計。
獲取指定頁的數(shù)據(jù)
上面的這個存儲過程是一個通用的存儲過程香伴，其注釋已寫在其中了慰枕。在大數(shù)據(jù)量的情況下，特別是在查詢最后幾頁的時候即纲，查詢時間一般不會超過9秒具帮；而用其他存儲過程，在實(shí)踐中就會導(dǎo)致超時低斋，所以這個存儲過程非常適用于大容量數(shù)據(jù)庫的查詢蜂厅。筆者希望能夠通過對以上存儲過程的解析，能給大家?guī)硪欢ǖ膯⑹静渤耄⒔o工作帶來一定的效率提升掘猿，同時希望同行提出更優(yōu)秀的實(shí)時數(shù)據(jù)分頁算法。
（四）聚集索引的重要性和如何選擇聚集索引
在上一節(jié)的標(biāo)題中唇跨，筆者寫的是：實(shí)現(xiàn)小數(shù)據(jù)量和海量數(shù)據(jù)的通用分頁顯示存儲過程稠通。這是因?yàn)樵趯⒈敬鎯^程應(yīng)用于“辦公自動化”系統(tǒng)的實(shí)踐中時衬衬，筆者發(fā)現(xiàn)這第三種存儲過程在小數(shù)據(jù)量的情況下，有如下現(xiàn)象：
1采记、分頁速度一般維持在1秒和3秒之間佣耐。
2、在查詢最后一頁時唧龄，速度一般為5秒至8秒兼砖，哪怕分頁總數(shù)只有3頁或30萬頁。
雖然在超大容量情況下既棺，這個分頁的實(shí)現(xiàn)過程是很快的讽挟，但在分前幾頁時，這個1－3秒的速度比起第一種甚至沒有經(jīng)過優(yōu)化的分頁方法速度還要慢丸冕，借用戶的話說就是“還沒有ACCESS數(shù)據(jù)庫速度快”耽梅，這個認(rèn)識足以導(dǎo)致用戶放棄使用您開發(fā)的系統(tǒng)。
筆者就此分析了一下胖烛，原來產(chǎn)生這種現(xiàn)象的癥結(jié)是如此的簡單眼姐，但又如此的重要：排序的字段不是聚集索引！
本篇文章的題目是：“查詢優(yōu)化及分頁算法方案”佩番。筆者只所以把“查詢優(yōu)化”和“分頁算法”這兩個聯(lián)系不是很大的論題放在一起众旗，就是因?yàn)槎叨夹枰粋€非常重要的東西――聚集索引。
在前面的討論中我們已經(jīng)提到了趟畏，聚集索引有兩個最大的優(yōu)勢：
1贡歧、以最快的速度縮小查詢范圍。
2赋秀、以最快的速度進(jìn)行字段排序利朵。
第1條多用在查詢優(yōu)化時，而第2條多用在進(jìn)行分頁時的數(shù)據(jù)排序猎莲。
而聚集索引在每個表內(nèi)又只能建立一個绍弟，這使得聚集索引顯得更加的重要。聚集索引的挑選可以說是實(shí)現(xiàn)“查詢優(yōu)化”和“高效分頁”的最關(guān)鍵因素益眉。
但要既使聚集索引列既符合查詢列的需要晌柬，又符合排序列的需要，這通常是一個矛盾郭脂。筆者前面“索引”的討論中年碘，將fariqi，即用戶發(fā)文日期作為了聚集索引的起始列展鸡，日期的精確度為“日”屿衅。這種作法的優(yōu)點(diǎn)，前面已經(jīng)提到了莹弊，在進(jìn)行劃時間段的快速查詢中涤久，比用ID主鍵列有很大的優(yōu)勢涡尘。
但在分頁時，由于這個聚集索引列存在著重復(fù)記錄响迂，所以無法使用max或min來最為分頁的參照物考抄，進(jìn)而無法實(shí)現(xiàn)更為高效的排序。而如果將ID主鍵列作為聚集索引蔗彤，那么聚集索引除了用以排序之外川梅，沒有任何用處，實(shí)際上是浪費(fèi)了聚集索引這個寶貴的資源然遏。
為解決這個矛盾贫途，筆者后來又添加了一個日期列，其默認(rèn)值為getdate()待侵。用戶在寫入記錄時丢早，這個列自動寫入當(dāng)時的時間，時間精確到毫秒秧倾。即使這樣怨酝，為了避免可能性很小的重合，還要在此列上創(chuàng)建UNIQUE約束那先。將此日期列作為聚集索引列凫碌。
有了這個時間型聚集索引列之后，用戶就既可以用這個列查找用戶在插入數(shù)據(jù)時的某個時間段的查詢胃榕，又可以作為唯一列來實(shí)現(xiàn)max或min，成為分頁算法的參照物瞄摊。
經(jīng)過這樣的優(yōu)化勋又，筆者發(fā)現(xiàn)，無論是大數(shù)據(jù)量的情況下還是小數(shù)據(jù)量的情況下换帜，分頁速度一般都是幾十毫秒楔壤，甚至0毫秒。而用日期段縮小范圍的查詢速度比原來也沒有任何遲鈍惯驼。聚集索引是如此的重要和珍貴蹲嚣，所以筆者總結(jié)了一下，一定要將聚集索引建立在：
1祟牲、您最頻繁使用的隙畜、用以縮小查詢范圍的字段上；
2说贝、您最頻繁使用的议惰、需要排序的字段上。
結(jié)束語
本篇文章匯集了筆者近段在使用數(shù)據(jù)庫方面的心得乡恕，是在做“辦公自動化”系統(tǒng)時實(shí)踐經(jīng)驗(yàn)的積累言询。希望這篇文章不僅能夠給大家的工作帶來一定的幫助俯萎，也希望能讓大家能夠體會到分析問題的方法；最重要的是运杭，希望這篇文章能夠拋磚引玉夫啊，掀起大家的學(xué)習(xí)和討論的興趣，以共同促進(jìn)辆憔，共同為公安科技強(qiáng)警事業(yè)和金盾工程做出自己最大的努力撇眯。
最后需要說明的是，在試驗(yàn)中躁愿，我發(fā)現(xiàn)用戶在進(jìn)行大數(shù)據(jù)量查詢的時候叛本，對數(shù)據(jù)庫速度影響最大的不是內(nèi)存大小，而是CPU彤钟。在我的P4 2.4機(jī)器上試驗(yàn)的時候来候，查看“資源管理器”，CPU經(jīng)常出現(xiàn)持續(xù)到100%的現(xiàn)象逸雹，而內(nèi)存用量卻并沒有改變或者說沒有大的改變营搅。即使在我們的HP ML 350 G3服務(wù)器上試驗(yàn)時，CPU峰值也能達(dá)到90%梆砸，一般持續(xù)在70%左右转质。
本文的試驗(yàn)數(shù)據(jù)都是來自我們的HP ML 350服務(wù)器。服務(wù)器配置：雙Inter Xeon 超線程 CPU 2.4G帖世，內(nèi)存1G休蟹，操作系統(tǒng)Windows Server 2003 Enterprise Edition，數(shù)據(jù)庫SQL Server 2000 SP3
（完）
有索引情況下日矫，insert速度一定有影響赂弓，不過： 1. 你不大可能一該不停地進(jìn)行insert, SQL Server能把你傳來的命令緩存起來，依次執(zhí)行哪轿，不會漏掉任何一個insert盈魁。 2. 你也可以建立一個相同結(jié)構(gòu)但不做索引的表，insert數(shù)據(jù)先插入到這個表里窃诉，當(dāng)這個表中行數(shù)達(dá)到一定行數(shù)再用insert table1 select * from table2這樣的命令整批插入到有索引的那個表里杨耙。
