mysql--千萬(wàn)級(jí)大數(shù)據(jù)SQL查詢(xún)優(yōu)化幾條經(jīng)驗(yàn)

本文主要內(nèi)容:

1:查詢(xún)語(yǔ)句where 子句使用時(shí)候優(yōu)化或者需要注意的

2:like語(yǔ)句使用時(shí)候需要注意

3:in語(yǔ)句代替語(yǔ)句

4:索引使用或是創(chuàng)建需要注意

假設(shè)用戶(hù)表有一百萬(wàn)用戶(hù)量才菠。也就是1000000.num是主鍵

1:對(duì)查詢(xún)進(jìn)行優(yōu)化牡拇,應(yīng)盡量避免全表掃描,首先應(yīng)考慮在where及order by 涉及的列上創(chuàng)建索引宪赶。

因?yàn)椋核饕龑?duì)查詢(xún)的速度有著至關(guān)重要的影響。

2:盡量避免在where字句中對(duì)字段進(jìn)行null值的判斷德撬。否則將會(huì)導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描嗅虏。

例如:select id from user where num is null 。可以將num是這個(gè)字段設(shè)置默認(rèn)值0.確保表中沒(méi)有null值婶芭,然后在進(jìn)行查詢(xún)东臀。

sql如下:select id from user where num=0;

(考慮如下情況,假設(shè)數(shù)據(jù)庫(kù)中一個(gè)表有106條記錄犀农,DBMS的頁(yè)面大小為4K惰赋,并存儲(chǔ)100條記錄。如果沒(méi)有索引呵哨,查詢(xún)將對(duì)整個(gè)表進(jìn)行掃描赁濒,最壞的情況下,如果所有數(shù)據(jù)頁(yè)都不在內(nèi)存孟害,需要讀取104個(gè)頁(yè)面拒炎,如果這104個(gè)頁(yè)面在磁盤(pán)上隨機(jī)分布,需要進(jìn)行104次I/O挨务,假設(shè)磁盤(pán)每次I/O時(shí)間為10ms(忽略數(shù)據(jù)傳輸時(shí)間)击你,則總共需要100s(但實(shí)際上要好很多很多)。如果對(duì)之建立B-Tree索引谎柄,則只需要進(jìn)行l(wèi)og100(10^6)=3次頁(yè)面讀取丁侄,最壞情況下耗時(shí)30ms。這就是索引帶來(lái)的效果谷誓,很多時(shí)候绒障,當(dāng)你的應(yīng)用程序進(jìn)行SQL查詢(xún)速度很慢時(shí),應(yīng)該想想是否可以建索引)

3:應(yīng)盡量避免在where子句中使用!=或者是<>操作符號(hào)捍歪。否則引擎將放棄使用索引户辱,進(jìn)而進(jìn)行全表掃描。

4:應(yīng)盡量避免在where子句中使用or來(lái)連接條件糙臼,否則導(dǎo)致放棄使用索引而進(jìn)行全表掃描庐镐。可以使用 union 或者是 union all代替变逃。

例如: select id from user where num =10 or num =20 這個(gè)語(yǔ)句景導(dǎo)致引擎放棄num索引必逆,而要全表掃描來(lái)進(jìn)行處理的。

可以使用union 或者是 union all來(lái)代替揽乱。如下:

select id from user where num = 10;

union all

select id from user where num =20;

(union 和 nuion all 的區(qū)別這里就不贅述了)

5:in 和 not in 也要慎用名眉,否則將會(huì)導(dǎo)致全表掃描。

in 對(duì)于連續(xù)的數(shù)組凰棉,可以使用between ...and.來(lái)代替损拢。

例如:

select id from user where num in (1,2,3);

像這樣連續(xù)的就可以使用between ...and...來(lái)代替了。如下:

select id from user where num between 1 and 3;

6:like使用需注意

下面這個(gè)查詢(xún)也將導(dǎo)致全表查詢(xún):

select id from user where name like '%三'撒犀;

如果想提高效率福压,可以考慮到全文檢索掏秩。比如solr或是luncene

而下面這個(gè)查詢(xún)卻使用到了索引:

select id from user where name like '張%';

7:where子句參數(shù)使用時(shí)候需注意

如果在where子句中使用參數(shù)荆姆,也會(huì)導(dǎo)致全表掃描蒙幻。因?yàn)閟ql只會(huì)在運(yùn)行時(shí)才會(huì)解析局部變量。但優(yōu)化程序不能將訪問(wèn)計(jì)劃的選擇推遲到運(yùn)行時(shí)胆筒;必須在編譯時(shí)候進(jìn)行選擇邮破。然而,如果在編譯時(shí)建立訪問(wèn)計(jì)劃仆救,變量的值還是未知大决乎,因而無(wú)法作為索引選擇輸入項(xiàng)。

如下面的語(yǔ)句將會(huì)進(jìn)行全表掃描:

select id from user where num = @num

進(jìn)行優(yōu)化派桩,我們知道num就是主鍵构诚。是索引。

所以可以改為強(qiáng)制查詢(xún)使用索引:

select id from user where (index(索引名稱(chēng))) where num = @num;

8:盡量避免在where子句中對(duì)字段進(jìn)行表達(dá)式操作铆惑,這將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描范嘱。

例如:select id from user where num/2=100

應(yīng)修改為:

select id from user where num = 100*2;

9:盡量避免愛(ài)where子句中對(duì)字段進(jìn)行函數(shù)操作,這將導(dǎo)致引擎放棄索引员魏,而進(jìn)行全表掃描丑蛤。

例如:

select id from user substring(name,1,3) = 'abc' ,這句sql的含義其實(shí)就是撕阎,查詢(xún)name以abc開(kāi)頭的用戶(hù)id

(注:substring(字段受裹,start,end)這個(gè)是mysql的截取函數(shù))

應(yīng)修改為:

select id from user where name like 'abc%';

10:不要在where子句中的"="左邊進(jìn)行函數(shù)、算術(shù)運(yùn)算或是使用其他表達(dá)式運(yùn)算虏束,否則系統(tǒng)可能無(wú)法正確使用索引

11:復(fù)合索引查詢(xún)注意

在使用索引字段作為條件時(shí)候棉饶,如果該索引是復(fù)合索引,那么必須使用該索引中的第一個(gè)字段作為條件時(shí)候才能保證系統(tǒng)使用該所以镇匀,否則該索引將不會(huì)被使用照藻,并且應(yīng)盡可能的讓字段順序和索引順序一致。

12:不要寫(xiě)一些沒(méi)意義的查詢(xún)汗侵。

例如:需要生成一個(gè)空表結(jié)構(gòu)和user表結(jié)構(gòu)一樣(注:生成的新 new table的表結(jié)構(gòu)和 老表 old table 結(jié)構(gòu)一致)

select col1,col2,col3.....into newTable from user where 1=0

上面這行sql執(zhí)行后不會(huì)返回任何的結(jié)果集幸缕,但是會(huì)消耗系統(tǒng)資源的。

應(yīng)修改為:

create table newTable (....)這種語(yǔ)句晰韵。

13:很多時(shí)候用exists 代替 in是一個(gè)很好的選擇发乔。

比如:

select num from user where num in(select num from newTable);

可以使用下面語(yǔ)句代替:

select num from user a where exists(select num from newTable b where b.num = a.num );

14:并不是所有索引對(duì)查詢(xún)都有效,sql是根據(jù)表中數(shù)據(jù)進(jìn)行查詢(xún)優(yōu)化的雪猪,當(dāng)索引lie(索引字段)有大量重復(fù)數(shù)據(jù)的時(shí)候栏尚,sql查詢(xún)可能不會(huì)去利用索引。如一表中字段 sex浪蹂、male抵栈、female 幾乎各一半。那么即使在sex上創(chuàng)建了索引對(duì)查詢(xún)效率也起不了多大作用坤次。

15:索引創(chuàng)建需注意

并非索引創(chuàng)建越多越好古劲。索引固然可以提高相應(yīng)的查詢(xún)效率,但是同樣會(huì)降低insert以及update的效率缰猴。因?yàn)樵趇nsert或是update的時(shí)候有可能會(huì)重建索引或是修改索引产艾。所以索引怎樣創(chuàng)建需要慎重考慮,視情況而定滑绒。一個(gè)表中所以數(shù)量最好不要超過(guò)6個(gè)闷堡。若太多,則需要考慮一些不常用的列上創(chuàng)建索引是否有必要.

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末疑故,一起剝皮案震驚了整個(gè)濱河市杠览,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌纵势,老刑警劉巖踱阿,帶你破解...
    沈念sama閱讀 211,265評(píng)論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異钦铁,居然都是意外死亡软舌,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,078評(píng)論 2 385
  • 文/潘曉璐 我一進(jìn)店門(mén)牛曹,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)佛点,“玉大人,你說(shuō)我怎么就攤上這事黎比〕” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 156,852評(píng)論 0 347
  • 文/不壞的土叔 我叫張陵阅虫,是天一觀的道長(zhǎng)糟描。 經(jīng)常有香客問(wèn)我,道長(zhǎng)书妻,這世上最難降的妖魔是什么船响? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,408評(píng)論 1 283
  • 正文 為了忘掉前任,我火速辦了婚禮躲履,結(jié)果婚禮上见间,老公的妹妹穿的比我還像新娘。我一直安慰自己工猜,他們只是感情好米诉,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,445評(píng)論 5 384
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著篷帅,像睡著了一般史侣。 火紅的嫁衣襯著肌膚如雪拴泌。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 49,772評(píng)論 1 290
  • 那天惊橱,我揣著相機(jī)與錄音蚪腐,去河邊找鬼。 笑死税朴,一個(gè)胖子當(dāng)著我的面吹牛回季,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播正林,決...
    沈念sama閱讀 38,921評(píng)論 3 406
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼泡一,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了觅廓?” 一聲冷哼從身側(cè)響起鼻忠,我...
    開(kāi)封第一講書(shū)人閱讀 37,688評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎杈绸,沒(méi)想到半個(gè)月后粥烁,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,130評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡蝇棉,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,467評(píng)論 2 325
  • 正文 我和宋清朗相戀三年讨阻,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片篡殷。...
    茶點(diǎn)故事閱讀 38,617評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡钝吮,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出板辽,到底是詐尸還是另有隱情奇瘦,我是刑警寧澤,帶...
    沈念sama閱讀 34,276評(píng)論 4 329
  • 正文 年R本政府宣布劲弦,位于F島的核電站耳标,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏邑跪。R本人自食惡果不足惜次坡,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,882評(píng)論 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望画畅。 院中可真熱鬧砸琅,春花似錦、人聲如沸轴踱。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,740評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至诱篷,卻和暖如春壶唤,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背棕所。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,967評(píng)論 1 265
  • 我被黑心中介騙來(lái)泰國(guó)打工闸盔, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人橙凳。 一個(gè)月前我還...
    沈念sama閱讀 46,315評(píng)論 2 360
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像笑撞,于是被迫代替她去往敵國(guó)和親岛啸。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,486評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容