MySQL單表百萬數(shù)據(jù)記錄分頁性能優(yōu)化

個人專題目錄


從上圖中我們可以看到表的基本信息:

表行數(shù):866633
平均每行的數(shù)據(jù)長度:5133字節(jié)
單表大小:4448700632字節(jié)

關(guān)于行和表大小的單位都是字節(jié)惶翻,我們經(jīng)過計算可以知道
平均行長度:大約5k
單表總大邪胗础:4.1g
表中字段各種類型都有varchar、datetime侠鳄、text等听诸,id字段為主鍵

測試實驗

1. 直接用limit start, count分頁語句桅狠, 也是我程序中用的方法:

select * from product limit start, count
當(dāng)起始頁較小時,查詢沒有性能問題趴荸,我們分別看下從10儒溉, 100, 1000发钝, 10000開始分頁的執(zhí)行時間(每頁取20條)睁搭, 如下:

select * from product limit 10, 20 0.016秒
select * from product limit 100, 20 0.016秒
select * from product limit 1000, 20 0.047秒
select * from product limit 10000, 20 0.094秒

我們已經(jīng)看出隨著起始記錄的增加,時間也隨著增大笼平, 這說明分頁語句limit跟起始頁碼是有很大關(guān)系的园骆,那么我們把起始記錄改為40w看下(也就是記錄的一般左右) select * from product limit 400000, 20 3.229秒

再看我們?nèi)∽詈笠豁撚涗浀臅r間
select * from product limit 866613, 20 37.44秒

難怪搜索引擎抓取我們頁面的時候經(jīng)常會報超時,像這種分頁最大的頁碼頁顯然這種時
間是無法忍受的寓调。

從中我們也能總結(jié)出兩件事情:
1)limit語句的查詢時間與起始記錄的位置成正比
2)mysql的limit語句是很方便锌唾,但是對記錄很多的表并不適合直接使用。

2. 對limit分頁問題的性能優(yōu)化方法

利用表的覆蓋索引來加速分頁查詢
我們都知道夺英,利用了索引查詢的語句中如果只包含了那個索引列(覆蓋索引)晌涕,那么這種情況會查詢很快。

因為利用索引查找有優(yōu)化算法痛悯,且數(shù)據(jù)就在查詢索引上面余黎,不用再去找相關(guān)的數(shù)據(jù)地址了,這樣節(jié)省了很多時間载萌。另外Mysql中也有相關(guān)的索引緩存惧财,在并發(fā)高的時候利用緩存就效果更好了。

在我們的例子中扭仁,我們知道id字段是主鍵垮衷,自然就包含了默認(rèn)的主鍵索引。現(xiàn)在讓我們看看利用覆蓋索引的查詢效果如何:

這次我們之間查詢最后一頁的數(shù)據(jù)(利用覆蓋索引乖坠,只包含id列)搀突,如下:
select id from product limit 866613, 20 0.2秒
相對于查詢了所有列的37.44秒,提升了大概100多倍的速度

那么如果我們也要查詢所有列熊泵,有兩種方法仰迁,一種是id>=的形式甸昏,另一種就是利用join,看下實際情況:

SELECT * FROM product WHERE ID > =(select id from product limit 866613, 1) limit 20
查詢時間為0.2秒徐许,簡直是一個質(zhì)的飛躍啊筒扒,哈哈

另一種寫法
SELECT * FROM product a JOIN (select id from product limit 866613, 20) b ON a.ID = b.id
查詢時間也很短!

其實兩者用的都是一個原理嘛绊寻,所以效果也差不多

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市悬秉,隨后出現(xiàn)的幾起案子澄步,更是在濱河造成了極大的恐慌,老刑警劉巖和泌,帶你破解...
    沈念sama閱讀 218,941評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件村缸,死亡現(xiàn)場離奇詭異,居然都是意外死亡武氓,警方通過查閱死者的電腦和手機(jī)梯皿,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,397評論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來县恕,“玉大人东羹,你說我怎么就攤上這事≈抑颍” “怎么了属提?”我有些...
    開封第一講書人閱讀 165,345評論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長美尸。 經(jīng)常有香客問我冤议,道長,這世上最難降的妖魔是什么师坎? 我笑而不...
    開封第一講書人閱讀 58,851評論 1 295
  • 正文 為了忘掉前任恕酸,我火速辦了婚禮,結(jié)果婚禮上胯陋,老公的妹妹穿的比我還像新娘蕊温。我一直安慰自己,他們只是感情好遏乔,可當(dāng)我...
    茶點故事閱讀 67,868評論 6 392
  • 文/花漫 我一把揭開白布寿弱。 她就那樣靜靜地躺著,像睡著了一般按灶。 火紅的嫁衣襯著肌膚如雪症革。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,688評論 1 305
  • 那天鸯旁,我揣著相機(jī)與錄音噪矛,去河邊找鬼量蕊。 笑死,一個胖子當(dāng)著我的面吹牛艇挨,可吹牛的內(nèi)容都是我干的残炮。 我是一名探鬼主播,決...
    沈念sama閱讀 40,414評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼缩滨,長吁一口氣:“原來是場噩夢啊……” “哼势就!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起脉漏,我...
    開封第一講書人閱讀 39,319評論 0 276
  • 序言:老撾萬榮一對情侶失蹤苞冯,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后侧巨,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體舅锄,經(jīng)...
    沈念sama閱讀 45,775評論 1 315
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,945評論 3 336
  • 正文 我和宋清朗相戀三年司忱,在試婚紗的時候發(fā)現(xiàn)自己被綠了皇忿。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,096評論 1 350
  • 序言:一個原本活蹦亂跳的男人離奇死亡坦仍,死狀恐怖鳍烁,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情繁扎,我是刑警寧澤老翘,帶...
    沈念sama閱讀 35,789評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站锻离,受9級特大地震影響铺峭,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜汽纠,卻給世界環(huán)境...
    茶點故事閱讀 41,437評論 3 331
  • 文/蒙蒙 一卫键、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧虱朵,春花似錦莉炉、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,993評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至服协,卻和暖如春绍昂,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,107評論 1 271
  • 我被黑心中介騙來泰國打工窘游, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留唠椭,地道東北人。 一個月前我還...
    沈念sama閱讀 48,308評論 3 372
  • 正文 我出身青樓忍饰,卻偏偏與公主長得像贪嫂,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子艾蓝,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,037評論 2 355

推薦閱讀更多精彩內(nèi)容