個人專題目錄
從上圖中我們可以看到表的基本信息:
表行數(shù):866633
平均每行的數(shù)據(jù)長度:5133字節(jié)
單表大小:4448700632字節(jié)
關(guān)于行和表大小的單位都是字節(jié)惶翻,我們經(jīng)過計算可以知道
平均行長度:大約5k
單表總大邪胗础:4.1g
表中字段各種類型都有varchar、datetime侠鳄、text等听诸,id字段為主鍵
測試實驗
1. 直接用limit start, count分頁語句桅狠, 也是我程序中用的方法:
select * from product limit start, count
當(dāng)起始頁較小時,查詢沒有性能問題趴荸,我們分別看下從10儒溉, 100, 1000发钝, 10000開始分頁的執(zhí)行時間(每頁取20條)睁搭, 如下:
select * from product limit 10, 20 0.016秒
select * from product limit 100, 20 0.016秒
select * from product limit 1000, 20 0.047秒
select * from product limit 10000, 20 0.094秒
我們已經(jīng)看出隨著起始記錄的增加,時間也隨著增大笼平, 這說明分頁語句limit跟起始頁碼是有很大關(guān)系的园骆,那么我們把起始記錄改為40w看下(也就是記錄的一般左右) select * from product limit 400000, 20 3.229秒
再看我們?nèi)∽詈笠豁撚涗浀臅r間
select * from product limit 866613, 20 37.44秒
難怪搜索引擎抓取我們頁面的時候經(jīng)常會報超時,像這種分頁最大的頁碼頁顯然這種時
間是無法忍受的寓调。
從中我們也能總結(jié)出兩件事情:
1)limit語句的查詢時間與起始記錄的位置成正比
2)mysql的limit語句是很方便锌唾,但是對記錄很多的表并不適合直接使用。
2. 對limit分頁問題的性能優(yōu)化方法
利用表的覆蓋索引來加速分頁查詢
我們都知道夺英,利用了索引查詢的語句中如果只包含了那個索引列(覆蓋索引)晌涕,那么這種情況會查詢很快。
因為利用索引查找有優(yōu)化算法痛悯,且數(shù)據(jù)就在查詢索引上面余黎,不用再去找相關(guān)的數(shù)據(jù)地址了,這樣節(jié)省了很多時間载萌。另外Mysql中也有相關(guān)的索引緩存惧财,在并發(fā)高的時候利用緩存就效果更好了。
在我們的例子中扭仁,我們知道id字段是主鍵垮衷,自然就包含了默認(rèn)的主鍵索引。現(xiàn)在讓我們看看利用覆蓋索引的查詢效果如何:
這次我們之間查詢最后一頁的數(shù)據(jù)(利用覆蓋索引乖坠,只包含id列)搀突,如下:
select id from product limit 866613, 20 0.2秒
相對于查詢了所有列的37.44秒,提升了大概100多倍的速度
那么如果我們也要查詢所有列熊泵,有兩種方法仰迁,一種是id>=的形式甸昏,另一種就是利用join,看下實際情況:
SELECT * FROM product WHERE ID > =(select id from product limit 866613, 1) limit 20
查詢時間為0.2秒徐许,簡直是一個質(zhì)的飛躍啊筒扒,哈哈
另一種寫法
SELECT * FROM product a JOIN (select id from product limit 866613, 20) b ON a.ID = b.id
查詢時間也很短!
其實兩者用的都是一個原理嘛绊寻,所以效果也差不多