MySQL--緩沖池(buffer pool)鹅经,這次徹底懂了!T踅搿!

應用系統(tǒng)分層架構(gòu)贷痪,為了加速數(shù)據(jù)訪問幻妓,會把最常訪問的數(shù)據(jù),放在緩存(cache)里劫拢,避免每次都去訪問數(shù)據(jù)庫肉津。

操作系統(tǒng),會有緩沖池(buffer pool)機制舱沧,避免每次訪問磁盤妹沙,以加速數(shù)據(jù)的訪問。

MySQL作為一個存儲系統(tǒng)熟吏,同樣具有緩沖池(buffer pool)機制距糖,以避免每次查詢數(shù)據(jù)都進行磁盤IO玄窝。

今天,和大家聊一聊InnoDB的緩沖池悍引。

InnoDB的緩沖池緩存什么恩脂?有什么用?

緩存表數(shù)據(jù)與索引數(shù)據(jù)趣斤,把磁盤上的數(shù)據(jù)加載到緩沖池俩块,避免每次訪問都進行磁盤IO,起到加速訪問的作用浓领。

速度快玉凯,那為啥不把所有數(shù)據(jù)都放到緩沖池里

凡事都具備兩面性联贩,拋開數(shù)據(jù)易失性不說漫仆,訪問快速的反面是存儲容量小:

(1)緩存訪問快撑蒜,但容量小歹啼,數(shù)據(jù)庫存儲了200G數(shù)據(jù),緩存容量可能只有64G座菠;

(2)內(nèi)存訪問快狸眼,但容量小,買一臺筆記本磁盤有2T浴滴,內(nèi)存可能只有16G拓萌;

因此,只能把“最熱”的數(shù)據(jù)放到“最近”的地方升略,以“最大限度”的降低磁盤訪問微王。

如何管理與淘汰緩沖池,使得性能最大化呢品嚣?

在介紹具體細節(jié)之前炕倘,先介紹下“預讀”的概念。

什么是預讀翰撑?

磁盤讀寫罩旋,并不是按需讀取,而是按頁讀取眶诈,一次至少讀一頁數(shù)據(jù)(一般是4K)涨醋,如果未來要讀取的數(shù)據(jù)就在頁中,就能夠省去后續(xù)的磁盤IO逝撬,提高效率浴骂。

預讀為什么有效?

數(shù)據(jù)訪問宪潮,通常都遵循“集中讀寫”的原則溯警,使用一些數(shù)據(jù)趣苏,大概率會使用附近的數(shù)據(jù),這就是所謂的“局部性原理”愧膀,它表明提前加載是有效的拦键,確實能夠減少磁盤IO。

按頁(4K)讀取檩淋,和InnoDB的緩沖池設(shè)計有啥關(guān)系芬为?

(1)磁盤訪問按頁讀取能夠提高性能,所以緩沖池一般也是按頁緩存數(shù)據(jù)蟀悦;

(2)預讀機制啟示了我們媚朦,能把一些“可能要訪問”的頁提前加入緩沖池,避免未來的磁盤IO操作日戈;

InnoDB是以什么算法询张,來管理這些緩沖頁呢?

最容易想到的浙炼,就是LRU(Least recently used)份氧。

畫外音:memcache,OS都會用LRU來進行頁置換管理弯屈,但MySQL的玩法并不一樣蜗帜。

傳統(tǒng)的LRU是如何進行緩沖頁管理?

最常見的玩法是资厉,把入緩沖池的頁放到LRU的頭部厅缺,作為最近訪問的元素,從而最晚被淘汰宴偿。這里又分兩種情況:

(1)頁已經(jīng)在緩沖池里湘捎,那就只做“移至”LRU頭部的動作,而沒有頁被淘汰窄刘;

(2)頁不在緩沖池里窥妇,除了做“放入”LRU頭部的動作,還要做“淘汰”LRU尾部頁的動作娩践;

image.png

如上圖秩伞,假如管理緩沖池的LRU長度為10,緩沖了頁號為1欺矫,3,5…展氓,40穆趴,7的頁。

假如遇汞,接下來要訪問的數(shù)據(jù)在頁號為4的頁中:

image.png

(1)頁號為4的頁未妹,本來就在緩沖池里簿废;

(2)把頁號為4的頁,放到LRU的頭部即可络它,沒有頁被淘汰族檬;

畫外音:為了減少數(shù)據(jù)移動,LRU一般用鏈表實現(xiàn)化戳。

假如单料,再接下來要訪問的數(shù)據(jù)在頁號為50的頁中:

image.png

(1)頁號為50的頁,原來不在緩沖池里点楼;

(2)把頁號為50的頁扫尖,放到LRU頭部,同時淘汰尾部頁號為7的頁掠廓;

傳統(tǒng)的LRU緩沖池算法十分直觀换怖,OS,memcache等很多軟件都在用蟀瞧,MySQL為啥這么矯情沉颂,不能直接用呢?

這里有兩個問題:

(1)預讀失效悦污;

(2)緩沖池污染铸屉;

什么是預讀失效?

由于預讀(Read-Ahead)塞关,提前把頁放入了緩沖池抬探,但最終MySQL并沒有從頁中讀取數(shù)據(jù),稱為預讀失效帆赢。

如何對預讀失效進行優(yōu)化小压?

要優(yōu)化預讀失效,思路是:

(1)讓預讀失效的頁椰于,停留在緩沖池LRU里的時間盡可能短怠益;

(2)讓真正被讀取的頁,才挪到緩沖池LRU的頭部瘾婿;

以保證蜻牢,真正被讀取的熱數(shù)據(jù)留在緩沖池里的時間盡可能長。

具體方法是:

(1)將LRU分為兩個部分:

  • 新生代(new sublist)

  • 老生代(old sublist)

(2)新老生代首尾相連偏陪,即:新生代的尾(tail)連接著老生代的頭(head)抢呆;

(3)新頁(例如被預讀的頁)加入緩沖池時,只加入到老生代頭部:

  • 如果數(shù)據(jù)真正被讀鹊亚(預讀成功)抱虐,才會加入到新生代的頭部

  • 如果數(shù)據(jù)沒有被讀取,則會比新生代里的“熱數(shù)據(jù)頁”更早被淘汰出緩沖池

image.png

舉個例子饥脑,整個緩沖池LRU如上圖:

(1)整個LRU長度是10恳邀;

(2)前70%是新生代懦冰;

(3)后30%是老生代;

(4)新老生代首尾相連谣沸;

image.png

假如有一個頁號為50的新頁被預讀加入緩沖池:

(1)50只會從老生代頭部插入刷钢,老生代尾部(也是整體尾部)的頁會被淘汰掉;

(2)假設(shè)50這一頁不會被真正讀取乳附,即預讀失敗内地,它將比新生代的數(shù)據(jù)更早淘汰出緩沖池;

image.png

假如50這一頁立刻被讀取到许溅,例如SQL訪問了頁內(nèi)的行row數(shù)據(jù):

(1)它會被立刻加入到新生代的頭部瓤鼻;

(2)新生代的頁會被擠到老生代,此時并不會有頁面被真正淘汰贤重;

改進版緩沖池LRU能夠很好的解決“預讀失敗”的問題茬祷。

畫外音:但也不要因噎廢食,因為害怕預讀失敗而取消預讀策略并蝗,大部分情況下祭犯,局部性原理是成立的,預讀是有效的滚停。

新老生代改進版LRU仍然解決不了緩沖池污染的問題沃粗。

什么是MySQL緩沖池污染?

當某一個SQL語句键畴,要批量掃描大量數(shù)據(jù)時最盅,可能導致把緩沖池的所有頁都替換出去,導致大量熱數(shù)據(jù)被換出起惕,MySQL性能急劇下降涡贱,這種情況叫緩沖池污染。

例如惹想,有一個數(shù)據(jù)量較大的用戶表问词,當執(zhí)行:

select * from user where name like "%shenjian%";

雖然結(jié)果集可能只有少量數(shù)據(jù),但這類like不能命中索引嘀粱,必須全表掃描激挪,就需要訪問大量的頁:

(1)把頁加到緩沖池(插入老生代頭部);

(2)從頁里讀出相關(guān)的row(插入新生代頭部)锋叨;

(3)row里的name字段和字符串shenjian進行比較垄分,如果符合條件,加入到結(jié)果集中娃磺;

(4)…直到掃描完所有頁中的所有row…

如此一來锋喜,所有的數(shù)據(jù)頁都會被加載到新生代的頭部,但只會訪問一次,真正的熱數(shù)據(jù)被大量換出嘿般。

怎么這類掃碼大量數(shù)據(jù)導致的緩沖池污染問題呢?

MySQL緩沖池加入了一個“老生代停留時間窗口”的機制:

(1)假設(shè)T=老生代停留時間窗口涯冠;

(2)插入老生代頭部的頁炉奴,即使立刻被訪問,并不會立刻放入新生代頭部蛇更;

(3)只有滿足“被訪問”并且“在老生代停留時間”大于T瞻赶,才會被放入新生代頭部;

image.png

繼續(xù)舉例派任,假如批量數(shù)據(jù)掃描砸逊,有51,52掌逛,53师逸,54,55等五個頁面將要依次被訪問豆混。

image.png

如果沒有“老生代停留時間窗口”的策略篓像,這些批量被訪問的頁面,會換出大量熱數(shù)據(jù)皿伺。

image.png

加入“老生代停留時間窗口”策略后校读,短時間內(nèi)被大量加載的頁隶糕,并不會立刻插入新生代頭部,而是優(yōu)先淘汰那些,短期內(nèi)僅僅訪問了一次的頁谎碍。

image.png

而只有在老生代呆的時間足夠久,停留時間大于T览祖,才會被插入新生代頭部靡努。

上述原理,對應InnoDB里哪些參數(shù)宰翅?

有三個比較重要的參數(shù)弃甥。

image.png

參數(shù):innodb_buffer_pool_size

介紹:配置緩沖池的大小,在內(nèi)存允許的情況下汁讼,DBA往往會建議調(diào)大這個參數(shù)淆攻,越多數(shù)據(jù)和索引放到內(nèi)存里,數(shù)據(jù)庫的性能會越好嘿架。

參數(shù):innodb_old_blocks_pct

介紹:老生代占整個LRU鏈長度的比例瓶珊,默認是37耸彪,即整個LRU中新生代與老生代長度比例是63:37唱较。

畫外音:如果把這個參數(shù)設(shè)為100,就退化為普通LRU了纸镊。

參數(shù):innodb_old_blocks_time

介紹:老生代停留時間窗口,單位是毫秒凯旭,默認是1000,即同時滿足“被訪問”與“在老生代停留時間超過1秒”兩個條件,才會被插入到新生代頭部差凹。

總結(jié)

(1)緩沖池(buffer pool)是一種常見的降低磁盤訪問的機制馁痴;

(2)緩沖池通常以頁(page)為單位緩存數(shù)據(jù)济欢;

(3)緩沖池的常見管理算法是LRU,memcache揍愁,OS,InnoDB都使用了這種算法;

(4)InnoDB對普通LRU進行了優(yōu)化:

  • 將緩沖池分為老生代和新生代,入緩沖池的頁,優(yōu)先進入老生代,頁被訪問,才進入新生代肤粱,以解決預讀失效的問題

  • 頁被訪問蛮穿,且在老生代停留時間超過配置閾值的,才進入新生代羔飞,以解決批量數(shù)據(jù)訪問,大量熱數(shù)據(jù)淘汰的問題

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末朋贬,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖滞项,帶你破解...
    沈念sama閱讀 219,110評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異律杠,居然都是意外死亡潭流,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,443評論 3 395
  • 文/潘曉璐 我一進店門柜去,熙熙樓的掌柜王于貴愁眉苦臉地迎上來灰嫉,“玉大人,你說我怎么就攤上這事嗓奢∷先觯” “怎么了?”我有些...
    開封第一講書人閱讀 165,474評論 0 356
  • 文/不壞的土叔 我叫張陵股耽,是天一觀的道長根盒。 經(jīng)常有香客問我,道長物蝙,這世上最難降的妖魔是什么炎滞? 我笑而不...
    開封第一講書人閱讀 58,881評論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮诬乞,結(jié)果婚禮上册赛,老公的妹妹穿的比我還像新娘钠导。我一直安慰自己,他們只是感情好森瘪,可當我...
    茶點故事閱讀 67,902評論 6 392
  • 文/花漫 我一把揭開白布牡属。 她就那樣靜靜地躺著,像睡著了一般扼睬。 火紅的嫁衣襯著肌膚如雪逮栅。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,698評論 1 305
  • 那天窗宇,我揣著相機與錄音措伐,去河邊找鬼。 笑死军俊,一個胖子當著我的面吹牛废士,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播蝇完,決...
    沈念sama閱讀 40,418評論 3 419
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼矗蕊!你這毒婦竟也來了短蜕?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,332評論 0 276
  • 序言:老撾萬榮一對情侶失蹤傻咖,失蹤者是張志新(化名)和其女友劉穎朋魔,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體卿操,經(jīng)...
    沈念sama閱讀 45,796評論 1 316
  • 正文 獨居荒郊野嶺守林人離奇死亡警检,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,968評論 3 337
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了害淤。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片扇雕。...
    茶點故事閱讀 40,110評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖窥摄,靈堂內(nèi)的尸體忽然破棺而出镶奉,到底是詐尸還是另有隱情,我是刑警寧澤崭放,帶...
    沈念sama閱讀 35,792評論 5 346
  • 正文 年R本政府宣布哨苛,位于F島的核電站,受9級特大地震影響币砂,放射性物質(zhì)發(fā)生泄漏建峭。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,455評論 3 331
  • 文/蒙蒙 一决摧、第九天 我趴在偏房一處隱蔽的房頂上張望亿蒸。 院中可真熱鬧凑兰,春花似錦、人聲如沸祝懂。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,003評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽砚蓬。三九已至矢门,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間灰蛙,已是汗流浹背祟剔。 一陣腳步聲響...
    開封第一講書人閱讀 33,130評論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留摩梧,地道東北人物延。 一個月前我還...
    沈念sama閱讀 48,348評論 3 373
  • 正文 我出身青樓,卻偏偏與公主長得像仅父,于是被迫代替她去往敵國和親叛薯。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,047評論 2 355

推薦閱讀更多精彩內(nèi)容

  • 應用系統(tǒng)分層架構(gòu)笙纤,為了加速數(shù)據(jù)訪問耗溜,會把最常訪問的數(shù)據(jù),放在緩存(cache)里省容,避免每次都去訪問數(shù)據(jù)庫抖拴。操作系統(tǒng)...
    lconcise閱讀 199評論 0 1
  • 1. Buffer Pool 用于緩存表數(shù)據(jù)與索引數(shù)據(jù),把磁盤上的數(shù)據(jù)加載到緩沖池腥椒,避免每次訪問都進行磁盤IO阿宅,起...
    火箭蛋頭閱讀 334評論 0 0
  • 背景,通常情況下笼蛛,我們?yōu)榱藴p少數(shù)據(jù)庫壓力一班都會加個緩存機制洒放,先從緩存查,查不到再從數(shù)據(jù)庫查伐弹,那么我們的數(shù)據(jù)庫也不...
    名字是亂打的閱讀 6,924評論 0 10
  • 應用系統(tǒng)分層架構(gòu)拉馋,為了加速數(shù)據(jù)訪問,會把最常訪問的數(shù)據(jù)惨好,放在緩存(cache)里煌茴,避免每次都去訪問數(shù)據(jù)庫。 操作系...
    小鳥筑成巢閱讀 429評論 0 1
  • 簡介 MySQL InnoDB 緩沖池日川,里面緩存著大量數(shù)據(jù)(數(shù)據(jù)頁)蔓腐,使 CPU 讀取或?qū)懭霐?shù)據(jù)時,MySQL 不...
    kyo1992閱讀 325評論 0 0