為什么Redis要關(guān)閉THP马昙?

在Linux下Redis啟動(dòng)時(shí)可能會(huì)看到如下警告日志:


WARNING you have Transparent Huge Pages (THP) support enabled in your kernel. This will create latency and memory usage issues with Redis. To fix this issue run the command 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' as root, and add it to your /etc/rc.local in order to retain the setting after a reboot. Redis must be restarted after THP is disabled.


從提示看Redis建議關(guān)閉Transparent Huge Pages(THP)榄檬。

那么什么是Transparent Huge Pages(THP)(透明大頁)呢卜范?

在說THP之前先說一下Hugepages(注意:大頁(Huge Pages和透明大頁(Transparent Huge Pages)有區(qū)別)

內(nèi)存是由塊管理,即眾所周知的頁面鹿榜。在Linux 64位系統(tǒng)里面,默認(rèn)內(nèi)存是以4K的頁面(Page)來管理的海雪。也就是說一個(gè)頁面有 4096 字節(jié)。1MB 內(nèi)存等于 256 個(gè)頁面舱殿。2MB內(nèi)存等于512個(gè)頁面奥裸。如果是一個(gè)比較大的服務(wù)器內(nèi)存,那么管理大內(nèi)存管理需要形成的頁面列表(相當(dāng)于索引表)就很大沪袭,CPU 有內(nèi)嵌的內(nèi)存管理單元TLB湾宙,這些單元中包含這些頁面列表,每個(gè)頁面都使用頁表?xiàng)l目冈绊。頁表(Page Table)用來存放虛擬內(nèi)存和物理內(nèi)存頁對(duì)應(yīng)關(guān)系的內(nèi)存結(jié)構(gòu)创倔。如果page size較小,那么相應(yīng)的頁表內(nèi)存結(jié)構(gòu)就會(huì)比較大焚碌。而Hugepages的默認(rèn)值page size為2M畦攘,是4KB的500倍,所以可以大大減小Page Table的大小十电。通過啟用 HugePages使用大頁面知押,可以用一個(gè)頁表?xiàng)l目代表一個(gè)大頁面叹螟,而不是使用許多條目代表較小的頁面,從而可以管理更多內(nèi)存台盯,減少操作系統(tǒng)對(duì)頁面狀態(tài)的維護(hù)并提高 TLB 緩存命中率罢绽。注意,Hugepagesize的大小默認(rèn)為2M静盅,這個(gè)也是可以調(diào)整的良价。區(qū)間范圍為2MB to 256MB。

標(biāo)準(zhǔn)大頁管理是預(yù)分配的方式蒿叠,而透明大頁管理則是動(dòng)態(tài)分配的方式明垢。相信有不少人將Huge Page和Transparent Huge Pages混為一談。目前透明大頁與傳統(tǒng)HugePages聯(lián)用會(huì)出現(xiàn)一些問題市咽,導(dǎo)致性能問題和系統(tǒng)重啟痊银。Oracle 建議禁用透明大頁(Transparent Huge Pages)。在 Oracle Linux 6.5 版中施绎,已刪除透明 HugePages溯革。

透明大頁除了機(jī)制問題以外,在增大頁面大小縮小頁面索引列表這點(diǎn)上是一樣的原理谷醉。

為什么Redsi使用透明大頁會(huì)存在問題致稀?

這里就涉及到Redis在持久化AOF過程中都存在創(chuàng)建子進(jìn)程的情況。

Redis 在AOF持久化過程中會(huì)fork一個(gè)子進(jìn)程進(jìn)行AOF操作俱尼。這塊又涉及到一個(gè)fork過程的CopyOnWrite機(jī)制抖单。

copy-on-write技術(shù),在fork出子進(jìn)程后号显,與父進(jìn)程共享內(nèi)存空間臭猜,兩者只是虛擬空間不同躺酒,但是其對(duì)應(yīng)的物理空間是同一個(gè)押蚤;

這里有兩個(gè)關(guān)鍵地方:

? ? ? ①fork子進(jìn)程會(huì)拷貝父進(jìn)程的頁面索引列表,如果索引列表小羹应,那么fork拷貝的內(nèi)存就會(huì)小揽碘,那么fork子進(jìn)程的速度就會(huì)快。

? ? ? ②當(dāng)fork()之后园匹,kernel把父進(jìn)程中所有的內(nèi)存頁的權(quán)限都設(shè)為read-only雳刺,然后子進(jìn)程的地址空間指向父進(jìn)程。當(dāng)父子進(jìn)程都只讀內(nèi)存時(shí)裸违,相安無事掖桦。當(dāng)其中某個(gè)進(jìn)程寫內(nèi)存時(shí),CPU硬件檢測(cè)到內(nèi)存頁是read-only的供汛,于是觸發(fā)頁異常中斷(page-fault)枪汪,陷入kernel的一個(gè)中斷例程涌穆。中斷例程中,kernel就會(huì)把觸發(fā)的異常的頁復(fù)制一份雀久,于是父子進(jìn)程各自持有獨(dú)立的一份宿稀。如果使用大頁每次有頁面要修改,那么就要拷貝一個(gè)2MB的大頁面赖捌,會(huì)大幅增加重Redis寫期間父進(jìn)程內(nèi)存消耗祝沸。同時(shí)每次寫命令引起的復(fù)制內(nèi)存頁單位為2MB,會(huì)拖慢寫操作的執(zhí)行時(shí)間越庇,導(dǎo)致大量寫操作慢查詢罩锐,

所以除了“透明大頁與傳統(tǒng)HugePages聯(lián)用會(huì)出現(xiàn)一些問題,導(dǎo)致性能問題和系統(tǒng)重啟"外悦荒,上面這兩點(diǎn)是Redis建議關(guān)閉THP的更重要的原因唯欣。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市搬味,隨后出現(xiàn)的幾起案子境氢,更是在濱河造成了極大的恐慌,老刑警劉巖碰纬,帶你破解...
    沈念sama閱讀 218,122評(píng)論 6 505
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件萍聊,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡悦析,警方通過查閱死者的電腦和手機(jī)寿桨,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,070評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來强戴,“玉大人亭螟,你說我怎么就攤上這事∑锎酰” “怎么了预烙?”我有些...
    開封第一講書人閱讀 164,491評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)道媚。 經(jīng)常有香客問我扁掸,道長(zhǎng),這世上最難降的妖魔是什么最域? 我笑而不...
    開封第一講書人閱讀 58,636評(píng)論 1 293
  • 正文 為了忘掉前任谴分,我火速辦了婚禮,結(jié)果婚禮上镀脂,老公的妹妹穿的比我還像新娘牺蹄。我一直安慰自己,他們只是感情好薄翅,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,676評(píng)論 6 392
  • 文/花漫 我一把揭開白布沙兰。 她就那樣靜靜地躺著虑省,像睡著了一般。 火紅的嫁衣襯著肌膚如雪僧凰。 梳的紋絲不亂的頭發(fā)上探颈,一...
    開封第一講書人閱讀 51,541評(píng)論 1 305
  • 那天,我揣著相機(jī)與錄音训措,去河邊找鬼伪节。 笑死,一個(gè)胖子當(dāng)著我的面吹牛绩鸣,可吹牛的內(nèi)容都是我干的怀大。 我是一名探鬼主播,決...
    沈念sama閱讀 40,292評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼呀闻,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼化借!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起蓖康,我...
    開封第一講書人閱讀 39,211評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎垒手,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體科贬,經(jīng)...
    沈念sama閱讀 45,655評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡泳梆,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,846評(píng)論 3 336
  • 正文 我和宋清朗相戀三年优妙,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片憎账。...
    茶點(diǎn)故事閱讀 39,965評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖鼠哥,靈堂內(nèi)的尸體忽然破棺而出熟菲,到底是詐尸還是另有隱情朴恳,我是刑警寧澤,帶...
    沈念sama閱讀 35,684評(píng)論 5 347
  • 正文 年R本政府宣布允蚣,位于F島的核電站,受9級(jí)特大地震影響嚷兔,放射性物質(zhì)發(fā)生泄漏森渐。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,295評(píng)論 3 329
  • 文/蒙蒙 一同衣、第九天 我趴在偏房一處隱蔽的房頂上張望竟块。 院中可真熱鬧耐齐,春花似錦、人聲如沸埠况。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,894評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽辕翰。三九已至夺衍,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間喜命,已是汗流浹背沟沙。 一陣腳步聲響...
    開封第一講書人閱讀 33,012評(píng)論 1 269
  • 我被黑心中介騙來泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留壁榕,地道東北人尝胆。 一個(gè)月前我還...
    沈念sama閱讀 48,126評(píng)論 3 370
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像护桦,于是被迫代替她去往敵國(guó)和親含衔。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,914評(píng)論 2 355