write(2)最佳的緩沖大小

原文:Optimal buffer size for write(2)


翻譯:

前說一下,我想要寫1GB的數(shù)據(jù)到文件中陡叠,在Linux ext3文件系統(tǒng)中使用 write(2)系統(tǒng)調(diào)用,發(fā)生了非常繁忙的環(huán)境(許多IO操作)译红。在這期間最佳的緩沖大小是多少呢侦厚,比如說,4kb诗宣,4Mb想诅,什么時(shí)候:

1.不使用 O_DIRECT打開標(biāo)識(shí)来破,或者

2.使用 O_DIRECT

請(qǐng)不要使用“取決于你自己”這樣的答案----我想得到一些答案從文件系統(tǒng)的使用者中。



Answers1:

正如評(píng)論中討論的那樣诅诱,我相信精確的大小不是很重要娘荡,比如說:

1.文件系統(tǒng)大小的一小塊

2.2的冪(因此系統(tǒng)和內(nèi)核喜歡它)

3.不太大(適合處理器的一些緩存炮沐,比如L2緩存)

4.內(nèi)存對(duì)齊(例如page大小使用posix_memalign)

所以央拖,在 16kbytes到幾M字節(jié)之間的2的冪的數(shù)都應(yīng)該是可以的鲜戒。大部分的時(shí)間應(yīng)該是花費(fèi)了在讀磁盤上遏餐。文件系統(tǒng)和硬盤的基準(zhǔn)應(yīng)該差不多伦腐。

4kbytes通常是page和硬盤chunk的大小。

當(dāng)然失都,你可以調(diào)整這些事情柏蘑,在你使用 mke2fs制作文件系統(tǒng)的時(shí)候。

我敢打賭最佳的情況取決于你的硬盤(SSD還是普通硬盤)和你的系統(tǒng)(負(fù)載)粹庞。


Answers2:

根據(jù)我的經(jīng)驗(yàn)回答咳焚,更多取決于底層設(shè)備和硬件而不是文件系統(tǒng)本身--即設(shè)備上的緩存,以及設(shè)備寫入小塊的能力庞溜。然而革半,你不應(yīng)該寫入比你文件系統(tǒng)塊更小的數(shù)據(jù)(stat(.),一般是4kb)--同樣流码,你不應(yīng)該超出CPU L2又官、L3緩存大小,在大多數(shù)情況下漫试,大小可能低到512kb六敬。

SSD設(shè)備一般使用64kb作為操作單元驾荣,因此我建議緩沖的大小在 64kb~128kb應(yīng)該是最優(yōu)的--這樣是我的經(jīng)驗(yàn)值。


Answers3:

包含stdio.h頭文件割笙,應(yīng)該將BUFSIZ定義為系統(tǒng)的最佳大小般码。 這絕不是保證,但如果你無法執(zhí)行廣泛的基準(zhǔn)測(cè)試,這是正確的值橘洞,或者這是一個(gè)進(jìn)行基準(zhǔn)測(cè)試的一個(gè)起始值。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子沸毁,更是在濱河造成了極大的恐慌携兵,老刑警劉巖静檬,帶你破解...
    沈念sama閱讀 217,185評(píng)論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件稻励,死亡現(xiàn)場(chǎng)離奇詭異加矛,居然都是意外死亡辑奈,警方通過查閱死者的電腦和手機(jī)妓羊,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,652評(píng)論 3 393
  • 文/潘曉璐 我一進(jìn)店門丙猬,熙熙樓的掌柜王于貴愁眉苦臉地迎上來庭瑰,“玉大人,你說我怎么就攤上這事。” “怎么了驾诈?”我有些...
    開封第一講書人閱讀 163,524評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵闯两,是天一觀的道長。 經(jīng)常有香客問我,道長屯援,這世上最難降的妖魔是什么绿店? 我笑而不...
    開封第一講書人閱讀 58,339評(píng)論 1 293
  • 正文 為了忘掉前任恶导,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,387評(píng)論 6 391
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,287評(píng)論 1 301
  • 那天,我揣著相機(jī)與錄音祝高,去河邊找鬼陆蟆。 笑死林束,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 40,130評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,985評(píng)論 0 275
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體谅年,經(jīng)...
    沈念sama閱讀 45,420評(píng)論 1 313
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡劳闹,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,617評(píng)論 3 334
  • 正文 我和宋清朗相戀三年为障,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了鞋喇。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片芜赌。...
    茶點(diǎn)故事閱讀 39,779評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖洲愤,靈堂內(nèi)的尸體忽然破棺而出肛宋,到底是詐尸還是另有隱情,我是刑警寧澤床玻,帶...
    沈念sama閱讀 35,477評(píng)論 5 345
  • 正文 年R本政府宣布待牵,位于F島的核電站茄蚯,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,088評(píng)論 3 328
  • 文/蒙蒙 一啦桌、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧及皂,春花似錦甫男、人聲如沸且改。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,716評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽钾虐。三九已至,卻和暖如春笋庄,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背倔监。 一陣腳步聲響...
    開封第一講書人閱讀 32,857評(píng)論 1 269
  • 我被黑心中介騙來泰國打工直砂, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人浩习。 一個(gè)月前我還...
    沈念sama閱讀 47,876評(píng)論 2 370
  • 正文 我出身青樓静暂,卻偏偏與公主長得像,于是被迫代替她去往敵國和親谱秽。 傳聞我的和親對(duì)象是個(gè)殘疾皇子洽蛀,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,700評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容