Kafka設計之美

一 數(shù)據傳輸

1 傳統(tǒng)數(shù)據從文件到網絡的傳輸路徑
1. 操作系統(tǒng)將數(shù)據從磁盤讀入內核空間的pagecache中
2. 應用程序將內核空間中的數(shù)據讀入用戶空間緩沖區(qū)
3. 應用程序將數(shù)據寫回內核空間的套接字緩沖區(qū)
4. 操作系統(tǒng)將數(shù)據從套接字緩沖區(qū)復制到NIC緩沖區(qū)(網卡)督弓,并發(fā)送到網絡上

其中1捎琐,2,3兔朦,4步驟均發(fā)生了數(shù)據拷貝。
2,3步驟發(fā)生了系統(tǒng)調用。

也就是發(fā)生了4次拷貝冀值,2次系統(tǒng)調用。
2 傳統(tǒng)數(shù)據從文件到網絡的傳輸路徑圖解
傳統(tǒng)數(shù)據從文件到網絡的傳輸路徑圖解
3 對傳統(tǒng)數(shù)據傳輸?shù)膬?yōu)化 --- sendfile
對傳統(tǒng)數(shù)據傳輸?shù)膬?yōu)化圖解

2 推拉模式的選擇

1. 如果選擇broker向消費者push消息
1. 各種消費者的處理能力不同宫屠,有的處理性能高列疗,有的處理性能低,如果broker在不了解消費者處理能力的前提下push消息浪蹂,有可能導致消費者不堪重負抵栈。
2. 基于Push的系統(tǒng)必須選擇立即發(fā)送請求,并且在不能感知下游消費者是否能馬上處理的情況下發(fā)送坤次。
如果傾向于低延遲的調整古劲,這將導致每次只能發(fā)送單條消息,這非常浪費缰猴。
2. 如果選擇消費者向broker pull消息
1. 消費者可以根據自己的消費能力來決定拉取消息产艾,比較靈活,也可以保證系統(tǒng)的穩(wěn)定性
2. pull模式可以引入批處理模式滑绒,一個基于Pull的設計消費者總是拉取日志中當前位置后所有有效的消息闷堡,
因此可以在不引入不必要的延遲的情況下得到最佳的批處理。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末疑故,一起剝皮案震驚了整個濱河市杠览,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌纵势,老刑警劉巖倦零,帶你破解...
    沈念sama閱讀 223,002評論 6 519
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件误续,死亡現(xiàn)場離奇詭異吨悍,居然都是意外死亡扫茅,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,357評論 3 400
  • 文/潘曉璐 我一進店門育瓜,熙熙樓的掌柜王于貴愁眉苦臉地迎上來葫隙,“玉大人,你說我怎么就攤上這事躏仇×到牛” “怎么了?”我有些...
    開封第一講書人閱讀 169,787評論 0 365
  • 文/不壞的土叔 我叫張陵焰手,是天一觀的道長糟描。 經常有香客問我,道長书妻,這世上最難降的妖魔是什么船响? 我笑而不...
    開封第一講書人閱讀 60,237評論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮躲履,結果婚禮上见间,老公的妹妹穿的比我還像新娘。我一直安慰自己工猜,他們只是感情好米诉,可當我...
    茶點故事閱讀 69,237評論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著篷帅,像睡著了一般史侣。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上魏身,一...
    開封第一講書人閱讀 52,821評論 1 314
  • 那天惊橱,我揣著相機與錄音,去河邊找鬼叠骑。 笑死李皇,一個胖子當著我的面吹牛,可吹牛的內容都是我干的宙枷。 我是一名探鬼主播掉房,決...
    沈念sama閱讀 41,236評論 3 424
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼慰丛!你這毒婦竟也來了卓囚?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 40,196評論 0 277
  • 序言:老撾萬榮一對情侶失蹤诅病,失蹤者是張志新(化名)和其女友劉穎哪亿,沒想到半個月后粥烁,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經...
    沈念sama閱讀 46,716評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡蝇棉,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 38,794評論 3 343
  • 正文 我和宋清朗相戀三年讨阻,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片篡殷。...
    茶點故事閱讀 40,928評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡钝吮,死狀恐怖,靈堂內的尸體忽然破棺而出板辽,到底是詐尸還是另有隱情奇瘦,我是刑警寧澤,帶...
    沈念sama閱讀 36,583評論 5 351
  • 正文 年R本政府宣布劲弦,位于F島的核電站耳标,受9級特大地震影響,放射性物質發(fā)生泄漏邑跪。R本人自食惡果不足惜次坡,卻給世界環(huán)境...
    茶點故事閱讀 42,264評論 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望呀袱。 院中可真熱鬧贸毕,春花似錦、人聲如沸夜赵。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,755評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽寇僧。三九已至摊腋,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間嘁傀,已是汗流浹背兴蒸。 一陣腳步聲響...
    開封第一講書人閱讀 33,869評論 1 274
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留细办,地道東北人橙凳。 一個月前我還...
    沈念sama閱讀 49,378評論 3 379
  • 正文 我出身青樓,卻偏偏與公主長得像笑撞,于是被迫代替她去往敵國和親岛啸。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,937評論 2 361