Kafka-13.實(shí)現(xiàn)-

5.1 網(wǎng)絡(luò)層

網(wǎng)絡(luò)層是一個(gè)相當(dāng)直接的NIO服務(wù)器,不再詳細(xì)描述柔逼。 sendfile的實(shí)現(xiàn)是通過給MessageSet接口提供writeTo方法來完成的辐真。這允許file-backed的消息集使用更高效的transferTo實(shí)現(xiàn)而不是進(jìn)程內(nèi)緩沖寫入。線程模型是單個(gè)接受器線程和N個(gè)處理器線程贝搁,每個(gè)線程處理固定數(shù)量的連接必逆。這種設(shè)計(jì)在其他地方經(jīng)過了相當(dāng)全面的測(cè)試怠堪,發(fā)現(xiàn)它易于實(shí)現(xiàn)且速度快。協(xié)議一直非常簡單末患,以便將來使用其他語言實(shí)現(xiàn)客戶端研叫。

5.2 消息

消息由可變長度頭,可變長度不透明密鑰字節(jié)數(shù)組和可變長度不透明值字節(jié)數(shù)組組成璧针。標(biāo)題的格式將在下一節(jié)中介紹嚷炉。保留密鑰和值不透明是正確的決定:目前在序列化庫上取得了很大進(jìn)展,任何特定的選擇都不太適合所有用途探橱。毋庸置疑申屹,使用Kafka的特定應(yīng)用程序可能會(huì)強(qiáng)制使用特定的序列化類型作為其使用的一部分。 RecordBatch接口只是消息的迭代器隧膏,具有用于批量讀取和寫入NIO通道的專用方法哗讥。

5.3 消息格式

消息(即記錄)始終批量寫入。 消息的批次的專業(yè)術(shù)語是一個(gè)記錄批次胞枕,而記錄批次包含一個(gè)或多個(gè)記錄杆煞。 在退化的情況下,我們可能有一個(gè)包含單個(gè)記錄的記錄批次腐泻。 記錄批次和記錄都有自己的頭部决乎。 每種格式如下所述。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末派桩,一起剝皮案震驚了整個(gè)濱河市构诚,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌铆惑,老刑警劉巖范嘱,帶你破解...
    沈念sama閱讀 221,635評(píng)論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件送膳,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡丑蛤,警方通過查閱死者的電腦和手機(jī)叠聋,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,543評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來盏阶,“玉大人晒奕,你說我怎么就攤上這事∶澹” “怎么了?”我有些...
    開封第一講書人閱讀 168,083評(píng)論 0 360
  • 文/不壞的土叔 我叫張陵魄眉,是天一觀的道長砰盐。 經(jīng)常有香客問我,道長坑律,這世上最難降的妖魔是什么岩梳? 我笑而不...
    開封第一講書人閱讀 59,640評(píng)論 1 296
  • 正文 為了忘掉前任,我火速辦了婚禮晃择,結(jié)果婚禮上冀值,老公的妹妹穿的比我還像新娘。我一直安慰自己宫屠,他們只是感情好列疗,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,640評(píng)論 6 397
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著浪蹂,像睡著了一般抵栈。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上坤次,一...
    開封第一講書人閱讀 52,262評(píng)論 1 308
  • 那天古劲,我揣著相機(jī)與錄音,去河邊找鬼缰猴。 笑死产艾,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的滑绒。 我是一名探鬼主播闷堡,決...
    沈念sama閱讀 40,833評(píng)論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼蹬挤!你這毒婦竟也來了缚窿?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,736評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤焰扳,失蹤者是張志新(化名)和其女友劉穎倦零,沒想到半個(gè)月后误续,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,280評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡扫茅,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,369評(píng)論 3 340
  • 正文 我和宋清朗相戀三年蹋嵌,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片葫隙。...
    茶點(diǎn)故事閱讀 40,503評(píng)論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡栽烂,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出恋脚,到底是詐尸還是另有隱情腺办,我是刑警寧澤,帶...
    沈念sama閱讀 36,185評(píng)論 5 350
  • 正文 年R本政府宣布糟描,位于F島的核電站怀喉,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏船响。R本人自食惡果不足惜躬拢,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,870評(píng)論 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望见间。 院中可真熱鬧聊闯,春花似錦、人聲如沸米诉。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,340評(píng)論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽荒辕。三九已至汗销,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間抵窒,已是汗流浹背弛针。 一陣腳步聲響...
    開封第一講書人閱讀 33,460評(píng)論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留李皇,地道東北人削茁。 一個(gè)月前我還...
    沈念sama閱讀 48,909評(píng)論 3 376
  • 正文 我出身青樓,卻偏偏與公主長得像掉房,于是被迫代替她去往敵國和親茧跋。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,512評(píng)論 2 359

推薦閱讀更多精彩內(nèi)容