【Kafka官方文檔翻譯】5.4.4. 生產(chǎn)者

原文地址:https://kafka.apache.org/0101/documentation.html#theproducer

負載均衡

生產(chǎn)者之間發(fā)送數(shù)據(jù)到主分區(qū)的服務(wù)器上节仿,不需要經(jīng)過任何中間路由习绢。為了讓生產(chǎn)者實現(xiàn)這個功能陨瘩,所有的 kafka 服務(wù)器節(jié)點都能響應這樣的元數(shù)據(jù)請求:哪些服務(wù)器是活著的央串,主題的哪些分區(qū)是主分區(qū)库物,分配在哪個服務(wù)器上疫萤,這樣生產(chǎn)者就能適當?shù)刂苯影l(fā)送它的請求到服務(wù)器上芝囤。
  客戶端控制消息發(fā)送數(shù)據(jù)到哪個分區(qū)次洼,這個可以實現(xiàn)隨機的負載均衡方式关贵。或者使用一些特定語義的分區(qū)函數(shù)卖毁,我們有提供特定分區(qū)的接口讓用于根據(jù)指定的鍵值進行hash分區(qū)(當然也有選項可以重寫分區(qū)函數(shù))揖曾,例如,如果鍵值使用用戶ID亥啦,則用戶相關(guān)的所有數(shù)據(jù)都會被分發(fā)到同一個分區(qū)上炭剪。這允許消費者,在消費數(shù)據(jù)時做一些特定的本地化處理翔脱。這樣的分區(qū)風格經(jīng)常被設(shè)計用于一些本地處理比較敏感的消費者奴拦。

異步發(fā)送

批處理是提升性能的一個主要驅(qū)動,為了允許批量處理届吁,kafka 生產(chǎn)者會嘗試在內(nèi)存中匯總數(shù)據(jù)错妖,并用一次請求批次提交信息。批處理疚沐,不僅僅可以配置指定的消息數(shù)量暂氯,也可以指定等待特定的延遲時間(如64k 或10ms),這允許匯總更多的數(shù)據(jù)后再發(fā)送亮蛔,在服務(wù)器端也會減少更多的IO操作痴施。該緩沖是可配置的,并給出了一個機制究流,通過權(quán)衡少量額外的延遲時間獲取更好的吞吐量辣吃。
  更多的細節(jié)信息可以在生產(chǎn)者的 configurationapi 這里找到.

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市梯嗽,隨后出現(xiàn)的幾起案子齿尽,更是在濱河造成了極大的恐慌,老刑警劉巖灯节,帶你破解...
    沈念sama閱讀 217,277評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件循头,死亡現(xiàn)場離奇詭異,居然都是意外死亡炎疆,警方通過查閱死者的電腦和手機卡骂,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,689評論 3 393
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來形入,“玉大人全跨,你說我怎么就攤上這事∫谒欤” “怎么了浓若?”我有些...
    開封第一講書人閱讀 163,624評論 0 353
  • 文/不壞的土叔 我叫張陵渺杉,是天一觀的道長。 經(jīng)常有香客問我挪钓,道長是越,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,356評論 1 293
  • 正文 為了忘掉前任碌上,我火速辦了婚禮倚评,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘馏予。我一直安慰自己天梧,他們只是感情好,可當我...
    茶點故事閱讀 67,402評論 6 392
  • 文/花漫 我一把揭開白布霞丧。 她就那樣靜靜地躺著呢岗,像睡著了一般。 火紅的嫁衣襯著肌膚如雪蛹尝。 梳的紋絲不亂的頭發(fā)上敷燎,一...
    開封第一講書人閱讀 51,292評論 1 301
  • 那天,我揣著相機與錄音箩言,去河邊找鬼。 笑死焕襟,一個胖子當著我的面吹牛陨收,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播鸵赖,決...
    沈念sama閱讀 40,135評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼务漩,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了它褪?” 一聲冷哼從身側(cè)響起饵骨,我...
    開封第一講書人閱讀 38,992評論 0 275
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎茫打,沒想到半個月后居触,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,429評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡老赤,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,636評論 3 334
  • 正文 我和宋清朗相戀三年轮洋,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片抬旺。...
    茶點故事閱讀 39,785評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡弊予,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出开财,到底是詐尸還是另有隱情汉柒,我是刑警寧澤误褪,帶...
    沈念sama閱讀 35,492評論 5 345
  • 正文 年R本政府宣布,位于F島的核電站碾褂,受9級特大地震影響兽间,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜斋扰,卻給世界環(huán)境...
    茶點故事閱讀 41,092評論 3 328
  • 文/蒙蒙 一渡八、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧传货,春花似錦屎鳍、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,723評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至粮宛,卻和暖如春窥淆,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背巍杈。 一陣腳步聲響...
    開封第一講書人閱讀 32,858評論 1 269
  • 我被黑心中介騙來泰國打工忧饭, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人筷畦。 一個月前我還...
    沈念sama閱讀 47,891評論 2 370
  • 正文 我出身青樓词裤,卻偏偏與公主長得像,于是被迫代替她去往敵國和親鳖宾。 傳聞我的和親對象是個殘疾皇子吼砂,可洞房花燭夜當晚...
    茶點故事閱讀 44,713評論 2 354

推薦閱讀更多精彩內(nèi)容

  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理,服務(wù)發(fā)現(xiàn)鼎文,斷路器渔肩,智...
    卡卡羅2017閱讀 134,654評論 18 139
  • kafka的定義:是一個分布式消息系統(tǒng),由LinkedIn使用Scala編寫拇惋,用作LinkedIn的活動流(Act...
    時待吾閱讀 5,317評論 1 15
  • Design 1. Motivation 我們設(shè)計Kafka用來作為統(tǒng)一的平臺來處理大公司可能擁有的所有實時數(shù)據(jù)源...
    BlackManba_24閱讀 1,373評論 0 8
  • Kafka官網(wǎng):http://kafka.apache.org/入門1.1 介紹Kafka? 是一個分布式流處理系...
    it_zzy閱讀 3,894評論 3 53
  • Kafka入門經(jīng)典教程-Kafka-about云開發(fā) http://www.aboutyun.com/threa...
    葡萄喃喃囈語閱讀 10,827評論 4 54