在LinkedIn的 Kafka 生態(tài)系統(tǒng)

Apache Kafka是一個(gè)高度可擴(kuò)展的消息傳遞系統(tǒng)，作為L(zhǎng)inkedIn的中央數(shù)據(jù)管道起著至關(guān)重要的作用撵割。 Kafka 是在2010年在LinkedIn開(kāi)發(fā)的，它目前在1400多家經(jīng)紀(jì)商處理超過(guò)1.4萬(wàn)億條消息。Kafka 強(qiáng)大的耐用性和低延遲使我們能夠使用Kafka為L(zhǎng)inkedIn提供一些新的關(guān)鍵任務(wù)用例。其中包括用基于Kafka的復(fù)制责循，威尼斯替代Espresso中的 MySQL復(fù)制，并支持下一代Databus（正在開(kāi)發(fā)中）攀操。

隨著我們的 Kafka 使用量繼續(xù)快速增長(zhǎng)院仿，我們必須解決一些重大問(wèn)題，以使所有這些成為可能崔赌，所以我們圍繞 Kafka 開(kāi)發(fā)了一個(gè)完整的生態(tài)系統(tǒng)意蛀。在這篇文章中耸别，我將總結(jié)一些我們的解決方案健芭，這些解決方案對(duì)于使用 Kafka 的人來(lái)說(shuō)可能是有用的，并且強(qiáng)調(diào)幾個(gè)即將到來(lái)的活動(dòng)秀姐，您可以從中了解更多慈迈。

Kafka 生態(tài)系統(tǒng)在LinkedIn
上圖并未完全捕捉到LinkedIn上的各種數(shù)據(jù)管道和拓?fù)浣Y(jié)構(gòu)，但是可以說(shuō)明LinkedIn Kafka部署中的關(guān)鍵實(shí)體以及它們?nèi)绾蜗嗷ビ绊憽?/p>

核心 Kafka 服務(wù)
Kafka 經(jīng)紀(jì)人

我們?yōu)槊總€(gè)數(shù)據(jù)中心的不同目的運(yùn)行幾組 Kafka 經(jīng)紀(jì)人。我們目前在LinkedIn上部署了近1400名經(jīng)紀(jì)人痒留，每周收到超過(guò)2 PB的數(shù)據(jù)谴麦。我們通常運(yùn)行Apache Kafka主干，每個(gè)季度都會(huì)削減一個(gè)新的內(nèi)部版本伸头。

Kafka 鏡子制造商

鏡像制造商使我們能夠通過(guò)從源集群中消費(fèi)并生成目標(biāo)集群來(lái)制作集群副本匾效。在數(shù)據(jù)中心和數(shù)據(jù)中心內(nèi)都有多個(gè)鏡像管道。Todd Palino的文章總結(jié)了我們?nèi)绾问褂眠@個(gè)來(lái)促進(jìn)LinkedIn上的Kafka的多色恤磷。

模式注冊(cè)表

我們已經(jīng)在LinkedIn的數(shù)據(jù)管道內(nèi)將Avro標(biāo)準(zhǔn)化為通用語(yǔ)言面哼。因此，每個(gè)生產(chǎn)者都編碼Avro數(shù)據(jù)扫步，在模式注冊(cè)中注冊(cè)Avro模式魔策，并在每個(gè)序列化消息中嵌入一個(gè)模式ID。消費(fèi)者從模式注冊(cè)表服務(wù)中獲取與ID相對(duì)應(yīng)的模式河胎，以反序列化Avro消息闯袒。雖然我們的數(shù)據(jù)中心有多個(gè)模式注冊(cè)表實(shí)例，但這些實(shí)例由包含模式的單個(gè)（復(fù)制）數(shù)據(jù)庫(kù)支持游岳。

Kafka REST代理

Kafka REST是我們?yōu)榉荍ava客戶端提供的HTTP代理政敢。我們的大多數(shù)Kafka集群都有一個(gè)關(guān)聯(lián)的REST代理。Kafka REST也是主題行政運(yùn)作的官方網(wǎng)關(guān)吭历。

Nuage

Kafka大部分都是自助服務(wù)：用戶定義自己的事件模式并開(kāi)始制作主題堕仔。Kafka代理自動(dòng)創(chuàng)建具有默認(rèn)配置和分區(qū)計(jì)數(shù)的主題。最后晌区，任何消費(fèi)者都可以消費(fèi)這個(gè)話題摩骨，使 Kafka 完全開(kāi)放。

隨著 Kafka 的使用量不斷增加朗若，出現(xiàn)新的使用案例恼五，上述方法中出現(xiàn)了一些限制。首先哭懈，一些主題需要自定義配置灾馒，需要對(duì)Kafka SRE進(jìn)行特殊請(qǐng)求。其次遣总，大多數(shù)用戶很難發(fā)現(xiàn)和檢查他們擁有的主題的元數(shù)據(jù)（例如睬罗，字節(jié)率，審計(jì)完整性旭斥，模式歷史等）容达。第三，由于Kafka包含了各種安全功能垂券，某些主題所有者可能希望限制對(duì)主題的訪問(wèn)花盐，并自行管理ACL。

Nuage是LinkedIn在線數(shù)據(jù)基礎(chǔ)設(shè)施資源的自助服務(wù)門戶，最近我們與Nuage團(tuán)隊(duì)合作算芯，在Nuage內(nèi)增加了對(duì)Kafka的支持柒昏。這為用戶提供了一個(gè)方便的地方來(lái)管理他們的主題和相關(guān)的元數(shù)據(jù)。Nuage將主題CRUD操作委托給Kafka REST熙揍，它抽象出Kafka行政事業(yè)的細(xì)微差別职祷。

圖書館
LiKafka客戶端庫(kù)

LiKafka制作人包裝開(kāi)放源碼制作人，但也進(jìn)行模式注冊(cè)届囚，Avro編碼堪旧，審計(jì)和支持大消息。審計(jì)事件計(jì)算在10分鐘窗口中發(fā)送給每個(gè)主題的事件數(shù)量奖亚。同樣淳梦，消費(fèi)者包裝開(kāi)源消費(fèi)者，并進(jìn)行模式查找昔字，Avro解碼和審計(jì)爆袍。

Kafka 推工作

Kafka推送工作用于將豐富的數(shù)據(jù)從Hadoop發(fā)送到Kafka，供在線服務(wù)使用作郭。推送作業(yè)在CORP環(huán)境中的Hadoop集群上運(yùn)行陨囊，并將數(shù)據(jù)生成到CORP數(shù)據(jù)部署Kafka集群中。鏡像制造者將這些數(shù)據(jù)復(fù)制到PROD數(shù)據(jù)部署集群中夹攒。

Gobblin

Gobblin是LinkedIn的新的攝取框架蜘醋，并貶低了 Camus，這是我們以前的Kafka to Hadoop橋梁咏尝。它基本上是一個(gè)大的Hadoop作業(yè)压语，它將Kafka中的所有數(shù)據(jù)復(fù)制到Hadoop中進(jìn)行離線處理。

監(jiān)測(cè)服務(wù)
Kafka 監(jiān)視器

這是Kafka部署的一套持續(xù)運(yùn)行的驗(yàn)證測(cè)試编检，我們利用這些測(cè)試來(lái)驗(yàn)證新版本以及監(jiān)控現(xiàn)有部署胎食。我們目前正在監(jiān)控基本但重要的指標(biāo)，如端到端延遲和數(shù)據(jù)丟失允懂。我們預(yù)計(jì)未來(lái)我們將在測(cè)試集群中使用這個(gè)框架來(lái)不斷地測(cè)試管理操作的正確性（例如分區(qū)重新分配）厕怜，甚至利用諸如Simoorg之類的錯(cuò)誤注入框架來(lái)確保我們能夠滿足我們的可用性SLA即使在各種失敗的情況下。

Kafka 審計(jì)

我們的審計(jì)跟蹤基礎(chǔ)架構(gòu)中有兩個(gè)關(guān)鍵組件：

一種 Kafka 審計(jì)服務(wù)蕾总，用于消費(fèi)和重新計(jì)算 Kafka 集群中的所有數(shù)據(jù)粥航，并發(fā)出類似于追蹤生產(chǎn)者的審計(jì)事件。這使我們能夠?qū)afka集群上的計(jì)數(shù)與生產(chǎn)者計(jì)數(shù)進(jìn)行協(xié)調(diào)生百，并檢測(cè)數(shù)據(jù)丟失（如果有的話）递雀。
Kafka 審計(jì)驗(yàn)證服務(wù)，持續(xù)監(jiān)控?cái)?shù)據(jù)的完整性置侍，并提供用于查看審計(jì)跟蹤的用戶界面映之。此服務(wù)消耗并將審計(jì)事件插入審計(jì)數(shù)據(jù)庫(kù)，并在數(shù)據(jù)延遲或丟失時(shí)發(fā)出警報(bào)蜡坊。我們使用審計(jì)數(shù)據(jù)庫(kù)來(lái)調(diào)查發(fā)生的警報(bào)杠输，并精確地指出數(shù)據(jù)丟失的位置。
Kafka 生態(tài)系統(tǒng)
地洞

Burrow是監(jiān)控Kafka消費(fèi)者健康的棘手問(wèn)題的一個(gè)優(yōu)雅的答案秕衙，并提供了一個(gè)消費(fèi)者狀態(tài)的全面視圖蠢甲。它提供消費(fèi)滯后檢查作為服務(wù)，而不需要指定閾值据忘。它以主題分區(qū)粒度監(jiān)視所有消費(fèi)者的承諾偏移鹦牛，并根據(jù)需要計(jì)算這些消費(fèi)者的狀態(tài)。

流處理在LinkedIn
Samza是LinkedIn的流處理平臺(tái)勇吊，可以幫助用戶盡快完成流處理工作并投入生產(chǎn)曼追。流處理領(lǐng)域一直嗡嗡作響，有許多開(kāi)源系統(tǒng)正在做類似的事情汉规。與專注于非常廣泛的功能集的其他流處理系統(tǒng)不同礼殊，我們專注于使Samza在LinkedIn規(guī)模下可靠，高性能和可操作≌胧罚現(xiàn)在我們有很多生產(chǎn)工作量正在運(yùn)行晶伦，我們可以把注意力放在拓寬功能集上。這篇較早的博客文章詳細(xì)介紹了我們關(guān)于相關(guān)性啄枕，分析婚陪，站點(diǎn)監(jiān)控，安全等方面的生產(chǎn)用例以及我們正在開(kāi)發(fā)的一些新功能频祝。

即將舉行的活動(dòng)
如果您有興趣進(jìn)一步了解我們的Kafka生態(tài)系統(tǒng)泌参，我們?nèi)绾尾渴鸷团懦齂afka故障，以及我們的新特性 /用例常空，我們邀請(qǐng)您參加這些即將到來(lái)的會(huì)議：

4月26日：Espresso數(shù)據(jù)庫(kù)復(fù)制與Kafka @ Kafka峰會(huì)：Espresso是LinkedIn的分布式文檔商店及舍，托管我們最重要的成員數(shù)據(jù)。Tom Quiggle將介紹為什么Espresso將從MySQL的內(nèi)置復(fù)制機(jī)制切換到Kafka窟绷，以及Espresso如何將Kafka作為復(fù)制流 - 這是一個(gè)將Kafka的耐久性和可用性保證加入測(cè)試的用例锯玛！
4月26日：更多的數(shù)據(jù)中心，更多的問(wèn)題 @ Kafka峰會(huì)：Todd Palino將談?wù)摱鄶?shù)據(jù)中心和多層 Kafka 集群的基礎(chǔ)架構(gòu)兼蜈，并就如何監(jiān)控整個(gè)生態(tài)系統(tǒng)提供實(shí)用技巧攘残。
4月26日： 在LinkedIn Kafka 天，2015年 @ Kafka 峰會(huì)：霍埃爾·科什將深入了解一些最困難为狸，最突出的 Kafka 生產(chǎn)問(wèn)題是LinkedIn創(chuàng)下2015年該談話會(huì)在每個(gè)停運(yùn)及其影響歼郭，以及方法到檢測(cè)，調(diào)查和整治辐棒。
5月10日：建立一個(gè)自助服務(wù) Kafka 系統(tǒng) @ 阿帕奇：大數(shù)據(jù)：霍埃爾·科什將提供一個(gè)深入了解成什么需要通過(guò)共同編織的安全性病曾，配額的RESTful API和Nuage使 Kafka 一個(gè)真正的多租戶服務(wù)牍蜂。
5月9日： 背后縮放流處理應(yīng)用程序的秘密 @ 阿帕奇：大數(shù)據(jù)：Navina拉梅什將描述阿帕奇Samza對(duì)國(guó)家管理和容錯(cuò)方法，并討論了如何可以有效地用于擴(kuò)展?fàn)顟B(tài)流處理應(yīng)用程序泰涂。
6月28-30日： λ-少在LinkedIn @流處理@規(guī)模的Hadoop峰會(huì)：Yi·潘和卡蒂克·帕拉梅西瓦姆將突出Samza的主要優(yōu)勢(shì)是實(shí)時(shí)流處理平臺(tái)鲫竞，其在LinkedIn使用的動(dòng)手概述。