Kafka使用場(chǎng)景

消息隊(duì)列

Kafka作為一個(gè)傳統(tǒng)的消息代理的替代品表現(xiàn)得非常出色漫雕。使用消息代理有各種各樣的原因(將處理與數(shù)據(jù)生成器解耦还绘,緩沖未處理的消息窗价,等等)。與大多數(shù)消息傳遞系統(tǒng)相比碰煌,Kafka有更好的吞吐量舒岸、內(nèi)置分區(qū)、復(fù)制和容錯(cuò)性芦圾,這使得它成為大規(guī)模消息處理應(yīng)用的一個(gè)很好的解決方案蛾派。

根據(jù)我們的經(jīng)驗(yàn),消息傳遞的使用通常是相對(duì)較低的吞吐量个少,但可能需要較低的端到端延遲洪乍,并且常常依賴(lài)于Kafka提供的強(qiáng)大的持久性保證。

在這個(gè)領(lǐng)域夜焦,Kafka可以與ActiveMQ或RabbitMQ等傳統(tǒng)消息傳遞系統(tǒng)相媲美壳澳。

網(wǎng)站活動(dòng)追蹤

Kafka最初的用例是能夠重建一個(gè)用戶(hù)活動(dòng)跟蹤管道,作為一組實(shí)時(shí)發(fā)布-訂閱提要茫经。這意味著站點(diǎn)活動(dòng)(頁(yè)面瀏覽巷波、搜索或用戶(hù)可能采取的其他操作)被發(fā)布到中心主題,每個(gè)活動(dòng)類(lèi)型有一個(gè)主題卸伞。這些提要可用于訂閱一系列用例抹镊,包括實(shí)時(shí)處理、實(shí)時(shí)監(jiān)視和加載到Hadoop或脫機(jī)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)以進(jìn)行脫機(jī)處理和報(bào)告荤傲。

活動(dòng)跟蹤通常是非常大的量髓考,因?yàn)樵S多活動(dòng)消息會(huì)生成的每個(gè)用戶(hù)頁(yè)面視圖。

監(jiān)控

Kafka通常用于運(yùn)行監(jiān)控?cái)?shù)據(jù)弃酌。這涉及聚合來(lái)自分布式應(yīng)用程序的統(tǒng)計(jì)信息氨菇,以生成集中的操作數(shù)據(jù)提要。

日志聚合

許多人使用Kafka作為日志聚合解決方案的替代品妓湘。日志聚合通常收集服務(wù)器上的物理日志文件查蓉,并將它們放在一個(gè)中心位置(可能是文件服務(wù)器或HDFS)進(jìn)行處理。Kafka抽象了文件的細(xì)節(jié)榜贴,并以消息流的形式對(duì)日志或事件數(shù)據(jù)進(jìn)行了更清晰的抽象豌研。這允許低延遲處理,并更容易支持多個(gè)數(shù)據(jù)源和分布式數(shù)據(jù)消費(fèi)唬党。與以日志為中心的系統(tǒng)如Scribe或Flume相比鹃共,Kafka提供了同樣好的性能,由于復(fù)制而更強(qiáng)的持久性保證驶拱,以及更低的端到端延遲霜浴。

流處理

很多Kafka的用戶(hù)在處理數(shù)據(jù)的管道中都有多個(gè)階段,原始的輸入數(shù)據(jù)會(huì)從Kafka的主題中被消費(fèi)蓝纲,然后被聚合阴孟、充實(shí)或者轉(zhuǎn)換成新的主題進(jìn)行進(jìn)一步的消費(fèi)或者后續(xù)的處理晌纫。例如,推薦新聞文章的處理管道可能會(huì)從RSS源抓取文章內(nèi)容永丝,并將其發(fā)布到“文章”主題;進(jìn)一步的處理可能會(huì)規(guī)范化或刪除該內(nèi)容锹漱,并將清理后的文章內(nèi)容發(fā)布到新主題;最后一個(gè)處理階段可能會(huì)嘗試向用戶(hù)推薦這些內(nèi)容。這種處理管道基于單個(gè)主題創(chuàng)建實(shí)時(shí)數(shù)據(jù)流圖慕嚷。從0.10.0.0開(kāi)始哥牍,Apache Kafka提供了一個(gè)輕量級(jí)但功能強(qiáng)大的流處理庫(kù),名為Kafka Streams喝检,用于執(zhí)行上述的數(shù)據(jù)處理。除了Kafka Streams蛇耀,其他開(kāi)源流處理工具包括Apache Storm和Apache Samza辩诞。

事件朔源

事件溯源是一種應(yīng)用程序設(shè)計(jì)風(fēng)格,其中將狀態(tài)更改記錄為按時(shí)間順序排列的記錄序列纺涤。Kafka支持非常大的存儲(chǔ)日志數(shù)據(jù)译暂,這使得它成為這種風(fēng)格的應(yīng)用程序的優(yōu)秀后端。

提交日志

Kafka可以作為分布式系統(tǒng)的一種外部提交日志撩炊。日志有助于在節(jié)點(diǎn)之間復(fù)制數(shù)據(jù)外永,并充當(dāng)故障節(jié)點(diǎn)的重新同步機(jī)制,以恢復(fù)它們的數(shù)據(jù)拧咳。Kafka的日志壓縮特性支持這種用法伯顶。在這種用法中,Kafka類(lèi)似于Apache BookKeeper項(xiàng)目骆膝。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末祭衩,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子阅签,更是在濱河造成了極大的恐慌掐暮,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,544評(píng)論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件政钟,死亡現(xiàn)場(chǎng)離奇詭異路克,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)养交,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,430評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門(mén)精算,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人碎连,你說(shuō)我怎么就攤上這事灰羽。” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 162,764評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵谦趣,是天一觀的道長(zhǎng)疲吸。 經(jīng)常有香客問(wèn)我座每,道長(zhǎng)前鹅,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,193評(píng)論 1 292
  • 正文 為了忘掉前任峭梳,我火速辦了婚禮舰绘,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘葱椭。我一直安慰自己捂寿,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,216評(píng)論 6 388
  • 文/花漫 我一把揭開(kāi)白布孵运。 她就那樣靜靜地躺著秦陋,像睡著了一般。 火紅的嫁衣襯著肌膚如雪治笨。 梳的紋絲不亂的頭發(fā)上驳概,一...
    開(kāi)封第一講書(shū)人閱讀 51,182評(píng)論 1 299
  • 那天,我揣著相機(jī)與錄音旷赖,去河邊找鬼顺又。 笑死,一個(gè)胖子當(dāng)著我的面吹牛等孵,可吹牛的內(nèi)容都是我干的稚照。 我是一名探鬼主播,決...
    沈念sama閱讀 40,063評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼俯萌,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼果录!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起咐熙,我...
    開(kāi)封第一講書(shū)人閱讀 38,917評(píng)論 0 274
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤雕憔,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后糖声,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體斤彼,經(jīng)...
    沈念sama閱讀 45,329評(píng)論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,543評(píng)論 2 332
  • 正文 我和宋清朗相戀三年蘸泻,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了琉苇。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,722評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡悦施,死狀恐怖并扇,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情抡诞,我是刑警寧澤穷蛹,帶...
    沈念sama閱讀 35,425評(píng)論 5 343
  • 正文 年R本政府宣布土陪,位于F島的核電站,受9級(jí)特大地震影響肴熏,放射性物質(zhì)發(fā)生泄漏鬼雀。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,019評(píng)論 3 326
  • 文/蒙蒙 一蛙吏、第九天 我趴在偏房一處隱蔽的房頂上張望源哩。 院中可真熱鬧,春花似錦鸦做、人聲如沸励烦。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,671評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)坛掠。三九已至,卻和暖如春治筒,著一層夾襖步出監(jiān)牢的瞬間屉栓,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,825評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工矢炼, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留系瓢,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 47,729評(píng)論 2 368
  • 正文 我出身青樓句灌,卻偏偏與公主長(zhǎng)得像夷陋,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子胰锌,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,614評(píng)論 2 353

推薦閱讀更多精彩內(nèi)容