盤點(diǎn)Kafka從0.11.3到2.4.1的一些亮點(diǎn)【知識筆記】

本文盤點(diǎn)下到Kafka 2.4.1版本以來的一些亮點(diǎn)务荆,這些亮點(diǎn)或筆者實(shí)際中踩過的坑、或可能將來會在實(shí)踐中使用穷遂、或個(gè)人關(guān)注的函匕,點(diǎn)擊官方發(fā)布日志連接查看全貌。

0.11.0.3

0.11.0.2于2017年11月17日發(fā)布蚪黑;0.11.0.3于2018年6月2日發(fā)布修訂版本盅惜。
其中修復(fù)了0.11.0.2以前的一個(gè)BUG中剩,該Bug曾導(dǎo)致過生產(chǎn)事故;即堆內(nèi)存不能正呈慵牛回收结啼,頻繁Full GC。詳見:Kafka(0.11.0.2版本)堆內(nèi)存不能正城撸回收問題分析【實(shí)戰(zhàn)筆記】[KAFKA-6307]

0.11.0.3官方發(fā)布日志

1.0.0

1.0.0于2017年11月1日發(fā)布郊愧;1.0.1于2018年3月5日發(fā)布;1.0.2于2018年6月8日發(fā)布井佑。
增強(qiáng)各個(gè)組件的穩(wěn)定性属铁。可以容忍JBOD磁盤故障躬翁,故障時(shí)不再導(dǎo)致broker崩潰焦蘑,會保留可用磁盤上的日志文件。[KAFKA-4763]
冪等生產(chǎn)者或者我們要保證消息順序性時(shí)需要設(shè)置max.in.flight.requests.per.connection=1盒发;1.0.0之后可以最大設(shè)置為5例嘱,從而提升投遞性能。[KAFKA-5494]

1.0.0官方發(fā)布日志
1.0.1官方發(fā)布日志
1.0.2官方發(fā)布日志

1.1.0

1.1.0于2018年3月28日發(fā)布迹辐;1.1.1于2018年6月19日發(fā)布
1.1.0通過將同步方式修改為異步方式蝶防,提升了KafkaI使Controller的shutdown速度;由于Controller性能的改進(jìn)促使集群可以支持20萬個(gè)分區(qū)明吩。[KIP-227]
Apache Kafka Supports 200K Partitions Per Cluster
Apache Kafka支持單集群20萬分區(qū)

增加了對單broker日志目錄之間的數(shù)據(jù)遷移间学,例如:一個(gè)broker下掛了多個(gè)磁盤,當(dāng)各個(gè)分區(qū)出現(xiàn)不均衡時(shí)印荔,1.1.0之后支持該broker磁盤將分區(qū)遷移實(shí)現(xiàn)數(shù)據(jù)均衡低葫。[KAFKA-5163]
1.1.0官方發(fā)布日志
1.1.1官方發(fā)布日志

2.0.0

2.0.0于2018年6月30日發(fā)布;2.0.1于2018年11月9日發(fā)布仍律;增加了主題前綴或通配符的ACL的支持嘿悬,從而簡化了大型安全部署中的訪問控制管理。[KAFKA-6841]

支持OAuth 2.0認(rèn)證[KAFKA-6562]

2.0.0官方發(fā)布日志
2.0.1官方發(fā)布日志

2.1.0

2.1.0于2018年11月20日發(fā)布水泉;2.1.1于2019年2月15日發(fā)布善涨。
支持Zstandard壓縮算法
[KAFKA-4514]

2.1.0官方發(fā)布日志
2.1.1官方發(fā)布日志

2.2.0

2.2.0于2019年3月22日發(fā)布;2.2.1于2019年6月1日發(fā)布草则;2.2.2于2019年12月1日發(fā)布钢拧。
改進(jìn)消費(fèi)組管理,默認(rèn)group.id為null炕横,以前為空字符串源内。[KAFKA-6774]

2.2.0官方發(fā)布日志

2.2.1官方發(fā)布日志

2.2.2官方發(fā)布日志

2.3.0

2.3.0于2019年6月25日發(fā)布;2.3.1于2019年10月24日發(fā)布份殿。
提供命令查看哪些topic的分區(qū)小于最小ISR的數(shù)量膜钓。[KAFKA-7236]

2.3.0官方發(fā)布日志

2.3.1官方發(fā)布日志

2.4.0

2.4.0于2019年12月16日發(fā)布嗽交;2.4.1于2020年3月12日發(fā)布。

允許消費(fèi)者從最近的副本(follower)獲取數(shù)據(jù) [KAFKA-8443]

跨機(jī)房數(shù)據(jù)同步引擎MirrorMaker 2.0 [KAFKA-7500]

升級ZooKeeper到3.5.7該版本fix了21個(gè)issue [KAFKA-9515]

2.4.0官方發(fā)布日志

2.4.1官方發(fā)布日志


作者老梁,哈啰出行高級技術(shù)專家,參與了《RocketMQ技術(shù)內(nèi)幕》審稿工作感论。專注后端中間件方向,已陸續(xù)發(fā)表RocketMQ系列掌唾、Kafka系列放前、gRPC系列忿磅、Sentinel系列、Java NIO系列凭语。其中RocketMQ系列已發(fā)表40余篇葱她。源碼、實(shí)戰(zhàn)似扔、原理吨些、調(diào)優(yōu)期待與你一起學(xué)習(xí)。


公眾號.jpg

個(gè)人微信.png
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末炒辉,一起剝皮案震驚了整個(gè)濱河市豪墅,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌黔寇,老刑警劉巖偶器,帶你破解...
    沈念sama閱讀 219,188評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異缝裤,居然都是意外死亡屏轰,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,464評論 3 395
  • 文/潘曉璐 我一進(jìn)店門憋飞,熙熙樓的掌柜王于貴愁眉苦臉地迎上來霎苗,“玉大人,你說我怎么就攤上這事榛做⊙湔担” “怎么了?”我有些...
    開封第一講書人閱讀 165,562評論 0 356
  • 文/不壞的土叔 我叫張陵检眯,是天一觀的道長厘擂。 經(jīng)常有香客問我,道長轰传,這世上最難降的妖魔是什么驴党? 我笑而不...
    開封第一講書人閱讀 58,893評論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮获茬,結(jié)果婚禮上港庄,老公的妹妹穿的比我還像新娘倔既。我一直安慰自己,他們只是感情好鹏氧,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,917評論 6 392
  • 文/花漫 我一把揭開白布渤涌。 她就那樣靜靜地躺著,像睡著了一般把还。 火紅的嫁衣襯著肌膚如雪实蓬。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,708評論 1 305
  • 那天吊履,我揣著相機(jī)與錄音安皱,去河邊找鬼。 笑死艇炎,一個(gè)胖子當(dāng)著我的面吹牛酌伊,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播缀踪,決...
    沈念sama閱讀 40,430評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼居砖,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了驴娃?” 一聲冷哼從身側(cè)響起奏候,我...
    開封第一講書人閱讀 39,342評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎唇敞,沒想到半個(gè)月后蔗草,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,801評論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡厚棵,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,976評論 3 337
  • 正文 我和宋清朗相戀三年蕉世,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片婆硬。...
    茶點(diǎn)故事閱讀 40,115評論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡狠轻,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出彬犯,到底是詐尸還是另有隱情向楼,我是刑警寧澤,帶...
    沈念sama閱讀 35,804評論 5 346
  • 正文 年R本政府宣布谐区,位于F島的核電站湖蜕,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏宋列。R本人自食惡果不足惜昭抒,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,458評論 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧灭返,春花似錦盗迟、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,008評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至怎静,卻和暖如春邮弹,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背蚓聘。 一陣腳步聲響...
    開封第一講書人閱讀 33,135評論 1 272
  • 我被黑心中介騙來泰國打工腌乡, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人或粮。 一個(gè)月前我還...
    沈念sama閱讀 48,365評論 3 373
  • 正文 我出身青樓导饲,卻偏偏與公主長得像捞高,于是被迫代替她去往敵國和親氯材。 傳聞我的和親對象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,055評論 2 355

推薦閱讀更多精彩內(nèi)容