本文盤點(diǎn)下到Kafka 2.4.1版本以來的一些亮點(diǎn)务荆,這些亮點(diǎn)或筆者實(shí)際中踩過的坑、或可能將來會在實(shí)踐中使用穷遂、或個(gè)人關(guān)注的函匕,點(diǎn)擊官方發(fā)布日志連接查看全貌。
0.11.0.3
0.11.0.2于2017年11月17日發(fā)布蚪黑;0.11.0.3于2018年6月2日發(fā)布修訂版本盅惜。
其中修復(fù)了0.11.0.2以前的一個(gè)BUG中剩,該Bug曾導(dǎo)致過生產(chǎn)事故;即堆內(nèi)存不能正呈慵牛回收结啼,頻繁Full GC。詳見:Kafka(0.11.0.2版本)堆內(nèi)存不能正城撸回收問題分析【實(shí)戰(zhàn)筆記】[KAFKA-6307]
1.0.0
1.0.0于2017年11月1日發(fā)布郊愧;1.0.1于2018年3月5日發(fā)布;1.0.2于2018年6月8日發(fā)布井佑。
增強(qiáng)各個(gè)組件的穩(wěn)定性属铁。可以容忍JBOD磁盤故障躬翁,故障時(shí)不再導(dǎo)致broker崩潰焦蘑,會保留可用磁盤上的日志文件。[KAFKA-4763]
冪等生產(chǎn)者或者我們要保證消息順序性時(shí)需要設(shè)置max.in.flight.requests.per.connection=1盒发;1.0.0之后可以最大設(shè)置為5例嘱,從而提升投遞性能。[KAFKA-5494]
1.0.0官方發(fā)布日志
1.0.1官方發(fā)布日志
1.0.2官方發(fā)布日志
1.1.0
1.1.0于2018年3月28日發(fā)布迹辐;1.1.1于2018年6月19日發(fā)布
1.1.0通過將同步方式修改為異步方式蝶防,提升了KafkaI使Controller的shutdown速度;由于Controller性能的改進(jìn)促使集群可以支持20萬個(gè)分區(qū)明吩。[KIP-227]
Apache Kafka Supports 200K Partitions Per Cluster
Apache Kafka支持單集群20萬分區(qū)
增加了對單broker日志目錄之間的數(shù)據(jù)遷移间学,例如:一個(gè)broker下掛了多個(gè)磁盤,當(dāng)各個(gè)分區(qū)出現(xiàn)不均衡時(shí)印荔,1.1.0之后支持該broker磁盤將分區(qū)遷移實(shí)現(xiàn)數(shù)據(jù)均衡低葫。[KAFKA-5163]
1.1.0官方發(fā)布日志
1.1.1官方發(fā)布日志
2.0.0
2.0.0于2018年6月30日發(fā)布;2.0.1于2018年11月9日發(fā)布仍律;增加了主題前綴或通配符的ACL的支持嘿悬,從而簡化了大型安全部署中的訪問控制管理。[KAFKA-6841]
支持OAuth 2.0認(rèn)證[KAFKA-6562]
2.0.0官方發(fā)布日志
2.0.1官方發(fā)布日志
2.1.0
2.1.0于2018年11月20日發(fā)布水泉;2.1.1于2019年2月15日發(fā)布善涨。
支持Zstandard壓縮算法
[KAFKA-4514]
2.1.0官方發(fā)布日志
2.1.1官方發(fā)布日志
2.2.0
2.2.0于2019年3月22日發(fā)布;2.2.1于2019年6月1日發(fā)布草则;2.2.2于2019年12月1日發(fā)布钢拧。
改進(jìn)消費(fèi)組管理,默認(rèn)group.id為null炕横,以前為空字符串源内。[KAFKA-6774]
2.3.0
2.3.0于2019年6月25日發(fā)布;2.3.1于2019年10月24日發(fā)布份殿。
提供命令查看哪些topic的分區(qū)小于最小ISR的數(shù)量膜钓。[KAFKA-7236]
2.4.0
2.4.0于2019年12月16日發(fā)布嗽交;2.4.1于2020年3月12日發(fā)布。
允許消費(fèi)者從最近的副本(follower)獲取數(shù)據(jù) [KAFKA-8443]
跨機(jī)房數(shù)據(jù)同步引擎MirrorMaker 2.0 [KAFKA-7500]
升級ZooKeeper到3.5.7該版本fix了21個(gè)issue [KAFKA-9515]
作者老梁,哈啰出行高級技術(shù)專家,參與了《RocketMQ技術(shù)內(nèi)幕》審稿工作感论。專注后端中間件方向,已陸續(xù)發(fā)表RocketMQ系列掌唾、Kafka系列放前、gRPC系列忿磅、Sentinel系列、Java NIO系列凭语。其中RocketMQ系列已發(fā)表40余篇葱她。源碼、實(shí)戰(zhàn)似扔、原理吨些、調(diào)優(yōu)期待與你一起學(xué)習(xí)。