前段時(shí)間有一個(gè)同事問(wèn)到：Kafka 0.8.2 只能使用Zookeeper連接嗎蠕嫁？雖然仍有一部分Kafka的老用戶在使用 0.8.x 版本，但 Kafka 0.8.x 確實(shí)是比較老的版本了。如果不是對(duì)Kafka非常熟悉伐庭，很容易忽略各個(gè)版本之間的差異辫塌，也不會(huì)清楚某個(gè)版本的特點(diǎn)及使用方式。本文我們就一起學(xué)習(xí)下Kafka的歷史版本演進(jìn)哈恰，增加我們對(duì)Kafka的了解只估，對(duì)于Kafka的技術(shù)選型也具有指導(dǎo)意義志群。
一、Kafka概述
Kafka是目前主流的分布式消息引擎及流處理平臺(tái)蛔钙，經(jīng)常用做企業(yè)的消息總線锌云、實(shí)時(shí)數(shù)據(jù)管道，有的還把它當(dāng)做存儲(chǔ)系統(tǒng)來(lái)使用吁脱。早期Kafka的定位是一個(gè)高吞吐的分布式消息系統(tǒng)宾抓，但隨著版本的不斷迭代，目前已經(jīng)發(fā)展成為一個(gè)分布式流處理平臺(tái)了豫喧。
Kafka遵循生產(chǎn)者消費(fèi)者模式石洗，生產(chǎn)者發(fā)送消息到Broker中某一個(gè)Topic的具體分區(qū)里，消費(fèi)者從一個(gè)或多個(gè)分區(qū)中拉取數(shù)據(jù)進(jìn)行消費(fèi)紧显。目前Kafka主要提供了四套核心的API讲衫，Producer API、Consumer API孵班、Streams API與Connector API涉兽。隨著Kafka不同版本的發(fā)布，API的支持也有所不同篙程，具體也可參考下面的介紹枷畏。
二、Kafka版本規(guī)則
在Kafka 1.0.0之前基本遵循4位版本號(hào)虱饿，比如Kafka 0.8.2.0拥诡、Kafka 0.11.0.3等。而從1.0.0開始Kafka就告別了4位版本號(hào)氮发，遵循 Major.Minor.Patch 的版本規(guī)則渴肉，其中Major表示大版本，通常是一些重大改變爽冕，因此彼此之間功能可能會(huì)不兼容仇祭；Minor表示小版本，通常是一些新功能的增加颈畸；最后Patch表示修訂版乌奇，主要為修復(fù)一些重點(diǎn)Bug而發(fā)布的版本。比如Kafka 2.1.1眯娱，大版本就是2礁苗，小版本是1，Patch版本為1困乒，是為修復(fù)Bug發(fā)布的第1個(gè)版本寂屏。
三、Kafka版本演進(jìn)
Kafka總共發(fā)布了7個(gè)大版本，分別是0.7.x迁霎、0.8.x吱抚、0.9.x、0.10.x考廉、0.11.x秘豹、1.x及2.x版本。截止目前昌粤，最新版本是Kafka 2.4.0既绕，也是最新穩(wěn)定版本。
0.7.x版本
這是很老的Kafka版本涮坐，它只有基本的消息隊(duì)列功能凄贩，連消息副本機(jī)制都沒有，不建議使用袱讹。
0.8.x版本
兩個(gè)重要特性疲扎，一個(gè)是Kafka 0.8.0增加了副本機(jī)制佳簸，另一個(gè)是Kafka 0.8.2.0引入了新版本Producer API膛堤。新舊版本Producer API如下：
//舊版本
Producerkafka.javaapi.producer.Producer<K,V>
//新版本
Producerorg.apache.kafka.clients.producer.KafkaProducer<K,V>
與舊版本相比促王，新版本Producer API有點(diǎn)不同蜕琴，一是連接Kafka方式上，舊版本的生產(chǎn)者及消費(fèi)者API連接的是Zookeeper烁峭，而新版本則連接的是Broker但壮；二是新版Producer采用異步方式發(fā)送消息咸包，比之前同步發(fā)送消息的性能有所提升浦译。但此時(shí)的新版Producer API尚不穩(wěn)定棒假，不建議生產(chǎn)使用。
0.9.x版本
Kafka 0.9 是一個(gè)重大的版本迭代管怠，增加了非常多的新特性淆衷，主要體現(xiàn)在三個(gè)方面：
安全方面：在0.9.0之前，Kafka安全方面的考慮幾乎為0渤弛。Kafka 0.9.0 在安全認(rèn)證、授權(quán)管理甚带、數(shù)據(jù)加密等方面都得到了支持她肯，包括支持Kerberos等。
新版本Consumer API：Kafka 0.9.0 重寫并提供了新版消費(fèi)端API鹰贵，使用方式也是從連接Zookeeper切到了連接Broker晴氨，但是此時(shí)新版Consumer API也不太穩(wěn)定、存在不少Bug碉输，生產(chǎn)使用可能會(huì)比較痛苦籽前；而0.9.0版本的Producer API已經(jīng)比較穩(wěn)定了，生產(chǎn)使用問(wèn)題不大。
Kafka Connect：Kafka 0.9.0 引入了新的組件 Kafka Connect 枝哄，用于實(shí)現(xiàn)Kafka與其他外部系統(tǒng)之間的數(shù)據(jù)抽取肄梨。
0.10.x版本
Kafka 0.10 是一個(gè)重要的大版本，因?yàn)镵afka 0.10.0.0 引入了 Kafka Streams挠锥，使得Kafka不再僅是一個(gè)消息引擎众羡，而是往一個(gè)分布式流處理平臺(tái)方向發(fā)展。0.10 大版本包含兩個(gè)小版本：0.10.1 和 0.10.2蓖租，它們的主要功能變更都是在 Kafka Streams 組件上粱侣。
值得一提的是，自 0.10.2.2 版本起蓖宦，新版本 Consumer API 已經(jīng)比較穩(wěn)定了齐婴，而且 Producer API 的性能也得到了提升，因此對(duì)于使用 0.10.x 大版本的用戶稠茂，建議使用或升級(jí)到 Kafka 0.10.2.2 版本柠偶。
0.11.x版本
Kafka 0.11 是一個(gè)里程碑式的大版本，主要有兩個(gè)大的變更主慰，一是Kafka從這個(gè)版本開始支持Exactly-Once 語(yǔ)義即精準(zhǔn)一次語(yǔ)義嚣州，主要是實(shí)現(xiàn)了Producer端的消息冪等性，以及事務(wù)特性共螺，這對(duì)于Kafka流式處理具有非常大的意義该肴。
另一個(gè)重大變更是Kafka消息格式的重構(gòu)，Kafka 0.11主要為了實(shí)現(xiàn)Producer冪等性與事務(wù)特性藐不，重構(gòu)了投遞消息的數(shù)據(jù)結(jié)構(gòu)匀哄。這一點(diǎn)非常值得關(guān)注，因?yàn)镵afka 0.11之后的消息格式發(fā)生了變化雏蛮，所以我們要特別注意Kafka不同版本間消息格式不兼容的問(wèn)題涎嚼。
1.x版本
Kafka 1.x 更多的是Kafka Streams方面的改進(jìn)，以及Kafka Connect的改進(jìn)與功能完善等挑秉。但仍有兩個(gè)重要特性法梯，一是Kafka 1.0.0實(shí)現(xiàn)了磁盤的故障轉(zhuǎn)移，當(dāng)Broker的某一塊磁盤損壞時(shí)數(shù)據(jù)會(huì)自動(dòng)轉(zhuǎn)移到其他正常的磁盤上犀概，Broker還會(huì)正常工作立哑，這在之前版本中則會(huì)直接導(dǎo)致Broker宕機(jī)，因此Kafka的可用性與可靠性得到了提升姻灶；
二是Kafka 1.1.0開始支持副本跨路徑遷移铛绰，分區(qū)副本可以在同一Broker不同磁盤目錄間進(jìn)行移動(dòng)，這對(duì)于磁盤的負(fù)載均衡非常有意義产喉。
2.x版本：
Kafka 2.x 更多的也是Kafka Streams捂掰、Connect方面的性能提升與功能完善敢会，以及安全方面的增強(qiáng)等。一個(gè)使用特性这嚣，Kafka 2.1.0開始支持ZStandard的壓縮方式鸥昏，提升了消息的壓縮比，顯著減少了磁盤空間與網(wǎng)絡(luò)io消耗疤苹。
四互广、Kafka版本建議
遵循一個(gè)基本原則，Kafka客戶端版本和服務(wù)端版本應(yīng)該保持一致卧土，否則可能會(huì)遇到一些問(wèn)題惫皱。
根據(jù)是否用到了Kafka的一些新特性來(lái)選擇，假如要用到Kafka生產(chǎn)端的消息冪等性尤莺，那么建議選擇Kafka 0.11 或之后的版本旅敷。
選擇一個(gè)自己熟悉且穩(wěn)定的版本，如果說(shuō)沒有比較熟悉的版本颤霎，建議選擇一個(gè)較新且穩(wěn)定媳谁、使用比較廣泛的版本。
主要參考：
http://kafka.apache.org/downloads及相關(guān)的Release記錄
本文重點(diǎn)總結(jié)了Kafka的各版本演進(jìn)友酱，及關(guān)鍵特性晴音，希望對(duì)Kafka使用者有比較好的參考意義。
往期文章精選：
1缔杉、菜鳥供應(yīng)鏈實(shí)時(shí)數(shù)倉(cāng)的架構(gòu)演進(jìn)及應(yīng)用場(chǎng)景
3、HBase 集成 Phoenix 構(gòu)建二級(jí)索引實(shí)踐
4或详、網(wǎng)易基于 HBase 的最佳實(shí)踐
如果您喜歡這篇文章系羞，點(diǎn)【在看】與轉(zhuǎn)發(fā)都是一種鼓勵(lì)，期待得到您的認(rèn)可 ?(^_-)
