關(guān)注 <碼農(nóng)架構(gòu)> 技術(shù)社區(qū)分享
專注于系統(tǒng)架構(gòu)充甚、高可用、高性能霸褒、高并發(fā)類技術(shù)分享
生產(chǎn)者需要用序列化器(Serializer)把對(duì)象轉(zhuǎn)換成字節(jié)數(shù)組才能通過網(wǎng)絡(luò)發(fā)送給Kafka津坑。而在對(duì)側(cè),消費(fèi)者需要用反序列化器(Deserializer)把從 Kafka 中收到的字節(jié)數(shù)組轉(zhuǎn)換成相應(yīng)的對(duì)象傲霸。
先參考下面代碼實(shí)現(xiàn)一個(gè)簡單的客戶端。
為了方便眉反,消息的 key 和 value 都使用了字符串昙啄,對(duì)應(yīng)程序中的序列化器也使用了客戶端自帶的 org.apache.kafka.common.serialization.StringSerializer,除了用于 String 類型的序列化器寸五,還有 ByteArray梳凛、ByteBuffer、Bytes梳杏、Double韧拒、Integer、Long 這幾種類型十性,它們都實(shí)現(xiàn)了 org.apache.kafka.common.serialization.Serializer 接口叛溢,此接口有3個(gè)方法:
configure() 方法用來配置當(dāng)前類,serialize() 方法用來執(zhí)行序列化操作劲适。而 close() 方法用來關(guān)閉當(dāng)前的序列化器楷掉,一般情況下 close() 是一個(gè)空方法,如果實(shí)現(xiàn)了此方法霞势,則必須確保此方法的冪等性烹植,因?yàn)檫@個(gè)方法很可能會(huì)被 KafkaProducer 調(diào)用多次。
生產(chǎn)者使用的序列化器和消費(fèi)者使用的反序列化器是需要一一對(duì)應(yīng)的愕贡,如果生產(chǎn)者使用了某種序列化器草雕,比如 StringSerializer,而消費(fèi)者使用了另一種序列化器固以,比如 IntegerSerializer墩虹,那么是無法解析出想要的數(shù)據(jù)的
下面就以 StringSerializer 為例來看看 Serializer 接口中的3個(gè)方法的使用方法,StringSerializer 類的具體實(shí)現(xiàn)如代碼
首先是 configure() 方法,這個(gè)方法是在創(chuàng)建 KafkaProducer 實(shí)例的時(shí)候調(diào)用的败晴,主要用來確定編碼類型浓冒,不過一般客戶端對(duì)于 key.serializer.encoding、value.serializer. encoding 和 serializer.encoding 這幾個(gè)參數(shù)都不會(huì)配置尖坤,在 KafkaProducer 的參數(shù)集合(ProducerConfig)里也沒有這幾個(gè)參數(shù)(它們可以看作用戶自定義的參數(shù))稳懒,所以一般情況下 encoding 的值就為默認(rèn)的“UTF-8”。serialize() 方法非常直觀慢味,就是將 String 類型轉(zhuǎn)為 byte[] 類型场梆。
如果 Kafka 客戶端提供的幾種序列化器都無法滿足應(yīng)用需求,則可以選擇使用如 Avro纯路、JSON或油、Thrift、ProtoBuf 和 Protostuff 等通用的序列化工具來實(shí)現(xiàn)驰唬,或者使用自定義類型的序列化器來實(shí)現(xiàn)顶岸。下面就以一個(gè)簡單的例子來介紹自定義類型的使用方法
假設(shè)我們要發(fā)送的消息都是 Company 對(duì)象,這個(gè) Company 的定義很簡單叫编,只有名稱 name 和地址 address辖佣,示例代碼參考如下
下面我們再來看一下 Company 對(duì)應(yīng)的序列化器 CompanySerializer,示例代碼如代碼
如何使用自定義的序列化器 CompanySerializer 呢搓逾?只需將 KafkaProducer 的 value.serializer 參數(shù)設(shè)置為 CompanySerializer 類的全限定名即可卷谈。假如我們要發(fā)送一個(gè) Company 對(duì)象到 Kafka,關(guān)鍵代碼如代碼
注意霞篡,示例中消息的 key 對(duì)應(yīng)的序列化器還是 StringSerializer世蔗,這個(gè)并沒有改動(dòng)。其實(shí) key.serializer 和 value.serializer 并沒有太大的區(qū)別
關(guān)注 <碼農(nóng)架構(gòu)> 技術(shù)社區(qū)分享
專注于系統(tǒng)架構(gòu)朗兵、高可用污淋、高性能、高并發(fā)類技術(shù)分享