都在用 Kafka ! 消息隊(duì)列序列化怎么處理

關(guān)注 <碼農(nóng)架構(gòu)> 技術(shù)社區(qū)分享
專注于系統(tǒng)架構(gòu)充甚、高可用、高性能霸褒、高并發(fā)類技術(shù)分享

生產(chǎn)者需要用序列化器(Serializer)把對(duì)象轉(zhuǎn)換成字節(jié)數(shù)組才能通過網(wǎng)絡(luò)發(fā)送給Kafka津坑。而在對(duì)側(cè),消費(fèi)者需要用反序列化器(Deserializer)把從 Kafka 中收到的字節(jié)數(shù)組轉(zhuǎn)換成相應(yīng)的對(duì)象傲霸。

先參考下面代碼實(shí)現(xiàn)一個(gè)簡單的客戶端。

為了方便眉反,消息的 key 和 value 都使用了字符串昙啄,對(duì)應(yīng)程序中的序列化器也使用了客戶端自帶的 org.apache.kafka.common.serialization.StringSerializer,除了用于 String 類型的序列化器寸五,還有 ByteArray梳凛、ByteBuffer、Bytes梳杏、Double韧拒、Integer、Long 這幾種類型十性,它們都實(shí)現(xiàn)了 org.apache.kafka.common.serialization.Serializer 接口叛溢,此接口有3個(gè)方法:

configure() 方法用來配置當(dāng)前類,serialize() 方法用來執(zhí)行序列化操作劲适。而 close() 方法用來關(guān)閉當(dāng)前的序列化器楷掉,一般情況下 close() 是一個(gè)空方法,如果實(shí)現(xiàn)了此方法霞势,則必須確保此方法的冪等性烹植,因?yàn)檫@個(gè)方法很可能會(huì)被 KafkaProducer 調(diào)用多次。

生產(chǎn)者使用的序列化器和消費(fèi)者使用的反序列化器是需要一一對(duì)應(yīng)的愕贡,如果生產(chǎn)者使用了某種序列化器草雕,比如 StringSerializer,而消費(fèi)者使用了另一種序列化器固以,比如 IntegerSerializer墩虹,那么是無法解析出想要的數(shù)據(jù)的

下面就以 StringSerializer 為例來看看 Serializer 接口中的3個(gè)方法的使用方法,StringSerializer 類的具體實(shí)現(xiàn)如代碼

首先是 configure() 方法,這個(gè)方法是在創(chuàng)建 KafkaProducer 實(shí)例的時(shí)候調(diào)用的败晴,主要用來確定編碼類型浓冒,不過一般客戶端對(duì)于 key.serializer.encoding、value.serializer. encoding 和 serializer.encoding 這幾個(gè)參數(shù)都不會(huì)配置尖坤,在 KafkaProducer 的參數(shù)集合(ProducerConfig)里也沒有這幾個(gè)參數(shù)(它們可以看作用戶自定義的參數(shù))稳懒,所以一般情況下 encoding 的值就為默認(rèn)的“UTF-8”。serialize() 方法非常直觀慢味,就是將 String 類型轉(zhuǎn)為 byte[] 類型场梆。

如果 Kafka 客戶端提供的幾種序列化器都無法滿足應(yīng)用需求,則可以選擇使用如 Avro纯路、JSON或油、Thrift、ProtoBuf 和 Protostuff 等通用的序列化工具來實(shí)現(xiàn)驰唬,或者使用自定義類型的序列化器來實(shí)現(xiàn)顶岸。下面就以一個(gè)簡單的例子來介紹自定義類型的使用方法

假設(shè)我們要發(fā)送的消息都是 Company 對(duì)象,這個(gè) Company 的定義很簡單叫编,只有名稱 name 和地址 address辖佣,示例代碼參考如下

下面我們再來看一下 Company 對(duì)應(yīng)的序列化器 CompanySerializer,示例代碼如代碼

如何使用自定義的序列化器 CompanySerializer 呢搓逾?只需將 KafkaProducer 的 value.serializer 參數(shù)設(shè)置為 CompanySerializer 類的全限定名即可卷谈。假如我們要發(fā)送一個(gè) Company 對(duì)象到 Kafka,關(guān)鍵代碼如代碼

注意霞篡,示例中消息的 key 對(duì)應(yīng)的序列化器還是 StringSerializer世蔗,這個(gè)并沒有改動(dòng)。其實(shí) key.serializer 和 value.serializer 并沒有太大的區(qū)別

公眾號(hào):碼農(nóng)架構(gòu)

關(guān)注 <碼農(nóng)架構(gòu)> 技術(shù)社區(qū)分享
專注于系統(tǒng)架構(gòu)朗兵、高可用污淋、高性能、高并發(fā)類技術(shù)分享

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末余掖,一起剝皮案震驚了整個(gè)濱河市芙沥,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌浊吏,老刑警劉巖而昨,帶你破解...
    沈念sama閱讀 218,122評(píng)論 6 505
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異找田,居然都是意外死亡歌憨,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,070評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門墩衙,熙熙樓的掌柜王于貴愁眉苦臉地迎上來务嫡,“玉大人甲抖,你說我怎么就攤上這事⌒牧澹” “怎么了准谚?”我有些...
    開封第一講書人閱讀 164,491評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長去扣。 經(jīng)常有香客問我柱衔,道長,這世上最難降的妖魔是什么愉棱? 我笑而不...
    開封第一講書人閱讀 58,636評(píng)論 1 293
  • 正文 為了忘掉前任唆铐,我火速辦了婚禮,結(jié)果婚禮上奔滑,老公的妹妹穿的比我還像新娘艾岂。我一直安慰自己,他們只是感情好朋其,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,676評(píng)論 6 392
  • 文/花漫 我一把揭開白布王浴。 她就那樣靜靜地躺著,像睡著了一般梅猿。 火紅的嫁衣襯著肌膚如雪叼耙。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,541評(píng)論 1 305
  • 那天粒没,我揣著相機(jī)與錄音,去河邊找鬼簇爆。 笑死癞松,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的入蛆。 我是一名探鬼主播响蓉,決...
    沈念sama閱讀 40,292評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼哨毁!你這毒婦竟也來了枫甲?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,211評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤扼褪,失蹤者是張志新(化名)和其女友劉穎想幻,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體话浇,經(jīng)...
    沈念sama閱讀 45,655評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡脏毯,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,846評(píng)論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了幔崖。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片食店。...
    茶點(diǎn)故事閱讀 39,965評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡渣淤,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出吉嫩,到底是詐尸還是另有隱情价认,我是刑警寧澤,帶...
    沈念sama閱讀 35,684評(píng)論 5 347
  • 正文 年R本政府宣布自娩,位于F島的核電站用踩,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏椒功。R本人自食惡果不足惜捶箱,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,295評(píng)論 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望动漾。 院中可真熱鬧丁屎,春花似錦、人聲如沸旱眯。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,894評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽删豺。三九已至共虑,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間呀页,已是汗流浹背妈拌。 一陣腳步聲響...
    開封第一講書人閱讀 33,012評(píng)論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留蓬蝶,地道東北人尘分。 一個(gè)月前我還...
    沈念sama閱讀 48,126評(píng)論 3 370
  • 正文 我出身青樓,卻偏偏與公主長得像丸氛,于是被迫代替她去往敵國和親培愁。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,914評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容