上面幾篇文章講了基礎(chǔ)搭建過程:
canal搭建:http://www.reibang.com/p/917795a7acc1
zookeeper 搭建:http://www.reibang.com/p/d3c1727ba1c4
kafka搭建:http://www.reibang.com/p/c6916c4e4cae
下面我們來看如何串聯(lián)整體流程糕簿。
1.首先進行canal配置探入。改動配置文件canal.properties。改動如下:
serverMode改為kafka
消息隊列配置:
監(jiān)聽地址改為本機地址
2.具體實例改動:
instance.propties改動:
topic配置說明:
在這里我們是topic:scheme.table配置懂诗。
kafka分片配置是根據(jù)表的主鍵進行配置:
3.在這里有個關(guān)鍵步驟蜂嗽,需要開啟消息隊列的自動創(chuàng)建topic模式。否則會報錯
相關(guān)配置在kafka的server.properties
添加如下配置:
4.相關(guān)改動完成后重啟canal和kafka
5.如何測試kafka接收binlog消息:
下載canal項目:git clone?https://github.com/alibaba/canal.git
運行如下代碼:
項目代碼:
canal/example/src/main/java/com/alibaba/otter/canal/example/kafka/CanalKafkaClientExample.java
改動對應(yīng)配置為測試環(huán)境配置:
運行CanalKafkaClientExample的main方法殃恒。然后改動數(shù)據(jù)庫數(shù)據(jù)植旧。查看效果,目前已經(jīng)成功接收數(shù)據(jù)