canal同步MQ配置

第一步:
canal原理是把自己偽裝成一個mysql的從節(jié)點來讀取mysql主庫的binlog日志喜德。
所以需要mysql主庫先開啟binlog日志功能。可以參考其他帖子打開binlog功能。
ps!!!!! 這里有一個非常值得注意的問題就是canal采集到MQ數(shù)據(jù)中使用的是binlog的的row模式
一定要是row模式。并且canal中配置canal.instance.filter.regex 如果配制指定采集某幾個表一定要在mysql中配置binlog_rows_query_log_events是OFF模式的纠永。否則canal中的canal.instance.filter.regex過濾器不生效。

第二步:
canal服務解壓之后


image.png

其中canal_local.properties是canal控制臺配置文件
canal.properties 是canal基礎服務配置文件
ht_order_sync文件夾 是canal的服務實例
ht_product_sync文件夾 是canal的服務實例
上面這些是比較關鍵的文件

其中ht_order_sync 和 ht_product_sync 是我自己創(chuàng)建的文件名字可以隨便叫什么都可以
如果是全新的canal解壓之后 有一個example文件那個就是樣例文件园蝠。
我創(chuàng)建了 ht_order_sync 和 ht_product_sync 是因為我有兩個業(yè)務需求是 同步訂單業(yè)務 和 商品業(yè)務 所以創(chuàng)建了兩個實例渺蒿,canal啟動之后會加載自己創(chuàng)建的文件夾。
cd 進入 ht_order_sync文件夾后 如下圖


image.png

我們一般需要改的只有 instance.properties 這個文件彪薛。其他文件是記錄binlog的同步位置的文件茂装。刪除之后就重置binlog的采集位置,所以不要輕易刪除善延。
下面打開instance.properties 如下圖

image.png

圖中
1 是要采集的mysql的賬號和密碼
2 是要采集的哪張表可以配置全部也可以配置部分我是配置了部分表可以直接寫庫和表名少态,我?guī)烀昧俗兞亢竺嬷v怎么傳進來的
3 是黑明單結合上面那個白名單用的 我固定了采集某幾張表所以不要配置
4 是采集的每一行的變動會發(fā)送到配置的mq的topic中作為mysql的一條改動數(shù)據(jù)(增刪改)
mq數(shù)據(jù)如下圖會包含改動前和改動后的數(shù)據(jù)表名庫名等等。

企業(yè)微信截圖_1636703267442.png

上圖是我做的一個insert的樣例數(shù)據(jù)易遣,type類型就是insert彼妻,還有update和delete 有字段類型描述
old 是改動前的數(shù)據(jù) 因為insert 操作所以是null 如果是update操作此處會有值 可以做變更監(jiān)聽邏輯
data是當前改動后的數(shù)據(jù)。

上面說的都是具體實例配置

下面貼出canal的實例上層配置文件也就是canal服務配置文件 canal.properties
如下圖. 一張圖截圖放不下放了三張圖

image.png
image.png
image.png

圖上編號

1 是代表canal采集到信息推送到哪里豆茫。tcp是代表可以推送到程序采集模式
如果是mq配置成對應的mq比如 kafka活著rocketmq等等

2 是canal.destinations 掃描上面說的自己創(chuàng)建的實例 配置幾個文件夾掃描幾個
canal.auto.scan = true 的意思是自動掃描自己創(chuàng)建的實例侨歉。
所以應該可以把canal.auto.scan 配置成false然后配置canal.destinations自己創(chuàng)建的文件夾
即可

3 canal.mq.flatMessage = true
關注一下
采集的消息的消息方式之前好像不設置成true沒采集到,已經(jīng)忘了 也需要配置 mq讀取 也使用這個方式揩魂。 可以參考一下官網(wǎng)等等幽邓。

4 配置成了rocketMQ那么就配置 相關的主題等等

結束

最后編輯于
?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市火脉,隨后出現(xiàn)的幾起案子牵舵,更是在濱河造成了極大的恐慌,老刑警劉巖倦挂,帶你破解...
    沈念sama閱讀 217,542評論 6 504
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件畸颅,死亡現(xiàn)場離奇詭異,居然都是意外死亡方援,警方通過查閱死者的電腦和手機没炒,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,822評論 3 394
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來犯戏,“玉大人送火,你說我怎么就攤上這事祖很。” “怎么了漾脂?”我有些...
    開封第一講書人閱讀 163,912評論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長胚鸯。 經(jīng)常有香客問我骨稿,道長,這世上最難降的妖魔是什么姜钳? 我笑而不...
    開封第一講書人閱讀 58,449評論 1 293
  • 正文 為了忘掉前任坦冠,我火速辦了婚禮,結果婚禮上哥桥,老公的妹妹穿的比我還像新娘辙浑。我一直安慰自己,他們只是感情好拟糕,可當我...
    茶點故事閱讀 67,500評論 6 392
  • 文/花漫 我一把揭開白布判呕。 她就那樣靜靜地躺著,像睡著了一般送滞。 火紅的嫁衣襯著肌膚如雪侠草。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,370評論 1 302
  • 那天犁嗅,我揣著相機與錄音边涕,去河邊找鬼。 笑死褂微,一個胖子當著我的面吹牛功蜓,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播宠蚂,決...
    沈念sama閱讀 40,193評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼式撼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了肥矢?” 一聲冷哼從身側(cè)響起端衰,我...
    開封第一講書人閱讀 39,074評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎甘改,沒想到半個月后旅东,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,505評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡十艾,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,722評論 3 335
  • 正文 我和宋清朗相戀三年抵代,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片忘嫉。...
    茶點故事閱讀 39,841評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡荤牍,死狀恐怖案腺,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情康吵,我是刑警寧澤劈榨,帶...
    沈念sama閱讀 35,569評論 5 345
  • 正文 年R本政府宣布,位于F島的核電站晦嵌,受9級特大地震影響同辣,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜惭载,卻給世界環(huán)境...
    茶點故事閱讀 41,168評論 3 328
  • 文/蒙蒙 一旱函、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧描滔,春花似錦棒妨、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,783評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至拘泞,卻和暖如春颅眶,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背田弥。 一陣腳步聲響...
    開封第一講書人閱讀 32,918評論 1 269
  • 我被黑心中介騙來泰國打工涛酗, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人偷厦。 一個月前我還...
    沈念sama閱讀 47,962評論 2 370
  • 正文 我出身青樓商叹,卻偏偏與公主長得像,于是被迫代替她去往敵國和親只泼。 傳聞我的和親對象是個殘疾皇子剖笙,可洞房花燭夜當晚...
    茶點故事閱讀 44,781評論 2 354

推薦閱讀更多精彩內(nèi)容

  • 今天青石的票圈出鏡率最高的,莫過于張藝謀的新片終于定檔了本橙。 一張滿溢著水墨風的海報一次次的出現(xiàn)在票圈里扳躬,也就是老謀...
    青石電影閱讀 10,330評論 1 2
  • 一、jQuery簡介 JQ是JS的一個優(yōu)秀的庫,大型開發(fā)必備贷币。在此击胜,我想說的是,JQ里面很多函數(shù)使用和JS類似役纹,所...
    Welkin_qing閱讀 12,336評論 1 6
  • 字符串 1.什么是字符串 使用單引號或者雙引號括起來的字符集就是字符串偶摔。 引號中單獨的符號、數(shù)字促脉、字母等叫字符啰挪。 ...
    mango_2e17閱讀 7,508評論 1 7
  • 一場說走就走的旅行。 簡單地整理幾件必備旅行用品嘲叔,7.18日早上8.00準時出發(fā)了,計劃一路南下然后繞西南一圈回恩...
    悠游魚閱讀 3,471評論 3 6
  • 原來看過一段話抽活,第一厲害的人有能力沒脾氣硫戈,第二厲害的人有能力有脾氣,最差的是沒能力有脾氣的人下硕。 以我最...
    涼風豆豆閱讀 1,546評論 2 0