超詳細(xì)的Canal入門,看這篇就夠了逛绵!

思維導(dǎo)圖

在這里插入圖片描述

文章已收錄Github精選怀各,歡迎Starhttps://github.com/yehongzhi/learningSummary

前言

我們都知道一個(gè)系統(tǒng)最重要的是數(shù)據(jù)倔韭,數(shù)據(jù)是保存在數(shù)據(jù)庫里。但是很多時(shí)候不單止要保存在數(shù)據(jù)庫中瓢对,還要同步保存到Elastic Search寿酌、HBase、Redis等等沥曹。

這時(shí)我注意到阿里開源的框架Canal份名,他可以很方便地同步數(shù)據(jù)庫的增量數(shù)據(jù)到其他的存儲(chǔ)應(yīng)用。所以在這里總結(jié)一下妓美,分享給各位讀者參考~

一僵腺、什么是canal

我們先看官網(wǎng)的介紹

canal,譯意為水道/管道/溝渠壶栋,主要用途是基于 MySQL 數(shù)據(jù)庫增量日志解析辰如,提供增量數(shù)據(jù)訂閱和消費(fèi)

這句介紹有幾個(gè)關(guān)鍵字:增量日志贵试,增量數(shù)據(jù)訂閱和消費(fèi)琉兜。

這里我們可以簡單地把canal理解為一個(gè)用來同步增量數(shù)據(jù)的一個(gè)工具

接下來我們看一張官網(wǎng)提供的示意圖:

[圖片上傳失敗...(image-4af380-1609927016353)]

canal的工作原理就是把自己偽裝成MySQL slave毙玻,模擬MySQL slave的交互協(xié)議向MySQL Mater發(fā)送 dump協(xié)議豌蟋,MySQL mater收到canal發(fā)送過來的dump請(qǐng)求,開始推送binary log給canal桑滩,然后canal解析binary log梧疲,再發(fā)送到存儲(chǔ)目的地,比如MySQL运准,Kafka幌氮,Elastic Search等等。

二胁澳、canal能做什么

以下參考canal官網(wǎng)该互。

與其問canal能做什么,不如說數(shù)據(jù)同步有什么作用韭畸。

但是canal的數(shù)據(jù)同步不是全量的宇智,而是增量∫榷。基于binary log增量訂閱和消費(fèi)普筹,canal可以做:

  • 數(shù)據(jù)庫鏡像
  • 數(shù)據(jù)庫實(shí)時(shí)備份
  • 索引構(gòu)建和實(shí)時(shí)維護(hù)
  • 業(yè)務(wù)cache(緩存)刷新
  • 帶業(yè)務(wù)邏輯的增量數(shù)據(jù)處理

三、如何搭建canal

3.1 首先有一個(gè)MySQL服務(wù)器

當(dāng)前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x

我的Linux服務(wù)器安裝的MySQL服務(wù)器是5.7版本隘马。

MySQL的安裝這里就不演示了太防,比較簡單,網(wǎng)上也有很多教程。

然后在MySQL中需要?jiǎng)?chuàng)建一個(gè)用戶蜒车,并授權(quán):

-- 使用命令登錄:mysql -u root -p
-- 創(chuàng)建用戶 用戶名:canal 密碼:Canal@123456
create user 'canal'@'%' identified by 'Canal@123456';
-- 授權(quán) *.*表示所有庫
grant SELECT, REPLICATION SLAVE, REPLICATION CLIENT on *.* to 'canal'@'%' identified by 'Canal@123456';

下一步在MySQL配置文件my.cnf設(shè)置如下信息:

[mysqld]
# 打開binlog
log-bin=mysql-bin
# 選擇ROW(行)模式
binlog-format=ROW
# 配置MySQL replaction需要定義讳嘱,不要和canal的slaveId重復(fù)
server_id=1

改了配置文件之后,重啟MySQL酿愧,使用命令查看是否打開binlog模式:
[圖片上傳失敗...(image-342b8a-1609927016352)]

查看binlog日志文件列表:
[圖片上傳失敗...(image-79a8e3-1609927016352)]

查看當(dāng)前正在寫入的binlog文件:
[圖片上傳失敗...(image-3516a3-1609927016352)]

MySQL服務(wù)器這邊就搞定了沥潭,很簡單。

3.2 安裝canal

去官網(wǎng)下載頁面進(jìn)行下載:https://github.com/alibaba/canal/releases

我這里下載的是1.1.4的版本:


在這里插入圖片描述

解壓canal.deployer-1.1.4.tar.gz嬉挡,我們可以看到里面有四個(gè)文件夾:

[圖片上傳失敗...(image-37b6a5-1609927016352)]

接著打開配置文件conf/example/instance.properties钝鸽,配置信息如下:

## mysql serverId , v1.0.26+ will autoGen
## v1.0.26版本后會(huì)自動(dòng)生成slaveId,所以可以不用配置
# canal.instance.mysql.slaveId=0

# 數(shù)據(jù)庫地址
canal.instance.master.address=127.0.0.1:3306
# binlog日志名稱
canal.instance.master.journal.name=mysql-bin.000001
# mysql主庫鏈接時(shí)起始的binlog偏移量
canal.instance.master.position=154
# mysql主庫鏈接時(shí)起始的binlog的時(shí)間戳
canal.instance.master.timestamp=
canal.instance.master.gtid=

# username/password
# 在MySQL服務(wù)器授權(quán)的賬號(hào)密碼
canal.instance.dbUsername=canal
canal.instance.dbPassword=Canal@123456
# 字符集
canal.instance.connectionCharset = UTF-8
# enable druid Decrypt database password
canal.instance.enableDruid=false

# table regex .*\\..*表示監(jiān)聽所有表 也可以寫具體的表名庞钢,用拔恰,隔開
canal.instance.filter.regex=.*\\..*
# mysql 數(shù)據(jù)解析表的黑名單,多個(gè)表用基括,隔開
canal.instance.filter.black.regex=

我這里用的是win10系統(tǒng)颜懊,所以在bin目錄下找到startup.bat啟動(dòng):

啟動(dòng)就報(bào)錯(cuò),坑呀:

[圖片上傳失敗...(image-49dcf1-1609927016352)]

要修改一下啟動(dòng)的腳本startup.bat:


在這里插入圖片描述

然后再啟動(dòng)腳本:


在這里插入圖片描述

這就啟動(dòng)成功了风皿。

Java客戶端操作

首先引入maven依賴:

<dependency>
    <groupId>com.alibaba.otter</groupId>
    <artifactId>canal.client</artifactId>
    <version>1.1.4</version>
</dependency>

然后創(chuàng)建一個(gè)canal項(xiàng)目河爹,使用SpringBoot構(gòu)建,如圖所示:


在這里插入圖片描述

在CannalClient類使用Spring Bean的生命周期函數(shù)afterPropertiesSet():

@Component
public class CannalClient implements InitializingBean {

    private final static int BATCH_SIZE = 1000;

    @Override
    public void afterPropertiesSet() throws Exception {
        // 創(chuàng)建鏈接
        CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress("127.0.0.1", 11111), "example", "", "");
        try {
            //打開連接
            connector.connect();
            //訂閱數(shù)據(jù)庫表,全部表
            connector.subscribe(".*\\..*");
            //回滾到未進(jìn)行ack的地方桐款,下次fetch的時(shí)候咸这,可以從最后一個(gè)沒有ack的地方開始拿
            connector.rollback();
            while (true) {
                // 獲取指定數(shù)量的數(shù)據(jù)
                Message message = connector.getWithoutAck(BATCH_SIZE);
                //獲取批量ID
                long batchId = message.getId();
                //獲取批量的數(shù)量
                int size = message.getEntries().size();
                //如果沒有數(shù)據(jù)
                if (batchId == -1 || size == 0) {
                    try {
                        //線程休眠2秒
                        Thread.sleep(2000);
                    } catch (InterruptedException e) {
                        e.printStackTrace();
                    }
                } else {
                    //如果有數(shù)據(jù),處理數(shù)據(jù)
                    printEntry(message.getEntries());
                }
                //進(jìn)行 batch id 的確認(rèn)。確認(rèn)之后魔眨,小于等于此 batchId 的 Message 都會(huì)被確認(rèn)媳维。
                connector.ack(batchId);
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            connector.disconnect();
        }
    }

    /**
     * 打印canal server解析binlog獲得的實(shí)體類信息
     */
    private static void printEntry(List<Entry> entrys) {
        for (Entry entry : entrys) {
            if (entry.getEntryType() == EntryType.TRANSACTIONBEGIN || entry.getEntryType() == EntryType.TRANSACTIONEND) {
                //開啟/關(guān)閉事務(wù)的實(shí)體類型,跳過
                continue;
            }
            //RowChange對(duì)象冰沙,包含了一行數(shù)據(jù)變化的所有特征
            //比如isDdl 是否是ddl變更操作 sql 具體的ddl sql beforeColumns afterColumns 變更前后的數(shù)據(jù)字段等等
            RowChange rowChage;
            try {
                rowChage = RowChange.parseFrom(entry.getStoreValue());
            } catch (Exception e) {
                throw new RuntimeException("ERROR ## parser of eromanga-event has an error , data:" + entry.toString(), e);
            }
            //獲取操作類型:insert/update/delete類型
            EventType eventType = rowChage.getEventType();
            //打印Header信息
            System.out.println(String.format("================》; binlog[%s:%s] , name[%s,%s] , eventType : %s",
                    entry.getHeader().getLogfileName(), entry.getHeader().getLogfileOffset(),
                    entry.getHeader().getSchemaName(), entry.getHeader().getTableName(),
                    eventType));
            //判斷是否是DDL語句
            if (rowChage.getIsDdl()) {
                System.out.println("================》;isDdl: true,sql:" + rowChage.getSql());
            }
            //獲取RowChange對(duì)象里的每一行數(shù)據(jù)侨艾,打印出來
            for (RowData rowData : rowChage.getRowDatasList()) {
                //如果是刪除語句
                if (eventType == EventType.DELETE) {
                    printColumn(rowData.getBeforeColumnsList());
                    //如果是新增語句
                } else if (eventType == EventType.INSERT) {
                    printColumn(rowData.getAfterColumnsList());
                    //如果是更新的語句
                } else {
                    //變更前的數(shù)據(jù)
                    System.out.println("------->; before");
                    printColumn(rowData.getBeforeColumnsList());
                    //變更后的數(shù)據(jù)
                    System.out.println("------->; after");
                    printColumn(rowData.getAfterColumnsList());
                }
            }
        }
    }

    private static void printColumn(List<Column> columns) {
        for (Column column : columns) {
            System.out.println(column.getName() + " : " + column.getValue() + "    update=" + column.getUpdated());
        }
    }
}

以上就完成了Java客戶端的代碼执虹。這里不做具體的處理拓挥,僅僅是打印,先有個(gè)直觀的感受袋励。

最后我們開始測試侥啤,首先啟動(dòng)MySQL、Canal Server茬故,還有剛剛寫的Spring Boot項(xiàng)目盖灸。然后創(chuàng)建表:

CREATE TABLE `tb_commodity_info` (
  `id` varchar(32) NOT NULL,
  `commodity_name` varchar(512) DEFAULT NULL COMMENT '商品名稱',
  `commodity_price` varchar(36) DEFAULT '0' COMMENT '商品價(jià)格',
  `number` int(10) DEFAULT '0' COMMENT '商品數(shù)量',
  `description` varchar(2048) DEFAULT '' COMMENT '商品描述',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='商品信息表';

然后我們在控制臺(tái)就可以看到如下信息:

[圖片上傳失敗...(image-222503-1609927016351)]

如果新增一條數(shù)據(jù)到表中:

INSERT INTO tb_commodity_info VALUES('3e71a81fd80711eaaed600163e046cc3','叉燒包','3.99',3,'又大又香的叉燒包,老人小孩都喜歡');

控制臺(tái)可以看到如下信息:
[圖片上傳失敗...(image-5e068b-1609927016351)]

總結(jié)

canal的好處在于對(duì)業(yè)務(wù)代碼沒有侵入磺芭,因?yàn)槭?strong>基于監(jiān)聽binlog日志去進(jìn)行同步數(shù)據(jù)的赁炎。實(shí)時(shí)性也能做到準(zhǔn)實(shí)時(shí),其實(shí)是很多企業(yè)一種比較常見的數(shù)據(jù)同步的方案钾腺。

通過上面的學(xué)習(xí)之后徙垫,我們應(yīng)該都明白canal是什么讥裤,它的原理,還有用法姻报。實(shí)際上這僅僅只是入門己英,因?yàn)閷?shí)際項(xiàng)目中我們不是這樣玩的…

實(shí)際項(xiàng)目我們是配置MQ模式,配合RocketMQ或者Kafka吴旋,canal會(huì)把數(shù)據(jù)發(fā)送到MQ的topic中损肛,然后通過消息隊(duì)列的消費(fèi)者進(jìn)行處理

[圖片上傳失敗...(image-be6fe8-1609927016351)]

Canal的部署也是支持集群的荣瑟,需要配合ZooKeeper進(jìn)行集群管理治拿。

Canal還有一個(gè)簡單的Web管理界面。

下一篇就講一下集群部署Canal褂傀,配合使用Kafka忍啤,同步數(shù)據(jù)到Redis

參考資料:Canal官網(wǎng)

絮叨

上面所有例子的代碼都上傳Github了:

https://github.com/yehongzhi/mall

如果你覺得這篇文章對(duì)你有用仙辟,就點(diǎn)贊同波,關(guān)注,評(píng)論吧~

https://blog.csdn.net/yehongzhi1994/article/details/107880162

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末叠国,一起剝皮案震驚了整個(gè)濱河市未檩,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌粟焊,老刑警劉巖冤狡,帶你破解...
    沈念sama閱讀 211,639評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異项棠,居然都是意外死亡悲雳,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,277評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門香追,熙熙樓的掌柜王于貴愁眉苦臉地迎上來合瓢,“玉大人,你說我怎么就攤上這事透典∏缧ǎ” “怎么了?”我有些...
    開封第一講書人閱讀 157,221評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵峭咒,是天一觀的道長税弃。 經(jīng)常有香客問我,道長凑队,這世上最難降的妖魔是什么则果? 我笑而不...
    開封第一講書人閱讀 56,474評(píng)論 1 283
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上西壮,老公的妹妹穿的比我還像新娘导匣。我一直安慰自己,他們只是感情好茸时,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,570評(píng)論 6 386
  • 文/花漫 我一把揭開白布贡定。 她就那樣靜靜地躺著,像睡著了一般可都。 火紅的嫁衣襯著肌膚如雪缓待。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,816評(píng)論 1 290
  • 那天渠牲,我揣著相機(jī)與錄音旋炒,去河邊找鬼。 笑死签杈,一個(gè)胖子當(dāng)著我的面吹牛瘫镇,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播答姥,決...
    沈念sama閱讀 38,957評(píng)論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼铣除,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了鹦付?” 一聲冷哼從身側(cè)響起尚粘,我...
    開封第一講書人閱讀 37,718評(píng)論 0 266
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎敲长,沒想到半個(gè)月后郎嫁,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,176評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡祈噪,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,511評(píng)論 2 327
  • 正文 我和宋清朗相戀三年泽铛,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片辑鲤。...
    茶點(diǎn)故事閱讀 38,646評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡盔腔,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出遂填,到底是詐尸還是另有隱情铲觉,我是刑警寧澤澈蝙,帶...
    沈念sama閱讀 34,322評(píng)論 4 330
  • 正文 年R本政府宣布吓坚,位于F島的核電站,受9級(jí)特大地震影響灯荧,放射性物質(zhì)發(fā)生泄漏礁击。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,934評(píng)論 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望哆窿。 院中可真熱鬧链烈,春花似錦、人聲如沸挚躯。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,755評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽码荔。三九已至漩勤,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間缩搅,已是汗流浹背越败。 一陣腳步聲響...
    開封第一講書人閱讀 31,987評(píng)論 1 266
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留硼瓣,地道東北人究飞。 一個(gè)月前我還...
    沈念sama閱讀 46,358評(píng)論 2 360
  • 正文 我出身青樓,卻偏偏與公主長得像堂鲤,于是被迫代替她去往敵國和親亿傅。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,514評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容