定位

基于數(shù)據(jù)庫增量日志解析，提供增量數(shù)據(jù)訂閱和消費

工作原理

• canal 模擬 MySQL slave 的交互協(xié)議听哭，偽裝自己為 MySQL slave ，向 MySQL master 發(fā)送dump 協(xié)議
• MySQL master 收到 dump 請求塘雳，開始推送 binary log 給 slave (即 canal )
• canal 解析 binary log 對象(原始為 byte 流)

QuickStart

1.配置MySQL

• 開啟MySql的binlog功能
  /usr/local/etc/my.cnf

[mysqld]
log-bin=mysql-bin # 開啟 binlog
binlog-format=ROW # 選擇 ROW 模式
server_id=1 # 配置 MySQL replaction 需要定義陆盘，不要和 canal 的 slaveId 重復(fù)

簡單測試，my.cnf配置是否生效

mysql> show variables like 'binlog_format';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| binlog_format | ROW |
+---------------+-------+

mysql> show variables like 'log_bin';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin | ON |
+---------------+-------+

• 授權(quán) canal 鏈接 MySQL 賬號具有作為 MySQL slave 的權(quán)限, 如果已有賬戶可直接 grant

CREATE USER canal IDENTIFIED BY 'canal';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON . TO 'canal'@'%';
FLUSH PRIVILEGES;

mysql> show grants for 'canal';
+---------------------------------------------------------------------------+
| Grants for canal@% |
+---------------------------------------------------------------------------+
| GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON . TO 'canal'@'%' |
+---------------------------------------------------------------------------+
1 row in set (0.00 sec)

2. 下載解壓

下載地址： https://github.com/alibaba/canal/releases/
這里以1.1.3為例

https://github.com/alibaba/canal/releases/download/canal-1.1.3/canal.deployer-1.1.3.tar.gz

解壓

tar zxvf canal.deployer-$version.tar.gz

項目結(jié)構(gòu)

canal項目結(jié)構(gòu)

修改配置

vi conf/example/instance.properties

## mysql serverId
canal.instance.mysql.slaveId = 1
#position info败明，需要改成自己的數(shù)據(jù)庫信息
canal.instance.master.address = 127.0.0.1:3306 
canal.instance.master.journal.name = 
canal.instance.master.position = 
canal.instance.master.timestamp = 
#canal.instance.standby.address = 
#canal.instance.standby.journal.name =
#canal.instance.standby.position = 
#canal.instance.standby.timestamp = 
#username/password隘马，需要改成自己的數(shù)據(jù)庫信息
canal.instance.dbUsername = canal  
canal.instance.dbPassword = canal
canal.instance.defaultDatabaseName =
canal.instance.connectionCharset = UTF-8
#table regex
canal.instance.filter.regex = .\*\\\\..\*

• canal.instance.connectionCharset 代表數(shù)據(jù)庫的編碼方式對應(yīng)到 java 中的編碼類型，比如 UTF-8妻顶，GBK , ISO-8859-1
• 如果系統(tǒng)是1個 cpu祟霍，需要將 canal.instance.parser.parallel 設(shè)置為 false

3.啟動

• 啟動

sh bin/startup.sh

• 查看日志

vi logs/canal/canal.log</pre>

com.alibaba.otter.canal.deployer.CanalStater - ## the canal server is running now ......

• 查看 instance 的日志

vi logs/example/example.log

c.a.otter.canal.instance.core.AbstractCanalInstance - start successful...

• 關(guān)閉

sh bin/stop.sh

啟動模式

canal配置方式有兩種：

ManagerCanalInstanceGenerator： 基于manager管理的配置方式，目前alibaba內(nèi)部配置使用這種方式盈包。大家可以實現(xiàn)CanalConfigClient，連接各自的管理系統(tǒng)醇王，即可完成接入呢燥。
SpringCanalInstanceGenerator：基于本地spring xml的配置方式，目前開源版本已經(jīng)自帶該功能所有代碼寓娩，建議使用

1. Spring配置

spring配置的原理是將整個配置抽象為兩部分：

• xxxx-instance.xml (canal組件的配置定義叛氨，可以在多個instance配置中共享)
• xxxx.properties (每個instance通道都有各自一份定義，因為每個mysql的ip棘伴，帳號寞埠，密碼等信息不會相同)

通過spring的PropertyPlaceholderConfigurer通過機制將其融合，生成一份instance實例對象焊夸，每個instance對應(yīng)的組件都是相互獨立的仁连，互不影響

1.1 properties配置文件

properties配置分為兩部分：

• canal.properties (系統(tǒng)根配置文件)
• instance.properties (instance級別的配置文件，每個instance一份)

1. instance列表定義 (列出當(dāng)前server上有多少個instance，每個instance的加載方式是spring/manager等)
2. common參數(shù)定義饭冬，比如可以將instance.properties的公用參數(shù)使鹅，抽取放置到這里，這樣每個instance啟動的時候就可以共享. 【instance.properties配置定義優(yōu)先級高于canal.properties】

instance.properties介紹：
a. 在canal.properties定義了canal.destinations后昌抠，需要在canal.conf.dir對應(yīng)的目錄下建立同名的文件

比如：

canal.destinations = example1,example2

這時需要創(chuàng)建example1和example2兩個目錄患朱，每個目錄里各自有一份instance.properties.
ps. canal自帶了一份instance.properties demo，可直接復(fù)制conf/example目錄進行配置修改

b. 如果canal.properties未定義instance列表炊苫，但開啟了canal.auto.scan時
server第一次啟動時裁厅，會自動掃描conf目錄下，將文件名做為instance name侨艾，啟動對應(yīng)的instance

server運行過程中执虹，會根據(jù)canal.auto.scan.interval定義的頻率，進行掃描

1. 發(fā)現(xiàn)目錄有新增蒋畜，啟動新的instance
2. 發(fā)現(xiàn)目錄有刪除声畏，關(guān)閉老的instance
3. 發(fā)現(xiàn)對應(yīng)目錄的instance.properties有變化，重啟instance

• 幾點說明：

  1. mysql鏈接時的起始位置
  • canal.instance.master.journal.name + canal.instance.master.position : 精確指定一個binlog位點姻成，進行啟動
  • canal.instance.master.timestamp : 指定一個時間戳插龄，canal會自動遍歷mysql binlog，找到對應(yīng)時間戳的binlog位點后科展，進行啟動
    不指定任何信息：默認從當(dāng)前數(shù)據(jù)庫的位點均牢，進行啟動。(show master status)
  2. mysql解析關(guān)注表定義
     標準的Perl正則才睹，注意轉(zhuǎn)義時需要雙斜杠：\
  3. mysql鏈接的編碼
     目前canal版本僅支持一個數(shù)據(jù)庫只有一種編碼徘跪，如果一個庫存在多個編碼，需要通過filter.regex配置琅攘，將其拆分為多個canal instance垮庐，為每個instance指定不同的編碼

• instance.xml配置文件
  目前默認支持的instance.xml有以下幾種：

spring/memory-instance.xml
spring/default-instance.xml
spring/group-instance.xml

• 在介紹instance配置之前，先了解一下canal如何維護一份增量訂閱&消費的關(guān)系信息：
  解析位點 (parse模塊會記錄坞琴，上一次解析binlog到了什么位置哨查，對應(yīng)組件為：CanalLogPositionManager)
  消費位點 (canal server在接收了客戶端的ack后，就會記錄客戶端提交的最后位點剧辐，對應(yīng)的組件為：CanalMetaManager)
  對應(yīng)的兩個位點組件寒亥，目前都有幾種實現(xiàn)：

memory (memory-instance.xml中使用)
zookeeper
mixed
period (default-instance.xml中使用，集合了zookeeper+memory模式荧关，先寫內(nèi)存溉奕，定時刷新數(shù)據(jù)到zookeeper上)

• memory-instance.xml介紹：

所有的組件(parser , sink , store)都選擇了內(nèi)存版模式，記錄位點的都選擇了memory模式忍啤，重啟后又會回到初始位點進行解析

特點：速度最快加勤，依賴最少(不需要zookeeper)

場景：一般應(yīng)用在quickstart，或者是出現(xiàn)問題后，進行數(shù)據(jù)分析的場景胸竞，不應(yīng)該將其應(yīng)用于生產(chǎn)環(huán)境

• default-instance.xml介紹：

store選擇了內(nèi)存模式欺嗤，其余的parser/sink依賴的位點管理選擇了持久化模式，目前持久化的方式主要是寫入zookeeper卫枝，保證數(shù)據(jù)集群共享.

特點：支持HA

場景：生產(chǎn)環(huán)境煎饼，集群化部署.

• group-instance.xml介紹：

主要針對需要進行多庫合并時，可以將多個物理instance合并為一個邏輯instance校赤，提供客戶端訪問吆玖。

場景：分庫業(yè)務(wù)。 比如產(chǎn)品數(shù)據(jù)拆分了4個庫马篮，每個庫會有一個instance沾乘，如果不用group，業(yè)務(wù)上要消費數(shù)據(jù)時浑测，需要啟動4個客戶端翅阵，分別鏈接4個instance實例。使用group后迁央，可以在canal server上合并為一個邏輯instance掷匠，只需要啟動1個客戶端，鏈接這個邏輯instance即可.

• instance.xml設(shè)計初衷：

允許進行自定義擴展岖圈，比如實現(xiàn)了基于數(shù)據(jù)庫的位點管理后讹语，可以自定義一份自己的instance.xml，整個canal設(shè)計中最大的靈活性在于此

HA模式配置

1.canal HA工作原理

2.配置

• 1. 機器準備
     a. 運行canal的機器： 10.20.144.22 , 10.20.144.51.
     b. zookeeper地址為：10.20.144.51:2181
     c. mysql地址：10.20.144.15:3306
• 2. 按照部署和配置蜂科，在單臺機器上各自完成配置顽决，演示時instance name為example
     a. 修改canal.properties，加上zookeeper配置

canal.zkServers=10.20.144.51:2181
canal.instance.global.spring.xml = classpath:spring/default-instance.xml

b. 創(chuàng)建example目錄导匣，并修改instance.properties

canal.instance.mysql.slaveId = 1234 ##另外一臺機器改成1235才菠，保證slaveId不重復(fù)即可
canal.instance.master.address = 10.20.144.15:3306

注意： 兩臺機器上的instance目錄的名字需要保證完全一致，HA模式是依賴于instance name進行管理贡定，同時必須都選擇default-instance.xml配置

• 3. 啟動兩臺機器的canal

ssh 10.20.144.51
sh bin/startup.sh

ssh 10.20.144.22
sh bin/startup.sh

啟動后鸠儿，你可以查看logs/example/example.log，只會看到一臺機器上出現(xiàn)了啟動成功的日志厕氨。

結(jié)合MQ使用

canal 作為 MySQL binlog 增量獲取和解析工具，可將變更記錄投遞到 MQ 系統(tǒng)中汹粤，比如 Kafka/RocketMQ命斧，可以借助于 MQ 的多語言能力。
目前canal默認支持的MQ有kafka和RocketMQ
下面在我的本子上演示kafka quick start.

環(huán)境版本

• 操作系統(tǒng)：macOS
• java版本: jdk1.8
• canal 版本: 請下載最新的安裝包嘱兼，本文以當(dāng)前v1.1.3 的canal.deployer-1.1.3.tar.gz為例
• MySQL版本 ：5.7
  注意 ： 關(guān)閉所有機器的防火墻国葬，同時注意啟動可以相互telnet ip 端口

1. 安裝zookeeper

zookeeper

2. 安裝MQ

kafka

3. 修改canal配置

vi /conf/canal.properties

# ...
# 可選項: tcp(默認), kafka, RocketMQ
canal.serverMode = kafka
# ...
# kafka/rocketmq 集群配置: 192.168.1.117:9092,192.168.1.118:9092,192.168.1.119:9092 
canal.mq.servers = 127.0.0.1:9092
canal.mq.retries = 0
# flagMessage模式下可以調(diào)大該值, 但不要超過MQ消息體大小上限
canal.mq.batchSize = 16384
canal.mq.maxRequestSize = 1048576
# flatMessage模式下請將該值改大, 建議50-200
canal.mq.lingerMs = 1
canal.mq.bufferMemory = 33554432
# Canal的batch size, 默認50K, 由于kafka最大消息體限制請勿超過1M(900K以下)
canal.mq.canalBatchSize = 50
# Canal get數(shù)據(jù)的超時時間, 單位: 毫秒, 空為不限超時
canal.mq.canalGetTimeout = 100
# 是否為flat json格式對象
canal.mq.flatMessage = true
canal.mq.compressionType = none
canal.mq.acks = all
# kafka消息投遞是否使用事務(wù)
canal.mq.transaction = false

4. 啟動、關(guān)閉、查看日志同上