cannal使用

a. canal的原理是基于mysql binlog技術(shù)剔蹋,所以這里一定需要開啟mysql的binlog寫入功能,建議配置binlog模式為row.

**針對阿里云RDS賬號默認(rèn)已經(jīng)有binlog dump權(quán)限,不需要任何權(quán)限或者binlog設(shè)置,可以直接跳過這一步**

只是記錄

軟件版本cananl1.0.24,mysql在5.7.21 5.6.38測試通過

[mysqld]

log-bin=mysql-bin #添加這一行就ok

binlog-format=ROW #選擇row模式

server_id=1 #配置mysql replaction需要定義浅辙,不能和canal的slaveId重復(fù)

b. canal的原理是模擬自己為mysql slave魔慷,所以這里一定需要做為mysql slave的相關(guān)權(quán)限.

CREATE USER canal IDENTIFIED BY 'canal';?

GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';

-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;

FLUSH PRIVILEGES;

針對已有的賬戶可直接通過grant

啟動步驟:

1. 下載canal

直接下載

訪問:https://github.com/alibaba/canal/releases 丙笋,會列出所有歷史的發(fā)布版本包 下載方式,比如以1.0.17版本為例子:

wget https://github.com/alibaba/canal/releases/download/canal-1.0.17/canal.deployer-1.0.17.tar.gz

or

自己編譯

git clone git@github.com:alibaba/canal.git

cd canal;

mvn clean install -Dmaven.test.skip -Denv=release

編譯完成后芦劣,會在根目錄下產(chǎn)生target/canal.deployer-$version.tar.gz

2. 解壓縮

mkdir /tmp/canal

tar zxvf canal.deployer-$version.tar.gz? -C /tmp/canal

解壓完成后粗俱,進(jìn)入/tmp/canal目錄,可以看到如下結(jié)構(gòu):

drwxr-xr-x 2 jianghang jianghang? 136 2013-02-05 21:51 bin

drwxr-xr-x 4 jianghang jianghang? 160 2013-02-05 21:51 conf

drwxr-xr-x 2 jianghang jianghang 1.3K 2013-02-05 21:51 lib

drwxr-xr-x 2 jianghang jianghang? 48 2013-02-05 21:29 logs

3. 配置修改

應(yīng)用參數(shù):

vi conf/example/instance.properties

#################################################

## mysql serverId

canal.instance.mysql.slaveId = 1234

position info虚吟,需要改成自己的數(shù)據(jù)庫信息

canal.instance.master.address = 127.0.0.1:3306

canal.instance.master.journal.name =

canal.instance.master.position =

canal.instance.master.timestamp =

#canal.instance.standby.address =

#canal.instance.standby.journal.name =

#canal.instance.standby.position =

#canal.instance.standby.timestamp =

username/password寸认,需要改成自己的數(shù)據(jù)庫信息

canal.instance.dbUsername = canal

canal.instance.dbPassword = canal

canal.instance.defaultDatabaseName =

canal.instance.connectionCharset = UTF-8

table regex

canal.instance.filter.regex = .\..

#################################################

說明:

? ? canal.instance.connectionCharset 代表數(shù)據(jù)庫的編碼方式對應(yīng)到j(luò)ava中的編碼類型,比如UTF-8串慰,GBK , ISO-8859-1

注釋:多個客戶端的處理方式:

vi canal.properties

#########? ? ? ? ? ? ? destinations? ? ? ? ? ? #############

#################################################

canal.destinations= example,test

# conf root dir

canal.conf.dir = ../conf

# auto scan instance dir add/remove and start/stop instance

canal.auto.scan = true

canal.auto.scan.interval = 5

4. 準(zhǔn)備啟動

sh bin/startup.sh

5. 查看日志

vi logs/canal/canal.log

2013-02-05 22:45:27.967 [main] INFO? com.alibaba.otter.canal.deployer.CanalLauncher - ## start the canal server.

2013-02-05 22:45:28.113 [main] INFO? com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[10.1.29.120:11111]

2013-02-05 22:45:28.210 [main] INFO? com.alibaba.otter.canal.deployer.CanalLauncher - ## the canal server is running now ......

具體instance的日志:

vi logs/example/example.log

2013-02-05 22:50:45.636 [main] INFO? c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [canal.properties]

2013-02-05 22:50:45.641 [main] INFO? c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [example/instance.properties]

2013-02-05 22:50:45.803 [main] INFO? c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-example

2013-02-05 22:50:45.810 [main] INFO? c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start successful....

6. 關(guān)閉

sh bin/stop.sh

it's over.

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末偏塞,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子邦鲫,更是在濱河造成了極大的恐慌灸叼,老刑警劉巖,帶你破解...
    沈念sama閱讀 212,718評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件庆捺,死亡現(xiàn)場離奇詭異古今,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)滔以,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,683評論 3 385
  • 文/潘曉璐 我一進(jìn)店門捉腥,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人你画,你說我怎么就攤上這事但狭。” “怎么了撬即?”我有些...
    開封第一講書人閱讀 158,207評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長呈队。 經(jīng)常有香客問我剥槐,道長,這世上最難降的妖魔是什么宪摧? 我笑而不...
    開封第一講書人閱讀 56,755評論 1 284
  • 正文 為了忘掉前任粒竖,我火速辦了婚禮,結(jié)果婚禮上几于,老公的妹妹穿的比我還像新娘蕊苗。我一直安慰自己,他們只是感情好沿彭,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,862評論 6 386
  • 文/花漫 我一把揭開白布朽砰。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪瞧柔。 梳的紋絲不亂的頭發(fā)上漆弄,一...
    開封第一講書人閱讀 50,050評論 1 291
  • 那天,我揣著相機(jī)與錄音造锅,去河邊找鬼撼唾。 笑死,一個胖子當(dāng)著我的面吹牛哥蔚,可吹牛的內(nèi)容都是我干的倒谷。 我是一名探鬼主播,決...
    沈念sama閱讀 39,136評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼糙箍,長吁一口氣:“原來是場噩夢啊……” “哼渤愁!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起倍靡,我...
    開封第一講書人閱讀 37,882評論 0 268
  • 序言:老撾萬榮一對情侶失蹤猴伶,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后塌西,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體他挎,經(jīng)...
    沈念sama閱讀 44,330評論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,651評論 2 327
  • 正文 我和宋清朗相戀三年捡需,在試婚紗的時候發(fā)現(xiàn)自己被綠了办桨。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,789評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡站辉,死狀恐怖呢撞,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情饰剥,我是刑警寧澤殊霞,帶...
    沈念sama閱讀 34,477評論 4 333
  • 正文 年R本政府宣布,位于F島的核電站汰蓉,受9級特大地震影響绷蹲,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜顾孽,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,135評論 3 317
  • 文/蒙蒙 一祝钢、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧若厚,春花似錦拦英、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,864評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽灾常。三九已至,卻和暖如春做裙,著一層夾襖步出監(jiān)牢的瞬間岗憋,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,099評論 1 267
  • 我被黑心中介騙來泰國打工锚贱, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留仔戈,地道東北人。 一個月前我還...
    沈念sama閱讀 46,598評論 2 362
  • 正文 我出身青樓拧廊,卻偏偏與公主長得像监徘,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子吧碾,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,697評論 2 351

推薦閱讀更多精彩內(nèi)容

  • 今日學(xué)習(xí)的:
    箱子里的魚脆脆閱讀 256評論 0 0
  • 以前不知道歲月是刀劍 后來才知道以前叫作少年 少年是隱在身體上的疤 不小心觸碰到 未有疼痛 卻想起這段路原來是走過...
    蘇打熊閱讀 158評論 0 4
  • Alpha Go 又贏了人類凰盔。 在計算、數(shù)據(jù)方面的能力倦春,人類需要得越來越少户敬。相反的,在未來睁本,“人”不想被機(jī)器替代尿庐,...
    正義的阿杜閱讀 332評論 0 0