增量同步的方式有很多種树酪,我使用的是: 快照表 + 觸發(fā)器
需求:
當(dāng)主庫庫表發(fā)生增刪改時(shí)赘风,從庫庫表與主庫庫表數(shù)據(jù)保持一致髓考。
環(huán)境:
1茅主、Mysql
2舞痰、kettle 7.1
思路:
1、在主庫中诀姚,將需要同步的庫表新建快照表响牛,表結(jié)構(gòu)一致。
#創(chuàng)建同步臨時(shí)表(insert)
DROP TABLE IF EXISTS brch_temp_insert;
CREATE TABLE brch_temp_insert like brch;
#創(chuàng)建同步臨時(shí)表(delete)
DROP TABLE IF EXISTS brch_temp_delete;
CREATE TABLE brch_temp_delete like brch;
#創(chuàng)建同步臨時(shí)表(update)
DROP TABLE IF EXISTS brch_temp_update;
CREATE TABLE brch_temp_update like brch;
2、在主庫中呀打,分別新增庫表的增矢赁、刪、改的觸發(fā)器贬丛。
#創(chuàng)建同步表觸發(fā)器(insert)
DROP TRIGGER IF EXISTS tri_insert_brch;
CREATE TRIGGER tri_insert_brch
AFTER INSERT ON brch
FOR EACH ROW
BEGIN
insert into brch_temp_insert
(
ROW_ID,
BRCH_ID,
BRCH_NAME
)
values(
new.ROW_ID,
new.BRCH_ID,
new.BRCH_NAME
);
END;
#創(chuàng)建同步表觸發(fā)器(delete)
DROP TRIGGER IF EXISTS tri_delete_brch;
CREATE TRIGGER tri_delete_brch
AFTER delete ON brch
FOR EACH ROW
BEGIN
insert into brch_temp_delete(
ROW_ID
)
values(
old.ROW_ID
);
END;
#創(chuàng)建同步表觸發(fā)器(update)
DROP TRIGGER IF EXISTS tri_update_brch;
CREATE TRIGGER tri_update_brch
AFTER update ON brch
FOR EACH ROW
BEGIN
insert into brch_temp_update(
ROW_ID,
BRCH_ID,
BRCH_NAME
)
values(
new.ROW_ID,
new.BRCH_ID,
new.BRCH_NAME
);
END;
2撩银、新建一個(gè)轉(zhuǎn)換,該轉(zhuǎn)換只針對(duì)一張表的增刪改豺憔。
3额获、新建‘表輸入’控件,查詢主庫的快照表
4恭应、新建‘插入/更新’控件咪啡,插入數(shù)據(jù)到從庫的庫表,查詢的關(guān)鍵字要求唯一暮屡。
5、新建‘刪除’控件毅桃,將主庫的快照表中的數(shù)據(jù)刪除褒纲。
注意:主庫的庫表,要新增針對(duì)增钥飞、刪莺掠、改的三張表快照,三張表的步驟同上面的1 - 5 一致读宙。
6彻秆、新建作業(yè)控件
分別將三個(gè)轉(zhuǎn)換引用進(jìn)來。
7结闸、配置發(fā)送郵件服務(wù)
8唇兑、完成