1酝豪、定義
何謂數(shù)據(jù)異構(gòu)驱还，上周交易部門商品的同事過來做分享陨仅，又看到這個詞，他的PPT里面是 數(shù)據(jù)庫異構(gòu)铝侵。其實我們以前做的事情灼伤，也是可以成為數(shù)據(jù)異構(gòu)。比如我們將DB里面的數(shù)據(jù)持久化到REDIS里面去咪鲜，就是一種數(shù)據(jù)異構(gòu)的方式狐赡。如果要下個定義的話：把數(shù)據(jù)按需（數(shù)據(jù)結(jié)構(gòu)、存取方式疟丙、存取形式）異地構(gòu)建存儲颖侄。
2、常見應(yīng)用場景
分庫分表中有一個最為常見的場景享郊，為了提升數(shù)據(jù)庫的查詢能力览祖，我們都會對數(shù)據(jù)庫做分庫分表操作。比如訂單庫炊琉，開始的時候我們是按照訂單ID維度去分庫分表展蒂，那么后來的業(yè)務(wù)需求想按照商家維度去查詢，比如我想查詢某一個商家下的所有訂單苔咪，就非常麻煩锰悼。這個時候通過數(shù)據(jù)異構(gòu)就能很好的解決此問題，比如下圖
總結(jié)起來大概有以下幾種場景：
數(shù)據(jù)庫鏡像
數(shù)據(jù)庫實時備份
多級索引
search build（比如分庫分表后的多維度數(shù)據(jù)查詢）
業(yè)務(wù)cache刷新
價格团赏、庫存變化等重要業(yè)務(wù)消息
3箕般、數(shù)據(jù)異構(gòu)方向
在日常業(yè)務(wù)開發(fā)中大致可以分為以上幾種數(shù)據(jù)去向，DB-DB這種方式舔清，一般常見于分庫分表后丝里，聚合查詢的時候，比如我們按照訂單ID去分庫分表体谒，那么這個時候我們要按照用戶ID去查詢杯聚，查詢這個用戶下面的訂單就非常不方便了，當(dāng)然可以使用統(tǒng)一加到內(nèi)存中去营密，但這樣不太好械媒。所以我們就可以用數(shù)據(jù)庫異構(gòu)的方式目锭，重新按照用戶ID的維度來分一個表评汰，像在上面常見應(yīng)用場景中介紹的那樣纷捞。把數(shù)據(jù)異構(gòu)到redis、elasticserach被去、slor中去要解決的問題跟按照多維度來查詢的需求差不多主儡。這些存儲天生都有聚合的功能。當(dāng)然同時也可以提高查詢性能惨缆，應(yīng)對大訪問量糜值，比如redis這種抗量銀彈。
4坯墨、數(shù)據(jù)異構(gòu)的常用方法
4.1寂汇、完整克隆
這個很簡單就是將數(shù)據(jù)庫A，全部拷貝一份到數(shù)據(jù)庫B捣染，這樣的使用場景是離線統(tǒng)計跑任務(wù)腳本的時候可以骄瓣。缺點也很突出，不適用于持續(xù)增長的數(shù)據(jù)耍攘。
4.2榕栏、標(biāo)記同步
這個是業(yè)務(wù)場景比較簡單的時候，理想情況下數(shù)據(jù)不會發(fā)生改變蕾各，比如日志數(shù)據(jù)扒磁，這個時候可以去標(biāo)記，比如時間戳式曲，這樣當(dāng)發(fā)生故障的時候還可以回溯到上一次同步點妨托，開始重新同步數(shù)據(jù)。
4.3吝羞、BINLOG方式
通過實時的訂閱mysql的binglog日志始鱼，消費到這些日志后，重新構(gòu)建數(shù)據(jù)結(jié)構(gòu)插入一個新的數(shù)據(jù)庫或者是其他存儲比如es脆贵、slor等等医清。訂閱binglog日志可以比較好的能保證數(shù)據(jù)的一致性。
4.4卖氨、MQ方式
業(yè)務(wù)數(shù)據(jù)寫入DB的同時会烙，也發(fā)送MQ一份，也就是業(yè)務(wù)里面實現(xiàn)雙寫筒捺。這種方式比較簡單柏腻，但也很難保證數(shù)據(jù)一致性，對簡單的業(yè)務(wù)場景可以采用這種方式系吭。
5五嫂、binlog和mq方式重點介紹
5.1、binglog
5.1.1、訂閱binglog日志異構(gòu)流程圖
5.1.2沃缘、使用說明
binglog是數(shù)據(jù)的日志記錄方式躯枢，每次對數(shù)據(jù)的操作都會有binglog日志。現(xiàn)在開源的訂閱binlog日志的組件槐臀，比如使用比較廣泛的canal锄蹂，它是阿里開源的基于mysql數(shù)據(jù)庫binlog的增量訂閱和消費組件。由于cannal服務(wù)器目前讀取的binlog事件只保存在內(nèi)存中水慨，并且只有一個canal客戶端可以進行消費得糜。所以如果需要多個消費客戶端，可以引入activemq或者kafka晰洒。如上圖綠色虛線框部分朝抖。我們還需要確保全量對比來保證數(shù)據(jù)的一致性（canal+mq的重試機制基本可以保證寫入異構(gòu)庫之后的數(shù)據(jù)一致性），這個時候可以有一個全量同步WORKER程序來保證谍珊，如上圖深綠色部分槽棍。
5.1.3、canal的工作原理
先來看下mysql主備（主從）復(fù)制原理如下圖抬驴，在此原理基礎(chǔ)之上我們再來理解canal的實現(xiàn)原理就一眼能明白了炼七。歡迎點擊鏈接加入群【大數(shù)據(jù)/運維/java架構(gòu)】：649917651
mysql主備（主從）復(fù)制原理，從上層來看布持，復(fù)制分成三步：
master將改變記錄到二進制日志(binary log)中（這些記錄叫做二進制日志事件豌拙，binary log events，可以通過show binlog events進行查看）题暖；
slave將master的binary log events拷貝到它的中繼日志(relay log)按傅；
slave重做中繼日志中的事件，將改變反映它自己的數(shù)據(jù)胧卤。
再來看下canal的原理唯绍，如下圖：
cannal實現(xiàn)原理相對比較簡單（參照上面的mysql主備復(fù)制實現(xiàn)原理）：歡迎點擊鏈接加入群【大數(shù)據(jù)/運維/java架構(gòu)】：https://jq.qq.com/?_wv=1027&k=5xd4X4w
canal模擬mysql slave的交互協(xié)議，偽裝自己為mysql slave枝誊，向mysql master發(fā)送dump協(xié)議
mysql master收到dump請求况芒，開始推送binary log給slave(也就是canal)
canal解析binary log對象(原始為byte流)
我們在部署canal server的時候要部署多臺，來保證高可用叶撒。但是canal的原理绝骚，是只有一臺服務(wù)器在跑處理，其它的服務(wù)器作為熱備祠够。canal server的高可用是通過zookeeper來維護的压汪。
有關(guān)canal更具體的使用和詳細原理請參照：https://github.com/alibaba/canal
5.1.4、注意點
1古瓤、確認MySQL開啟binlog止剖，使用show variables like 'log_bin'; 查看ON為已開啟
2腺阳、確認目標(biāo)庫可以產(chǎn)生binlog，show master status 注意Binlog_Do_DB穿香，Binlog_Ignore_DB參數(shù)
3亭引、確認binlog格式為ROW，使用show variables like 'binlog_format'; 非ROW模式登錄MySQL執(zhí)行 set global binlog_format=ROW; flush logs; 或者通過更改MySQL配置文件并重啟MySQL生效扔水。
4痛侍、為保證binlake服務(wù)可以獲取Binlog朝氓，需添加授權(quán)魔市，執(zhí)行 GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON . TO 'admin'@'%' identified by 'admin'; FLUSH PRIVILEGES;
5.2、mq方式
mq的方式赵哲，就相對簡單待德，實際上是在業(yè)務(wù)邏輯中寫DB的同時去寫一次MQ，但是這種方式不能夠保證數(shù)據(jù)一致性枫夺，就是不能保證跨資源的事務(wù)将宪。注：調(diào)用第三方遠程RPC的操作一定不要放到事務(wù)中。
6橡庞、總結(jié)
本文主要敘述了數(shù)據(jù)異構(gòu)的使用場景较坛，方法。這里面涉及到的activemq以及canal并沒有深入分析扒最，關(guān)于這塊的內(nèi)容可以直接參考相關(guān)具體文檔丑勤，文中已給了鏈接地址。根據(jù)數(shù)據(jù)異構(gòu)的定義吧趣，將數(shù)據(jù)異地構(gòu)建存儲法竞，我們可以應(yīng)用的地方就非常多，文中說的分庫分表之后按照其它維度來查詢的時候强挫，我們想脫離DB直接用緩存比如redis來抗量的時候岔霸。數(shù)據(jù)異構(gòu)這種方式都能夠很好的幫助我們來解決諸如此類的問題。
參考資料：https://github.com/alibaba/canal
本文轉(zhuǎn)載自 linkedkeeper.com (文／王新棟)
