前言
如今大型的IT系統(tǒng)中，都會(huì)使用分布式的方式潦刃，同時(shí)會(huì)有非常多的中間件，如redis懈叹、消息隊(duì)列乖杠、大數(shù)據(jù)存儲(chǔ)等，但是實(shí)際核心的數(shù)據(jù)存儲(chǔ)依然是存儲(chǔ)在數(shù)據(jù)庫澄成，作為使用最廣泛的數(shù)據(jù)庫滑黔，如何將mysql的數(shù)據(jù)與中間件的數(shù)據(jù)進(jìn)行同步笆包，既能確保數(shù)據(jù)的一致性、及時(shí)性略荡，也能做到代碼無侵入的方式呢？如果有這樣的一個(gè)需求歉胶，數(shù)據(jù)修改后汛兜，需要及時(shí)的將mysql中的數(shù)據(jù)更新到elasticsearch,我們會(huì)怎么進(jìn)行實(shí)現(xiàn)呢？
數(shù)據(jù)同步方案選擇
針對上文的需求通今，經(jīng)過思考粥谬，初步有如下的一些方案：
- 代碼實(shí)現(xiàn)
針對代碼中進(jìn)行數(shù)據(jù)庫的增刪改操作時(shí)，同時(shí)進(jìn)行elasticsearch的增刪改操作辫塌。
mybatis實(shí)現(xiàn)
通過mybatis plugin進(jìn)行實(shí)現(xiàn)漏策，截取sql語句進(jìn)行分析， 針對insert臼氨、update掺喻、delete的語句進(jìn)行處理。顯然储矩，這些操作如果都是單條數(shù)據(jù)的操作感耙，是很容易處理的。但是持隧，實(shí)際開發(fā)中即硼，總是會(huì)有一些批量的更新或者刪除操作，這時(shí)候屡拨，就很難進(jìn)行處理了只酥。Aop實(shí)現(xiàn)
不管是通過哪種Aop方式，根據(jù)制定的規(guī)則呀狼，如規(guī)范方法名裂允，注解等進(jìn)行切面處理，但依然還是會(huì)出現(xiàn)無法處理批量操作數(shù)據(jù)的問題赠潦。logstash
logstash類似的同步組件提供的文件和數(shù)據(jù)同步的功能叫胖，可以進(jìn)行數(shù)據(jù)的同步，只需要簡單的配置就能將mysql數(shù)據(jù)同步到elasticsearch她奥，但是logstash的原理是每秒進(jìn)行一次增量數(shù)據(jù)查詢瓮增，將結(jié)果同步到elasticsearch，實(shí)時(shí)性要求特別高的哩俭，可能無法滿足要求绷跑。且此方案的性能不是很好，造成資源的浪費(fèi)凡资。
| 實(shí)現(xiàn)方式 | 優(yōu)缺點(diǎn) |
|---|---|
| 代碼實(shí)現(xiàn) | 技術(shù)難度低砸捏，侵入性強(qiáng)谬运，實(shí)時(shí)性高 |
| 基于mybatis | 有一定的技術(shù)難度，但是無法覆蓋所有的場景 |
| Aop實(shí)現(xiàn) | 技術(shù)難度低垦藏，半侵入性梆暖，需要規(guī)范代碼，依然無法覆蓋所有的場景 |
| logstash | 技術(shù)難度低掂骏，無侵入性轰驳，無需開發(fā)，但會(huì)造成資源浪費(fèi)弟灼。 |
那么是否有什么更好的方式進(jìn)行處理嗎级解？mysql binlog同步，實(shí)時(shí)性強(qiáng)田绑，對于應(yīng)用無任何侵入性勤哗，且性能更好，不會(huì)造成資源浪費(fèi)掩驱，那么就有了我今天的主角——canal
canal
介紹
canal 是阿里巴巴的一個(gè)開源項(xiàng)目芒划，基于java實(shí)現(xiàn)，整體已經(jīng)在很多大型的互聯(lián)網(wǎng)項(xiàng)目生產(chǎn)環(huán)境中使用昙篙，包括阿里腊状、美團(tuán)等都有廣泛的應(yīng)用，是一個(gè)非常成熟的數(shù)據(jù)庫同步方案苔可，基礎(chǔ)的使用只需要進(jìn)行簡單的配置即可缴挖。
canal是通過模擬成為mysql 的slave的方式，監(jiān)聽mysql 的binlog日志來獲取數(shù)據(jù)焚辅，binlog設(shè)置為row模式以后映屋，不僅能獲取到執(zhí)行的每一個(gè)增刪改的腳本，同時(shí)還能獲取到修改前和修改后的數(shù)據(jù)同蜻，基于這個(gè)特性棚点，canal就能高性能的獲取到mysql數(shù)據(jù)數(shù)據(jù)的變更。
使用
canal的介紹在官網(wǎng)有非常詳細(xì)的說明湾蔓，如果想了解更多瘫析，大家可以移步官網(wǎng)（https://github.com/alibaba/canal）了解。我這里補(bǔ)充下使用中不太容易理解部分默责。
canal的部署主要分為server端和client端贬循。
server端部署好以后，可以直接監(jiān)聽mysql binlog,因?yàn)閟erver端是把自己模擬成了mysql slave桃序，所以杖虾，只能接受數(shù)據(jù)，沒有進(jìn)行任何邏輯的處理媒熊，具體的邏輯處理奇适，需要client端進(jìn)行處理坟比。
client端一般是需要大家進(jìn)行簡單的開發(fā)。https://github.com/alibaba/canal/wiki/ClientAPI 有一個(gè)簡單的示例嚷往，很容易理解葛账。
canal Adapter
為了便于大家的使用，官方做了一個(gè)獨(dú)立的組件Adapter皮仁，Adapter是可以將canal server端獲取的數(shù)據(jù)轉(zhuǎn)換成幾個(gè)常用的中間件數(shù)據(jù)源注竿，現(xiàn)在支持kafka、rocketmq魂贬、hbase、elasticsearch裙顽，針對這幾個(gè)中間件的支持付燥，直接配置即可，無需開發(fā)愈犹。上文中键科，如果需要將mysql的數(shù)據(jù)同步到elasticsearch，直接運(yùn)行 canal Adapter漩怎，修改相關(guān)的配置即可勋颖。
常見問題
無法接收到數(shù)據(jù)，程序也沒有報(bào)錯(cuò)勋锤？
一定要確保mysql的binlog模式為row模式饭玲，canal原理是解析Binlog文件，并且直接中文件中獲取數(shù)據(jù)的叁执。Adapter 使用無法同步數(shù)據(jù)茄厘？
按照官方文檔，檢查配置項(xiàng)谈宛，如sql的大小寫次哈，字段的大小寫可能都會(huì)有影響，如果還無法搞定吆录，可以自己獲取代碼調(diào)試下窑滞，Adapter的代碼還是比較容易看懂的。
canal Adapter elasticsearch 改造
因?yàn)橛辛薱anal和canal Adapter這個(gè)神器恢筝，同步到elasticsearch哀卫、hbase等問題都解決了，但是自己的開發(fā)的過程中發(fā)現(xiàn)滋恬，Adapter使用還是有些問題聊训，因?yàn)橄仁褂玫氖莈lasticsearch同步功能，所以對elasticsearch進(jìn)行了一些改造：
elasticsearch初始化
一個(gè)全新的elasticsearch無法使用恢氯，因?yàn)闆]有創(chuàng)建elasticsearch index和mapping,增加了對應(yīng)的功能带斑。
elasticsearch配置文件mapping節(jié)點(diǎn)增加兩個(gè)參數(shù)：
enablefieldmap: true
fieldmap:
id: "text"
name: "text"
c_time: "text"
enablefieldmap 是否需要自動(dòng)生成fieldmap鼓寺，默認(rèn)為false,如果需要啟動(dòng)的時(shí)候就生成這設(shè)置為true,并且設(shè)置
fieldmap,類似elasticsearch mapping中每個(gè)字段的類型。
esconfig bug處理
代碼中獲取binlog的日志處理時(shí)勋磕，必須要獲取數(shù)據(jù)庫名妈候，但是當(dāng)獲取binlog為type query時(shí)，是無法獲取
數(shù)據(jù)庫名的挂滓，此處有bug苦银，導(dǎo)致出現(xiàn) "Outer adapter write failed" ,且未輸出錯(cuò)誤日志，修復(fù)此bug.
后續(xù)計(jì)劃
- 增加rabbit MQ的支持
- 增加redis的支持
