目錄
1欢揖、利用Binlog和Kafka實(shí)時(shí)同步mysql數(shù)據(jù)到Elasticsearch(一) - 開啟Binlog日志
2怒详、利用Binlog和Kafka實(shí)時(shí)同步mysql數(shù)據(jù)到Elasticsearch(二) - 安裝并運(yùn)行Kafka
3、利用Binlog和Kafka實(shí)時(shí)同步mysql數(shù)據(jù)到Elasticsearch(三) - Binlog日志生產(chǎn)消息到Kafka
4废赞、利用Binlog和Kafka實(shí)時(shí)同步mysql數(shù)據(jù)到Elasticsearch(四) - 消費(fèi)Kafka消息同步數(shù)據(jù)到ES
前言
- 項(xiàng)目模塊
BinlogMiddleware
1复颈、binlog中間件傅瞻，負(fù)責(zé)解析binlog脉执，把變動(dòng)的數(shù)據(jù)以json形式發(fā)送到kafka隊(duì)列。
KafkaMiddleware
2戒劫、kafka中間件半夷，負(fù)責(zé)消費(fèi)kafka隊(duì)列中的Message，把數(shù)據(jù)寫入Elasticsearch中迅细。
- 基礎(chǔ)服務(wù)
（1）Mysql
（2）Kafka（用于存放mysql變動(dòng)消息巫橄，存放于Kafka隊(duì)列）
（3）Elasticsearch
- 項(xiàng)目源碼
碼云：https://gitee.com/OrgXxxx/SyncMysqlToElasticsearch
1、開啟mysql的binlog
（1）binlog簡介
binlog,即二進(jìn)制日志,它記錄了數(shù)據(jù)庫上的所有改變茵典，并以二進(jìn)制的形式保存在磁盤中湘换；
它可以用來查看數(shù)據(jù)庫的變更歷史、數(shù)據(jù)庫增量備份和恢復(fù)统阿、Mysql的復(fù)制（主從數(shù)據(jù)庫的復(fù)制）。
（2）Binary Log記錄方式
Row Level
Binary Log會(huì)記錄成每一行數(shù)據(jù)被修改的形式，然后在Slave端再對(duì)相同的數(shù)據(jù)進(jìn)行修改赂苗。
如果修改了表的結(jié)構(gòu)独榴，那么binlog日志記錄的是重新創(chuàng)建表，在插入字段结澄、update等操作語句哥谷，而不是的alter的動(dòng)作。
優(yōu)點(diǎn)：在Row Level模式下麻献，Binnary Log可以不記錄執(zhí)行的Query語句的上下文相關(guān)信息们妥，只要記錄哪一行修改了，修改成什么樣子勉吻。Row Level會(huì)詳細(xì)的記錄下每一行數(shù)據(jù)的修改細(xì)節(jié)监婶，而且不會(huì)出現(xiàn)某個(gè)特定情況下的存儲(chǔ)過程，或Function餐曼，以及Trigger的調(diào)用和觸發(fā)無法被正確復(fù)制問題压储。
缺點(diǎn)：產(chǎn)生大量的日志內(nèi)容。
Statment Level
每一條會(huì)修改的SQL語句都會(huì)記錄到Master的Binnary中源譬。Slave端在復(fù)制的時(shí)候集惋，SQL線程會(huì)解析成和原來Master端執(zhí)行過相同的SQL語句，并再次執(zhí)行踩娘。
優(yōu)點(diǎn)：首先刮刑，解決了Row Level下的缺點(diǎn)喉祭，不須要記錄每一行的數(shù)據(jù)變化，減少了Binnary Log日志量雷绢，節(jié)約了IO成本泛烙，提高了性能。
缺點(diǎn)：由于它是記錄的執(zhí)行語句翘紊，為了讓這些語句在Slave端也能正確執(zhí)行蔽氨。那么它還必須記錄每條語句在執(zhí)行時(shí)的一些相關(guān)信息，即上下文信息帆疟，以保證所有語句在Slave端被執(zhí)行的時(shí)候能夠得到和在Master端執(zhí)行時(shí)相同的結(jié)果鹉究。另外，由于MySQL發(fā)展比較快踪宠，很多新功能不斷加入自赔，使得MySQL復(fù)制遇到了不小的挑戰(zhàn)，復(fù)制時(shí)設(shè)計(jì)的內(nèi)容岳父在柳琢，越容易出bug绍妨。在Statement Level下，目前已發(fā)現(xiàn)不少的情況下會(huì)造成MySQL的復(fù)制問題柬脸。主要是在修改數(shù)據(jù)使用了某些特定的函數(shù)貨功能后他去，出現(xiàn)，比如：Sleep()函數(shù)在有些版本中就不能正確的復(fù)制肖粮，在存儲(chǔ)過程中使用了last_insert_id()函數(shù)孤页，可能會(huì)使Slave和Master的到不一致的ID，等等涩馆。
Mixed Level
在Mixed模式下行施，MySQL會(huì)根據(jù)執(zhí)行的每一條具體的SQL語句來區(qū)分對(duì)待記錄的日志形式，也就是在Statement和Row之間選擇一種魂那。除了MySQL認(rèn)為通過Statement方式可能造成復(fù)制過程中Master和Slave之間產(chǎn)生不一致數(shù)據(jù)蛾号。(如特殊Procedure和Funtion的使用，UUID()函數(shù)的使用等特殊情況)時(shí)涯雅，它會(huì)選擇ROW的模式來記錄變更之外鲜结，都會(huì)使用Statement方式。
ps：在后續(xù)開發(fā)中將使用Row格式
（3）開啟mysql的binlog
a.修改my.cnf配置
[mysqld]
log-bin=mysql-bin # 開啟binlog
binlog-format=ROW # 設(shè)置Binary Log記錄方式為Row
server_id=1 # 記住id 后續(xù)開發(fā)會(huì)使用
b.重啟mysql
mysql.server restart
c.查看開啟狀態(tài)
輸入 show variables like 'log_bin'; 查看binlog開啟狀態(tài)活逆。如下圖所示精刷。
輸入 show variables like 'binlog_format'; 查看Binary Log記錄方式。如下圖所示蔗候。
