目錄
1、利用Binlog和Kafka實(shí)時(shí)同步mysql數(shù)據(jù)到Elasticsearch(一) - 開啟Binlog日志
2拜效、利用Binlog和Kafka實(shí)時(shí)同步mysql數(shù)據(jù)到Elasticsearch(二) - 安裝并運(yùn)行Kafka
3、利用Binlog和Kafka實(shí)時(shí)同步mysql數(shù)據(jù)到Elasticsearch(三) - Binlog日志生產(chǎn)消息到Kafka
4紧憾、利用Binlog和Kafka實(shí)時(shí)同步mysql數(shù)據(jù)到Elasticsearch(四) - 消費(fèi)Kafka消息同步數(shù)據(jù)到ES
前言
- 項(xiàng)目模塊
BinlogMiddleware
1、binlog中間件父阻，負(fù)責(zé)解析binlog望抽，把變動(dòng)的數(shù)據(jù)以json形式發(fā)送到kafka隊(duì)列履婉。
KafkaMiddleware
2、kafka中間件毁腿，負(fù)責(zé)消費(fèi)kafka隊(duì)列中的Message苛茂，把數(shù)據(jù)寫入Elasticsearch中鸠窗。
- 基礎(chǔ)服務(wù)
（1）Mysql
（2）Kafka（用于存放mysql變動(dòng)消息，存放于Kafka隊(duì)列）
（3）Elasticsearch
- 項(xiàng)目源碼
碼云：https://gitee.com/OrgXxxx/SyncMysqlToElasticsearch
（1）下載Kafka稍计，解壓并進(jìn)入文件夾。
下載地址：https://www.apache.org/dyn/closer.cgi?path=/kafka/2.1.0/kafka_2.11-2.1.0.tgz
> tar -xzf kafka_2.11-2.1.0.tgz
cd kafka_2.11-2.1.0
（2）啟動(dòng)Zookeeper服務(wù)净刮。
前端啟動(dòng)：
./bin/zookeeper-server-start.sh config/zookeeper.properties
后臺(tái)啟動(dòng)：
./bin/zookeeper-server-start.sh config/zookeeper.properties &
（3）啟動(dòng)Kafka服務(wù)硅则。
前端啟動(dòng)：
./bin/kafka-server-start.sh config/server.properties
后臺(tái)啟動(dòng)：
./bin/kafka-server-start.sh config/server.properties &
