百萬(wàn)級(jí)商品數(shù)據(jù)實(shí)時(shí)同步搜索系統(tǒng)主要面臨以下幾個(gè)難題：
商家數(shù)據(jù)庫(kù)和商品數(shù)據(jù)庫(kù)是多臺(tái)不同的服務(wù)器，并且數(shù)據(jù)量達(dá)百萬(wàn)級(jí)慨默，如何才能實(shí)現(xiàn)跨數(shù)據(jù)庫(kù)的數(shù)據(jù)同步呢贩耐？
商家和商品的數(shù)據(jù)是有從屬關(guān)系的，不然就會(huì)把肯德基的香辣雞腿堡掛到麥當(dāng)勞去厦取，這就尷尬了潮太！
商家商品數(shù)據(jù)是經(jīng)常更新的，比如修改價(jià)格虾攻、庫(kù)存铡买、上下架等，那搜索服務(wù)可不能搜出一堆過(guò)時(shí)的數(shù)據(jù)霎箍，如果客戶(hù)明明搜出來(lái)的商品奇钞，點(diǎn)進(jìn)去后卻已下架了，那么客戶(hù)就要吐槽了漂坏！如何實(shí)現(xiàn)搜索數(shù)據(jù)與源數(shù)據(jù)庫(kù)增刪改均實(shí)時(shí)同步呢景埃？
帶著以上三個(gè)問(wèn)題，我們開(kāi)始了搜索服務(wù)的整體架構(gòu)設(shè)計(jì)顶别。
系統(tǒng)架構(gòu)設(shè)計(jì)思路
為了設(shè)計(jì)出合適的系統(tǒng)架構(gòu)谷徙，我們分析了現(xiàn)狀：
首先，商家數(shù)據(jù)和商品數(shù)據(jù)分別存儲(chǔ)在 2 個(gè)獨(dú)立的 MySQL8 數(shù)據(jù)庫(kù)驯绎，為滿(mǎn)足商家數(shù)據(jù)和商品數(shù)據(jù)的關(guān)聯(lián)完慧，我們需要將兩個(gè)庫(kù)中所需要的表實(shí)時(shí) ETL 到我們的搜索系統(tǒng)數(shù)據(jù)庫(kù)。
其次剩失，數(shù)據(jù)從商家屈尼、商品數(shù)據(jù)庫(kù) ETL 到搜索系統(tǒng)數(shù)據(jù)庫(kù)后，需要實(shí)時(shí)的組合成為商家關(guān)聯(lián)商品數(shù)據(jù)結(jié)構(gòu)赴叹，并以父子文檔的格式鸿染，存儲(chǔ)到 ES 中。
最后乞巧，商家涨椒、商品數(shù)據(jù)庫(kù)的增刪改操作，需要實(shí)時(shí)的同步到 ES 中，也就是 ES 中的數(shù)據(jù)蚕冬，需要支持實(shí)時(shí)的增加免猾、刪除和修改。
為此囤热，我們?cè)O(shè)計(jì)了 2 個(gè) Canal 組件猎提，第一個(gè) Canal 實(shí)現(xiàn)數(shù)據(jù) ETL，把商家旁蔼、商品數(shù)據(jù)庫(kù)的某些表及字段锨苏，抽取到搜索服務(wù)數(shù)據(jù)庫(kù)。
再利用第二個(gè) Canal棺聊，讀取搜索服務(wù) MySQL 數(shù)據(jù)庫(kù)的 Binlog伞租，實(shí)時(shí)傳輸?shù)?Kafka 消息隊(duì)列，再由 canal adapter 對(duì)數(shù)據(jù)進(jìn)行關(guān)聯(lián)限佩、父子文檔映射等葵诈，將處理好的數(shù)據(jù)存儲(chǔ)到 ElasticSearch 中。
具體系統(tǒng)架構(gòu)設(shè)計(jì)如下圖所示：商家商品搜索系統(tǒng)架構(gòu)設(shè)計(jì)
項(xiàng)目實(shí)戰(zhàn)
環(huán)境及軟件說(shuō)明
操作系統(tǒng)：CentOS 7
canal：canal.adapter-1.1.4祟同，canal.deployer-1.1.4
kafka：kafka_2.12-2.3.0
ElasticSearch：elasticsearch-6.3.2
kibana：kibana-6.3.2
用 Canal 實(shí)現(xiàn)數(shù)據(jù) ETL 到 MySQL8
這個(gè)步驟是利用 Canal 從 2 個(gè)獨(dú)立的 MySQL8 數(shù)據(jù)庫(kù)中作喘，抽取需要的表到搜索服務(wù)的 MySQL 數(shù)據(jù)庫(kù)。
①安裝 canaldeployer
解壓 canal.deployer-1.1.4.tar.gz晕城，并配置 canal deployer泞坦。
進(jìn)入 canaldeployer/conf 目錄，修改 canal.properties 文件广辰，主要配置 serverMode暇矫、MQ 和 destination 三部分。
首先择吊，我們 serverMode 修改為 Kafka 模式李根，增加系統(tǒng)緩沖能力以及提高系統(tǒng)穩(wěn)定性：接著，配置 Kafka 的 MQ 信息（Kafka 請(qǐng)自行安裝）：
最后几睛，配置需要實(shí)例化的 instance房轿，這里配置了 3 個(gè)，表示 canal deploy 會(huì)啟動(dòng)這 3 個(gè)實(shí)例所森，同步 MySQL 的 Binlog 到 Kafka 的 Topic 內(nèi)囱持。
如下圖所示：配置 canal deployer instance：進(jìn)入 canaldeployer/conf/example 目錄，發(fā)現(xiàn)有一個(gè)instance.properties 文件焕济，這是 Canal 給的示例纷妆，我們可以參考其配置。
我們拷貝整個(gè) example 目錄晴弃，并重命名為上個(gè)步驟配置的 destination 之一掩幢，如 xxxsearch逊拍。
進(jìn)入 xxxsearch 目錄，編輯 instance.properties 文件际邻，主要配置源數(shù)據(jù)庫(kù)信息芯丧、所需數(shù)據(jù)表及字段，以及指定 Kafka 的 Topic 名世曾。
這樣源數(shù)據(jù)庫(kù)的 Binlog 就會(huì)轉(zhuǎn)換為 Json 數(shù)據(jù)缨恒，并實(shí)時(shí)的通過(guò) canal deployer 傳輸?shù)?Kafka 該 Topic 中。
如下所示：
進(jìn)入 canaldeployer/bin 目錄轮听，執(zhí)行 ./startup.sh骗露，啟動(dòng) canal deployer 及所屬實(shí)例。至此 canal deployer 搭建完成蕊程。
②安裝 canal.adapter
我們需要利用 canal.adapter 將 Kafka Topic 中的 binlog json 數(shù)據(jù)椒袍，經(jīng)過(guò)清洗轉(zhuǎn)換等操作驼唱，存儲(chǔ)到 MySQL8 中藻茂。由于 Canal 原生是不支持 MySQL8 的，故我們需要做一些調(diào)整玫恳。
增加 MySQL8 連接驅(qū)動(dòng)：解壓 canal.adapter-1.1.4.tar.gz辨赐，進(jìn)入 canaladapter/lib 目錄，移除 mysql-connector-java-5.1.40.jar京办，導(dǎo)入 mysql-connector-java-8.0.18.jar掀序。
配置 canal adapter，使數(shù)據(jù)輸出到 MySQL8：進(jìn)入 canaladapter/conf 目錄惭婿，編輯 application.yml 文件不恭，主要配置消費(fèi) Kafka、源數(shù)據(jù)庫(kù)信息和搜索系統(tǒng)數(shù)據(jù)庫(kù)信息财饥。
如下所示：
接著换吧，進(jìn)入 canaladapter/conf/rdb 目錄，以官方提供的 mytest_user.yml 為例钥星，配置 Kafka Topic 名沾瓦、源數(shù)據(jù)庫(kù)名、源數(shù)據(jù)表名谦炒，以及目標(biāo)數(shù)據(jù)庫(kù)名和目標(biāo)數(shù)據(jù)表名贯莺，建議一張表對(duì)應(yīng)一個(gè) yml 文件。
啟動(dòng) canaladapter：進(jìn)入canaladapter/bin 目錄宁改，執(zhí)行 ./startup.sh缕探，啟動(dòng) canal adapter，觀察 logs/adapter/adapter.log 日志文件还蹲，手動(dòng)在搜索系統(tǒng)數(shù)據(jù)庫(kù)新增一條記錄爹耗，看是否會(huì)打印如下日志豁鲤，即有 2 條記錄，一條 INFO鲸沮，一條 DEBUG琳骡，則表示配置成功。
至此讼溺，數(shù)據(jù) ETL 階段搭建完成楣号，數(shù)據(jù)可從兩個(gè)不同的 MySQL8 數(shù)據(jù)庫(kù)，實(shí)時(shí)同步到搜索服務(wù)的 MySQL 數(shù)據(jù)庫(kù)怒坯。
實(shí)現(xiàn)數(shù)據(jù)多表關(guān)聯(lián)炫狱、父子文檔映射
①配置第二個(gè) Canal 的 canaladapter
進(jìn)入 canaladapter/conf 目錄，編輯 application.yml 文件剔猿，主要配置消費(fèi) Kafka视译、搜索系統(tǒng)數(shù)據(jù)庫(kù)，和 ES 連接信息归敬。
②配置多表關(guān)聯(lián)
進(jìn)入 canaladapter/conf/es 目錄酷含，vim mytest_user.yml，編輯多表關(guān)聯(lián)配置：
注意汪茧，sql支持多表關(guān)聯(lián)自由組合, 但是有一定的限制：
主表不能為子查詢(xún)語(yǔ)句椅亚。
只能使用
left outer join即最左表一定要是主表。關(guān)聯(lián)從表如果是子查詢(xún)不能有多張表舱污。
主
sql中不能有where查詢(xún)條件（從表子查詢(xún)中可以有where條件但是不推薦, 可能會(huì)造成數(shù)據(jù)同步的不一致呀舔，比如修改了where條件中的字段內(nèi)容）。關(guān)聯(lián)條件只允許主外鍵的'='操作不能出現(xiàn)其他常量判斷比如：
on a.role_id=b.id and b.statues=1扩灯。關(guān)聯(lián)條件必須要有一個(gè)字段出現(xiàn)在主查詢(xún)語(yǔ)句中比如：
on a.role_id=b.id其中的a.role_id或者b.id必須出現(xiàn)在主select語(yǔ)句中媚赖。-
ElasticSearch的mapping屬性與 sql 的查詢(xún)值將一一對(duì)應(yīng)（不支持select *）。比如：
select a.id as _id珠插，a.name惧磺，a.email as _email from user，其中name將映射到es mapping的name field丧失，_email將映射到mapping的_email field豺妓，這里以別名（如果有別名）作為最終的映射字段。這里的_id可以填寫(xiě)到配置文件的_id: _id映射布讹。
③配置父子文檔
以官方的 biz_order.yml 為例琳拭，vim biz_order.yml，配置父子文檔映射：
④在 ElasticSearch6 中描验，建立 index 和父子文檔映射關(guān)系
進(jìn)入 Kibana 頁(yè)面白嘁，點(diǎn)擊 Dev Tools，執(zhí)行如下命令膘流，即可建立索引及父子文檔映射：
其中絮缅，ES6 和 Kibana 的安裝鲁沥，在此無(wú)特別配置，不做贅述耕魄。
⑤啟動(dòng) canal adapter
進(jìn)入 canaladapter/bin 目錄画恰，執(zhí)行 ./startup.sh，啟動(dòng) canal adapter吸奴，觀察 logs/adapter/adapter.log 日志文件允扇，手動(dòng)在搜索系統(tǒng)數(shù)據(jù)庫(kù)新增一條記錄，看是否會(huì)打印如下日志则奥，如打印則表示配置成功考润。
運(yùn)行結(jié)果
現(xiàn)在，我們可以通過(guò) Kibana 來(lái)執(zhí)行 DSL 語(yǔ)句來(lái)查詢(xún)看看读处。
我們事先已在商家系統(tǒng)中增加了一個(gè)“肯德基”商店糊治，然后在商品系統(tǒng)中添加了“西紅柿”和“新鮮西紅柿”2 個(gè)商品，并將商品關(guān)聯(lián)到“肯德基”上罚舱。
接著我們查詢(xún)“肯德基”或者“西紅柿”井辜，得到以下是查詢(xún)的結(jié)果（去除了 ES 默認(rèn)字段）：
由圖可見(jiàn)，我們可以通過(guò)商家名查詢(xún)商品馆匿，也可通過(guò)商品名查詢(xún)商店和商品抑胎，并且 Canal 支持?jǐn)?shù)據(jù)的實(shí)時(shí)增刪改，所以 ES 的數(shù)據(jù)也會(huì)與商家系統(tǒng)和商品系統(tǒng)保持一致渐北，同時(shí)數(shù)據(jù)結(jié)構(gòu)包含商家及對(duì)應(yīng)的商品，滿(mǎn)足業(yè)務(wù)需求铭拧。
總結(jié)
至此赃蛛，基于 Canal、Kafka搀菩、MySQL8呕臂、ElasticSearch6 技術(shù)的商家商品搜索系統(tǒng)基礎(chǔ)框架搭建完成。
我們采用 canal deployer 實(shí)時(shí)讀取商家肪跋、商品系統(tǒng)的 MySQL 數(shù)據(jù)庫(kù) Binlog歧蒋，并發(fā)送至 Kafka。
接著由 canal adapter 消費(fèi) Kafka州既，并將 binlog json 數(shù)據(jù)進(jìn)行多表關(guān)聯(lián)谜洽、父子文檔映射，最后存儲(chǔ)到 ES6 中吴叶，供上層搜索服務(wù)調(diào)用阐虚。
