一刺啦、背景
公司業(yè)務(wù)系統(tǒng)的賬戶資金對接了第三方存管業(yè)務(wù)置谦，第三方存管指的是銀行與證券公司根據(jù)相關(guān)的法律法規(guī)，為投資者提供的客戶交易結(jié)算資金管理服務(wù)凛剥。根據(jù)銀行要求侠仇，在每個交易日閉市后業(yè)務(wù)系統(tǒng)都要將客戶的資金變動情況生成清算文件發(fā)送給銀行進(jìn)行資金的清結(jié)算。
在微服務(wù)架構(gòu)下犁珠，系統(tǒng)存在多個業(yè)務(wù)子系統(tǒng)（同一套賬戶體系）逻炊，那么每個業(yè)務(wù)子系統(tǒng)發(fā)生的資金變動都要進(jìn)行結(jié)算，我們獨(dú)立了一個結(jié)算子系統(tǒng)犁享，結(jié)算子系統(tǒng)要做的事情就是按照銀行給的資金數(shù)據(jù)統(tǒng)計規(guī)則統(tǒng)計各個業(yè)務(wù)子系統(tǒng)客戶發(fā)生的資金變化情況并生成清算文件余素，然后與銀行進(jìn)行清結(jié)算。
二炊昆、問題與挑戰(zhàn)
2.1 數(shù)據(jù)同步并保證數(shù)據(jù)的準(zhǔn)確性
由于各個業(yè)務(wù)子系統(tǒng)和結(jié)算子系統(tǒng)不在同一個數(shù)據(jù)庫桨吊，那么我們面臨的第一個問題就是要將各個業(yè)務(wù)子系統(tǒng)的資金變化數(shù)據(jù)同步至結(jié)算子系統(tǒng)中，由于是每日結(jié)算一次凤巨，所以對數(shù)據(jù)的實(shí)時性要求并不高视乐，只要在結(jié)算之前能同步完變動數(shù)據(jù)即可。數(shù)據(jù)的準(zhǔn)確性指的是結(jié)算子系統(tǒng)的數(shù)據(jù)必須要與業(yè)務(wù)子系統(tǒng)實(shí)際的數(shù)據(jù)一致敢茁，不能多一條也不能少一條佑淀，否則會清算失敗。
2.2 滿足靈活應(yīng)對多變的業(yè)務(wù)場景
業(yè)務(wù)的發(fā)展是多變的彰檬，如果系統(tǒng)后續(xù)多增加了幾個業(yè)務(wù)子系統(tǒng)或者砍掉了幾個業(yè)務(wù)子系統(tǒng)伸刃，結(jié)算子系統(tǒng)最好是不用任何改動即可滿足新業(yè)務(wù)的接入或剔除谎砾。
2.3 業(yè)務(wù)子系統(tǒng)能快速接入
對于業(yè)務(wù)子系統(tǒng)來說，想要接入結(jié)算子系統(tǒng)肯定是越簡單越好捧颅，最好是幾行代碼就能搞定景图。
三、解決方案
3.1 數(shù)據(jù)同步方案
常見的數(shù)據(jù)同步方案包括數(shù)據(jù)庫同步碉哑、數(shù)據(jù)文件同步挚币、遠(yuǎn)程接口獲取、MQ數(shù)據(jù)同步谭梗、手工同步忘晤。下面就針對這五種同步方式做簡單的優(yōu)缺點(diǎn)分析。
1）數(shù)據(jù)庫同步
數(shù)據(jù)庫同步指的是通過某種工具將A庫的數(shù)據(jù)同步到B庫中激捏，比如ETL工具设塔，MySQL的話，可以考慮canal远舅，canal是阿里巴巴開源的MySQL binlog 增量訂閱&消費(fèi)組件闰蛔。
優(yōu)點(diǎn)：數(shù)據(jù)準(zhǔn)確性較高
缺點(diǎn)：實(shí)施起來較為復(fù)雜；擴(kuò)展性差
2）數(shù)據(jù)文件同步
文件同步指的是業(yè)務(wù)子系統(tǒng)將資金數(shù)據(jù)生成文件放在某個位置上图柏，比如FTP序六，而后結(jié)算子系統(tǒng)上FTP取文件解析入庫。
- 優(yōu)點(diǎn)：數(shù)據(jù)準(zhǔn)確性高
- 缺點(diǎn)：靈活性不足
3）遠(yuǎn)程接口獲取
各業(yè)務(wù)子系統(tǒng)提供資金數(shù)據(jù)查詢的接口蚤吹，結(jié)算子系統(tǒng)通過接口調(diào)用的方式來獲取數(shù)據(jù)
- 優(yōu)點(diǎn)：比較適合數(shù)據(jù)量較小情況下的數(shù)據(jù)傳輸同步
- 缺點(diǎn)：效率低例诀；靈活性和擴(kuò)展性較差
4）MQ數(shù)據(jù)同步
業(yè)務(wù)子系統(tǒng)在資金數(shù)據(jù)發(fā)生變化時，通過MQ準(zhǔn)實(shí)時地將變化數(shù)據(jù)發(fā)送至結(jié)算子系統(tǒng)裁着，結(jié)算子系統(tǒng)消費(fèi)消息并入庫繁涂。
- 優(yōu)點(diǎn)：靈活可擴(kuò)展，且滿足業(yè)務(wù)子系統(tǒng)快速接入的要求二驰，只需要發(fā)送一條消息即可扔罪，結(jié)算子系統(tǒng)只需要關(guān)注消費(fèi)消息并入庫即可，就算后續(xù)有新增的業(yè)務(wù)子系統(tǒng)接入桶雀，結(jié)算子系統(tǒng)也無需改動或少量的改動
- 缺點(diǎn)：強(qiáng)依賴于MQ中間件矿酵，當(dāng)MQ出現(xiàn)消息阻塞或者宕掉時，數(shù)據(jù)準(zhǔn)確性無法保證
5）手工同步
依賴于人工的導(dǎo)出&&導(dǎo)入數(shù)據(jù)矗积，其實(shí)在定義好相關(guān)腳本后全肮，工作量不算太大
- 優(yōu)點(diǎn)：數(shù)據(jù)準(zhǔn)確性高，可以核對數(shù)據(jù)
- 缺點(diǎn)：不自動化棘捣，增加了人工工作量
四辜腺、實(shí)施方案
數(shù)據(jù)同步方案
數(shù)據(jù)同步方案可以采用：MQ數(shù)據(jù)同步+手工同步的方式。主要依賴于MQ做數(shù)據(jù)同步，在MQ同步發(fā)生問題的情況下哪自，再用手工同步做災(zāi)備方案，一般情況下MQ是沒有問題的禁熏。當(dāng)然這種方案主要是考慮到它的靈活性與擴(kuò)展性壤巷，再加上實(shí)現(xiàn)起來比較簡單∏票校考慮到數(shù)據(jù)的準(zhǔn)確性胧华，其實(shí)數(shù)據(jù)文件同步也是一個很好的方式。
整體思路
實(shí)現(xiàn)的整體思路為：結(jié)算子系統(tǒng)定義好統(tǒng)一的消息字段宙彪，比如用戶編號矩动、變動金額、變動時間释漆、變動類型（盈利/虧損/凍結(jié)/解凍）悲没、業(yè)務(wù)來源等相關(guān)字段。各業(yè)務(wù)子系統(tǒng)按照統(tǒng)一的消息格式發(fā)送消息男图，結(jié)算子系統(tǒng)統(tǒng)一消費(fèi)入庫示姿。在發(fā)起結(jié)算前，系統(tǒng)先生成結(jié)算數(shù)據(jù)供運(yùn)營核對逊笆，核對無誤后栈戳，再與銀行發(fā)起結(jié)算。
可能存在的問題以及解決方案
因?yàn)榭赡艽嬖谙⑾M(fèi)阻塞的情況难裆，所以在生成結(jié)算文件前子檀，為保證數(shù)據(jù)的準(zhǔn)確性，各業(yè)務(wù)子系統(tǒng)要提供一個查詢數(shù)據(jù)總條數(shù)與總金額的接口作為數(shù)據(jù)核查的依據(jù)乃戈，結(jié)算子系統(tǒng)根據(jù)業(yè)務(wù)來源調(diào)用對應(yīng)的業(yè)務(wù)子系統(tǒng)的接口獲取核查數(shù)據(jù)褂痰，再與結(jié)算子系統(tǒng)中的數(shù)據(jù)做對比，如果一致則說明業(yè)務(wù)子系統(tǒng)的數(shù)據(jù)全部同步過來了偏化，如果不一致脐恩，那么則告警需要手工同步。
如果文章對你有幫助的話侦讨，給文章點(diǎn)個贊吧驶冒。
如果有寫得不正確的地方，歡迎指出韵卤。
文章首發(fā)公眾號：會跳舞的機(jī)器人骗污，歡迎掃碼關(guān)注。
