趁著過年幾天菌瘫,在簡書上把之前做過的“業(yè)務(wù)安全系統(tǒng)”簡單梳理一下。
對(duì)于一個(gè)互聯(lián)網(wǎng)公司而言布卡,業(yè)務(wù)發(fā)展的不同階段橱鹏,對(duì)“業(yè)務(wù)安全”有著不同的目標(biāo)和需求。自己已經(jīng)在互聯(lián)網(wǎng)物流行業(yè)(車貨匹配)走過了近2年的時(shí)間义图,車貨匹配對(duì)“業(yè)務(wù)安全”的目標(biāo)和需求可以簡單概括為:
1. 從業(yè)務(wù)功能角度
-? 保障核心業(yè)務(wù)安全
“貨主發(fā)貨咽瓷、司機(jī)找貨”的場景中,貨主發(fā)布的貨源信息贸街,司機(jī)的期望是拉貨的需求真實(shí)的庵寞,信息的內(nèi)容是規(guī)范的(不含敏感詞等);而貨主的期望是承接運(yùn)單的司機(jī)是真實(shí)的薛匪,可靠的捐川,有真正拉貨需求的,從而保障交易
“反機(jī)器人爬貨逸尖、惡意騷擾”的場景中古沥,系統(tǒng)可以識(shí)別是機(jī)器人在對(duì)平臺(tái)進(jìn)行瀏覽貨源信息,并進(jìn)行屏蔽冷溶、蜜罐渐白;
“司機(jī)與貨主投訴”的場景中,提供接口讓用戶對(duì)貨源交易中的不公平逞频、不公正情況進(jìn)行投訴纯衍,并離線分析投訴的可靠性、真實(shí)性
- 保障運(yùn)營活動(dòng)安全
“車貨匹配的業(yè)務(wù)運(yùn)營活動(dòng)”場景中苗胀,有過“發(fā)多少次貨”送“多少”積分襟诸、撥打“某類”貨源送多少“積分”等瓦堵。因此,防止“薅羊毛”也是一個(gè)很重要的需求
2. 從系統(tǒng)架構(gòu)角度
- 業(yè)務(wù)安全系統(tǒng)需要是獨(dú)立的歌亲,可降級(jí)的(在線的生產(chǎn)系統(tǒng)部分)菇用。核心車貨匹配系統(tǒng)(優(yōu)化排序服務(wù)、搜索服務(wù)陷揪、貨源服務(wù)等)與業(yè)務(wù)安全系統(tǒng)有著接口調(diào)用的耦合度惋鸥,因此為了保障核心系統(tǒng)可靠,業(yè)務(wù)安全系統(tǒng)需要集成到統(tǒng)一的RPC管理框架及應(yīng)用配置管理系統(tǒng)中悍缠,以實(shí)現(xiàn)統(tǒng)一的熔斷卦绣、限流及業(yè)務(wù)/系統(tǒng)開關(guān)控制
- 業(yè)務(wù)安全系統(tǒng)需要有匯聚“業(yè)務(wù)安全”相關(guān)的各類大數(shù)據(jù),圍繞大數(shù)據(jù)存儲(chǔ)系統(tǒng)飞蚓,之上構(gòu)建一套集抽取滤港、轉(zhuǎn)換,分析的系統(tǒng)及報(bào)表系統(tǒng)(離線的系統(tǒng))趴拧,可以讓數(shù)據(jù)分析師溅漾、產(chǎn)品經(jīng)理追溯數(shù)據(jù)(下鉆、上卷等)著榴。并可以離線地訓(xùn)練各類機(jī)器學(xué)習(xí)模型(增加添履、修改模型),對(duì)每個(gè)用戶的行為數(shù)據(jù)進(jìn)行事后離線甄別和事中的實(shí)時(shí)甄別
????- “實(shí)時(shí)的甄別用戶行為” 需要一套規(guī)則引擎兄渺,以達(dá)到產(chǎn)品經(jīng)理可以隨時(shí)根據(jù)離線學(xué)習(xí)的模型及業(yè)務(wù)規(guī)則進(jìn)行線上規(guī)則改進(jìn)缝龄,并且系統(tǒng)服務(wù)不重啟
- 其他的諸如與用戶中心系統(tǒng)對(duì)接、統(tǒng)一配置中心系統(tǒng)對(duì)接挂谍,就不贅述了。
再來說說業(yè)務(wù)安全系統(tǒng)的架構(gòu)吧
先上張架構(gòu)圖
根據(jù)系統(tǒng)的調(diào)用場景瞎饲,將系統(tǒng)服務(wù)分為“在線”的供核心系統(tǒng)實(shí)時(shí)調(diào)用的系統(tǒng)及“離線”的用戶行為分析系統(tǒng)服務(wù)(其中口叙,大數(shù)據(jù)實(shí)時(shí)計(jì)算平臺(tái)和業(yè)務(wù)安全規(guī)則引擎服務(wù)完成事中的規(guī)則判定)
1. 在線部分
- 業(yè)務(wù)安全業(yè)務(wù)接口層,提供在用戶發(fā)貨嗅战、找貨時(shí)判定用戶是否屬于某類嫌疑用戶或者應(yīng)該禁用的行為
- 業(yè)務(wù)安全懲罰中心服務(wù)妄田,維護(hù)各類被懲罰、投訴的用戶信息及懲罰配置
2. 離線部分
- 實(shí)時(shí)計(jì)算平臺(tái)+業(yè)務(wù)安全指標(biāo)轉(zhuǎn)換與增強(qiáng)服務(wù)+業(yè)務(wù)安全規(guī)則匹配引擎驮捍,構(gòu)成了離線的對(duì)用戶行為指標(biāo)實(shí)時(shí)統(tǒng)計(jì)及規(guī)則匹配的過程疟呐,離線(近實(shí)時(shí)的)對(duì)用戶行為進(jìn)行監(jiān)測(cè)、懲罰
- 業(yè)務(wù)安全大數(shù)據(jù)分析平臺(tái)东且,提供事后的用戶行為數(shù)據(jù)分析启具,可以拓展各類模型,對(duì)用戶行為進(jìn)行學(xué)習(xí)分類珊泳。同時(shí)鲁冯,對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換拷沸、聚合(構(gòu)建用戶行為數(shù)據(jù)維度的大寬表),供BI系統(tǒng)和指標(biāo)監(jiān)控系統(tǒng)分析讀取薯演。
~分割線~
今天先開個(gè)頭撞芍,其實(shí)隨著業(yè)務(wù)不斷快速發(fā)展,業(yè)務(wù)安全系統(tǒng)也需要在信息校驗(yàn)跨扮、用戶貨源真實(shí)性鑒別序无、惡意行為識(shí)別等方面繼續(xù)豐富和完善。后續(xù)有空繼續(xù)對(duì)系統(tǒng)中的各個(gè)技術(shù)點(diǎn)進(jìn)行總結(jié)衡创。