風控系統(tǒng)實踐之感: flink

個人線上經驗不是很多酝陈,我做了風控系統(tǒng)之后营罢,時常在想如何將flink,spark, clickhouse 等應用到風控系統(tǒng)中仲智。 這里不談flink 具體技術买乃。

需求:? 風控系統(tǒng)集成flink

首先,我們想想flink 是做什么的:

1. 實時

可以實時統(tǒng)計龐大的數據流, 并支持各種時間窗口钓辆。Flink CEP 可以天然當作風控規(guī)則引擎來用剪验,當然flink CEP弊端也是顯而易見的。

2. 批量

可以批量統(tǒng)計龐大的數據前联。

這個是我大概對flink 的印象(“能干什么”),? 那么如何將flink 生態(tài)圈用在我們目前風控系統(tǒng)呢功戚? 我們風控系統(tǒng)設計比較簡單,大致前兩篇文章已經寫了似嗤。主要包括規(guī)則引擎和計算引擎 兩個部分啸臀。

1. 規(guī)則引擎 采用 drools, 支持動態(tài)規(guī)則的配置

2. 采用redis 做基于窗口的計算引擎烁落。

顯然如果使用flink 我們將風控分為實時風控和批量風控乘粒,flink 在他們中充當著不同的用途。

1. 在批量風控中伤塌,flink 可以用來計算衍生變量谓厘,比如 每張卡在一天消費的金額, 或者一張卡在一個商戶的消費金額寸谜。 在跑批量風控之前 flink 可以快速的將這天的衍生變量和衍生變量之間關系(平均值,百分比等) 算出來属桦。然后在使用drools 過規(guī)則引擎熊痴。 衍生變量是規(guī)則引擎中的一個變量條件

2. 在實時風控中, flink 可以用來實時 計算衍生變量的值, 這個和批量風控比較類似聂宾。 但是需要考慮是窗口的因素. 在批量風控中果善,我們默認窗口的步長是一天,并且可以支持的配置步長是 N * 一天系谐, 其中N 是整數巾陕。

實時默認的步長讨跟,是根據窗口的大小。比如5分鐘窗口鄙煤,默認步長就是1分鐘晾匠。 可以支持的步長是? N*1分鐘。 步長應該小于窗口的大小梯刚。 按照這種方法凉馆,我們就可以將flink 累計的窗口種類縮小,并且都支持默認的步長亡资。 然后將算出來的累計放到aerospike 中澜共, 或者redis 中。 具體每個規(guī)則配置的步長在進行判斷的時候做計算锥腻。

這樣 flink 的窗口種類就縮小了嗦董,job 的數據量就少了很多:

1. 5分鐘窗口,1分鐘步長

2. 10 分鐘窗口, 1 分鐘步長

3. 30 分鐘窗口瘦黑, 1分鐘步長

4. 2小時窗口京革, 5分鐘步長

5. 6個小時, 10分鐘步長

6. 一天的滾動窗口 (批量風控)

7. 一個月的滾動窗口(批量風控)

這樣flink 通過提交job 的形式供璧,將這些都計算好存崖。 風控系統(tǒng)可以直接拿過來使用,而不用大量的計算了睡毒。這是我對使用flink這樣的計算引擎的理解和使用来惧。 這些是我的構想,沒有實際的實踐和上線演顾。

?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末供搀,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子钠至,更是在濱河造成了極大的恐慌,老刑警劉巖棉钧,帶你破解...
    沈念sama閱讀 217,542評論 6 504
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件屿脐,死亡現場離奇詭異,居然都是意外死亡宪卿,警方通過查閱死者的電腦和手機的诵,發(fā)現死者居然都...
    沈念sama閱讀 92,822評論 3 394
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來佑钾,“玉大人西疤,你說我怎么就攤上這事⌒萑埽” “怎么了代赁?”我有些...
    開封第一講書人閱讀 163,912評論 0 354
  • 文/不壞的土叔 我叫張陵扰她,是天一觀的道長。 經常有香客問我芭碍,道長徒役,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,449評論 1 293
  • 正文 為了忘掉前任豁跑,我火速辦了婚禮廉涕,結果婚禮上,老公的妹妹穿的比我還像新娘艇拍。我一直安慰自己狐蜕,他們只是感情好,可當我...
    茶點故事閱讀 67,500評論 6 392
  • 文/花漫 我一把揭開白布卸夕。 她就那樣靜靜地躺著层释,像睡著了一般。 火紅的嫁衣襯著肌膚如雪快集。 梳的紋絲不亂的頭發(fā)上贡羔,一...
    開封第一講書人閱讀 51,370評論 1 302
  • 那天,我揣著相機與錄音个初,去河邊找鬼乖寒。 笑死,一個胖子當著我的面吹牛院溺,可吹牛的內容都是我干的楣嘁。 我是一名探鬼主播,決...
    沈念sama閱讀 40,193評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼珍逸,長吁一口氣:“原來是場噩夢啊……” “哼逐虚!你這毒婦竟也來了?” 一聲冷哼從身側響起谆膳,我...
    開封第一講書人閱讀 39,074評論 0 276
  • 序言:老撾萬榮一對情侶失蹤叭爱,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后漱病,有當地人在樹林里發(fā)現了一具尸體买雾,經...
    沈念sama閱讀 45,505評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,722評論 3 335
  • 正文 我和宋清朗相戀三年杨帽,在試婚紗的時候發(fā)現自己被綠了漓穿。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,841評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡睦尽,死狀恐怖,靈堂內的尸體忽然破棺而出型雳,到底是詐尸還是另有隱情当凡,我是刑警寧澤山害,帶...
    沈念sama閱讀 35,569評論 5 345
  • 正文 年R本政府宣布,位于F島的核電站沿量,受9級特大地震影響浪慌,放射性物質發(fā)生泄漏。R本人自食惡果不足惜朴则,卻給世界環(huán)境...
    茶點故事閱讀 41,168評論 3 328
  • 文/蒙蒙 一权纤、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧乌妒,春花似錦汹想、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,783評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至侦啸,卻和暖如春槽唾,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背光涂。 一陣腳步聲響...
    開封第一講書人閱讀 32,918評論 1 269
  • 我被黑心中介騙來泰國打工庞萍, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人忘闻。 一個月前我還...
    沈念sama閱讀 47,962評論 2 370
  • 正文 我出身青樓钝计,卻偏偏與公主長得像,于是被迫代替她去往敵國和親服赎。 傳聞我的和親對象是個殘疾皇子葵蒂,可洞房花燭夜當晚...
    茶點故事閱讀 44,781評論 2 354

推薦閱讀更多精彩內容