一個依賴搞定 Spring Boot 反爬蟲,防止接口盜刷虎眨!_后端技術精選-CSDN博客_微信小程序防止盜刷

一個依賴搞定 Spring Boot 反爬蟲蟋软,防止接口盜刷!后端技術精選-CSDN博客微信小程序防止盜刷

作者:小哈學Java來源:http://suo.im/5tZIlqkk-anti-reptile 是適用于基于 spring-boot 開發(fā)的分布式系統(tǒng)的反爬蟲組件嗽桩。系統(tǒng)要求基于 spr..._微信小程序防止盜刷

作者:小哈學Java

來源:http://suo.im/5tZIlq

kk-anti-reptile 是適用于基于 spring-boot 開發(fā)的分布式系統(tǒng)的反爬蟲組件岳守。

系統(tǒng)要求

  • 基于 spring-boot 開發(fā)(spring-boot1.x, spring-boot2.x均可)

  • 需要使用 redis

工作流程

kk-anti-reptile 使用基于 Servlet 規(guī)范的的 Filter 對請求進行過濾,在其內部通過 spring-boot 的擴展點機制碌冶,實例化一個 Filter湿痢,并注入到 Spring 容器 FilterRegistrationBean 中,通過 Spring 注入到 Servlet 容器中扑庞,從而實現(xiàn)對請求的過濾譬重。

在 kk-anti-reptile 的過濾 Filter 內部,又通過責任鏈模式罐氨,將各種不同的過濾規(guī)則織入臀规,并提供抽象接口,可由調用方進行規(guī)則擴展栅隐。

Filter 調用則鏈進行請求過濾塔嬉,如過濾不通過玩徊,則攔截請求,返回狀態(tài)碼 509谨究,并輸出驗證碼輸入頁面恩袱,輸出驗證碼正確后,調用過濾規(guī)則鏈對規(guī)則進行重置胶哲。

目前規(guī)則鏈中有如下兩個規(guī)則

ip-rule

ip-rule 通過時間窗口統(tǒng)計當前時間窗口內請求數(shù)憎蛤,小于規(guī)定的最大請求數(shù)則可通過,否則不通過纪吮。時間窗口俩檬、最大請求數(shù)、ip 白名單等均可配置碾盟。

ua-rule

ua-rule 通過判斷請求攜帶的 User-Agent棚辽,得到操作系統(tǒng)、設備信息冰肴、瀏覽器信息等屈藐,可配置各種維度對請求進行過濾。

命中規(guī)則后

命中爬蟲和防盜刷規(guī)則后熙尉,會阻斷請求联逻,并生成接除阻斷的驗證碼,驗證碼有多種組合方式检痰,如果客戶端可以正確輸入驗證碼包归,則可以繼續(xù)訪問

驗證碼有中文、英文字母+數(shù)字铅歼、簡單算術三種形式公壤,每種形式又有靜態(tài)圖片和 GIF 動圖兩種圖片格式,即目前共有如下六種椎椰,所有類型的驗證碼會隨機出現(xiàn)厦幅,目前技術手段識別難度極高,可有效阻止防止爬蟲大規(guī)模爬取數(shù)據(jù)

接入使用

后端接入非常簡單慨飘,只需要引用 kk-anti-reptile 的 maven 依賴确憨,并配置啟用 kk-anti-reptile 即可加入 maven 依賴

<dependency>
<groupId>cn.keking.projectgroupId>
<artifactId>kk-anti-reptileartifactId>
<version>1.0.0-SNAPSHOTversion>
dependency>

配置啟用 kk-anti-reptile

anti.reptile.manager.enabled=true

前端需要在統(tǒng)一發(fā)送請求的 ajax 處加入攔截,攔截到請求返回狀態(tài)碼 509 后彈出一個新頁面瓤的,并把響應內容轉出到頁面中休弃,然后向頁面中傳入后端接口 baseUrl 參數(shù)即可,以使用 axios 請求為例:

import axios from 'axios';
import {baseUrl} from './config';

axios.interceptors.response.use(
data => {
return data;
},
error => {
if (error.response.status === 509) {
let html = error.response.data;
let verifyWindow = window.open("","_blank","height=400,width=560");
verifyWindow.document.write(html);
verifyWindow.document.getElementById("baseUrl").value = baseUrl;
}
}
);
export default axios;

注意

  • apollo-client 需啟用 bootstrap

使用 apollo 配置中心的用戶堤瘤,由于組件內部用到 @ConditionalOnProperty玫芦,要在 application.properties/bootstrap.properties 中加入如下樣例配置,(apollo-client 需要 0.10.0 及以上版本)詳見 apollo bootstrap 說明

apollo.bootstrap.enabled = true

  • 需要有 Redisson

連接如果項目中有用到 Redisson本辐,kk-anti-reptile 會自動獲取 RedissonClient 實例對象; 如果沒用到桥帆,需要在配置文件加入如下 Redisson 連接相關配置:

spring.redisson.address=redis://192.168.1.204:6379
spring.redisson.password=xxx

配置一覽表

在 spring-boot 中医增,所有配置在配置文件都會有自動提示和說明,如下圖:

所有配置都以 anti.reptile.manager 為前綴老虫,如下為所有配置項及說明:

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末叶骨,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子祈匙,更是在濱河造成了極大的恐慌忽刽,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,427評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件夺欲,死亡現(xiàn)場離奇詭異跪帝,居然都是意外死亡,警方通過查閱死者的電腦和手機些阅,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,551評論 3 395
  • 文/潘曉璐 我一進店門伞剑,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人市埋,你說我怎么就攤上這事黎泣。” “怎么了缤谎?”我有些...
    開封第一講書人閱讀 165,747評論 0 356
  • 文/不壞的土叔 我叫張陵抒倚,是天一觀的道長。 經(jīng)常有香客問我坷澡,道長托呕,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,939評論 1 295
  • 正文 為了忘掉前任洋访,我火速辦了婚禮镣陕,結果婚禮上,老公的妹妹穿的比我還像新娘姻政。我一直安慰自己,他們只是感情好岂嗓,可當我...
    茶點故事閱讀 67,955評論 6 392
  • 文/花漫 我一把揭開白布汁展。 她就那樣靜靜地躺著,像睡著了一般厌殉。 火紅的嫁衣襯著肌膚如雪食绿。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,737評論 1 305
  • 那天公罕,我揣著相機與錄音器紧,去河邊找鬼。 笑死楼眷,一個胖子當著我的面吹牛铲汪,可吹牛的內容都是我干的熊尉。 我是一名探鬼主播,決...
    沈念sama閱讀 40,448評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼掌腰,長吁一口氣:“原來是場噩夢啊……” “哼狰住!你這毒婦竟也來了?” 一聲冷哼從身側響起齿梁,我...
    開封第一講書人閱讀 39,352評論 0 276
  • 序言:老撾萬榮一對情侶失蹤催植,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后勺择,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體创南,經(jīng)...
    沈念sama閱讀 45,834評論 1 317
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,992評論 3 338
  • 正文 我和宋清朗相戀三年省核,在試婚紗的時候發(fā)現(xiàn)自己被綠了稿辙。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,133評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡芳撒,死狀恐怖邓深,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情笔刹,我是刑警寧澤芥备,帶...
    沈念sama閱讀 35,815評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站舌菜,受9級特大地震影響萌壳,放射性物質發(fā)生泄漏。R本人自食惡果不足惜日月,卻給世界環(huán)境...
    茶點故事閱讀 41,477評論 3 331
  • 文/蒙蒙 一袱瓮、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧爱咬,春花似錦尺借、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,022評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至蜂绎,卻和暖如春栅表,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背师枣。 一陣腳步聲響...
    開封第一講書人閱讀 33,147評論 1 272
  • 我被黑心中介騙來泰國打工怪瓶, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人践美。 一個月前我還...
    沈念sama閱讀 48,398評論 3 373
  • 正文 我出身青樓洗贰,卻偏偏與公主長得像找岖,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子哆姻,可洞房花燭夜當晚...
    茶點故事閱讀 45,077評論 2 355

推薦閱讀更多精彩內容