1.header 檢驗(yàn)，最簡單的反爬機(jī)制，就是檢查 HTTP 請求的 Headers 信息吠式，包括 User-Agent,、 Referer抽米、Cookies 等特占。
解決辦法：模仿瀏覽器，請求的時候帶上Headers 信息云茸，包括 User-Agent,是目、 Referer、Cookies 等
2.一段時間內(nèi)的請求次數(shù)限制标捺，限制 IP 的請求數(shù)量
解決辦法：限制IP訪問頻率懊纳，對性能有要求的可以使用代理IP池，具體數(shù)量根據(jù)業(yè)務(wù)需求來計(jì)算亡容。
3.同一IP或同一用戶頻發(fā)請求后彈出驗(yàn)證碼
解決辦法：要么使用代理嗤疯，準(zhǔn)備多個用戶避免出現(xiàn)驗(yàn)證碼，要么就破解驗(yàn)證么或者使用第三方打碼平臺（較為復(fù)雜的驗(yàn)證碼可能無解只能想辦法避開）
4.數(shù)據(jù)不直接渲染萍倡，前端異步加載數(shù)據(jù)
解決辦法：一般JS都是請求某個鏈接得到數(shù)據(jù)身弊，所以需要我們?nèi)?yīng)JS代碼里面分析具體請求了哪個鏈接，然后采用同樣的方式，用程序模擬請求阱佛。
5.通過 js 的加密庫生成動態(tài)的 token帖汞，同時加密庫再進(jìn)行混淆
解決辦法：一般加密都在某個JS里面，所以只能分析JS凑术，在我們的程序里面進(jìn)行加密了翩蘸。用
網(wǎng)站反爬策略VS爬蟲反反爬策略
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
- 文/潘曉璐 我一進(jìn)店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來车猬，“玉大人霉猛，你說我怎么就攤上這事≈槿颍” “怎么了惜浅？”我有些...
- 文/不壞的土叔 我叫張陵，是天一觀的道長伏嗜。 經(jīng)常有香客問我坛悉，道長，這世上最難降的妖魔是什么阅仔？ 我笑而不...
- 正文 為了忘掉前任吹散，我火速辦了婚禮，結(jié)果婚禮上八酒，老公的妹妹穿的比我還像新娘。我一直安慰自己刃唐，他們只是感情好羞迷，可當(dāng)我...
- 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著画饥，像睡著了一般衔瓮。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上抖甘，一...
- 文/蒼蘭香墨 我猛地睜開眼椒涯，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了回梧？” 一聲冷哼從身側(cè)響起废岂，我...
- 序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎狱意，沒想到半個月后湖苞，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
- 正文 獨(dú)居荒郊野嶺守林人離奇死亡详囤，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
- 正文 我和宋清朗相戀三年财骨，在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片纬纪。...
- 正文 年R本政府宣布问畅，位于F島的核電站娃属，受9級特大地震影響，放射性物質(zhì)發(fā)生泄漏护姆。R本人自食惡果不足惜矾端，卻給世界環(huán)境...
- 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望卵皂。 院中可真熱鬧秩铆，春花似錦、人聲如沸灯变。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽添祸。三九已至滚粟，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間刃泌，已是汗流浹背凡壤。 一陣腳步聲響...
- 正文 我出身青樓曹体，卻偏偏與公主長得像，于是被迫代替她去往敵國和親盖奈。 傳聞我的和親對象是個殘疾皇子混坞，可洞房花燭夜當(dāng)晚...
推薦閱讀更多精彩內(nèi)容
- 文章導(dǎo)讀： 爬蟲與反爬蟲究孕，這相愛相殺的一對，簡直可以寫出一部壯觀的斗爭史爹凹。而在大數(shù)據(jù)時代厨诸，數(shù)據(jù)就是金錢，很多企業(yè)都...
- http://www.91ri.org/tag/fuzz-bug 通常情況下禾酱，有三種方法被廣泛用來防御CSRF攻擊...
- 轉(zhuǎn)載地址： http://www.csdn.net/article/2015-11-13/2826205關(guān)于爬蟲內(nèi)...
- 【本人文章第六篇微酬，以上文章，優(yōu)先發(fā)表于本人公眾號:民商法交流】 公司資產(chǎn)是公司對外承擔(dān)責(zé)任的前提颤陶，資本三原則的確立...
