User-Agent識(shí)別
修改請(qǐng)求頭信息里的User-Agent
請(qǐng)求頭信息識(shí)別
比如說(shuō)referer, content-type,請(qǐng)求方法（POST, GET）
構(gòu)造相應(yīng)的請(qǐng)求頭信息漓踢。比如說(shuō)referer，我們?cè)谔崛RL的時(shí)候蜂林，要把URL所在頁(yè)面的URL也存儲(chǔ)起來(lái)慷荔，并放到request.headers攒巍。
異步加載
我們需要分析頁(yè)面的網(wǎng)絡(luò)請(qǐng)求卖擅，從中找出和我們想要的數(shù)據(jù)相關(guān)的請(qǐng)求卡啰，并分析它的請(qǐng)求頭信息趁俊、參數(shù)腔丧、cookie放椰，然后根據(jù)這些信息構(gòu)造我們的請(qǐng)求。通常來(lái)說(shuō)都是ajax請(qǐng)求愉粤，也有圖片請(qǐng)求砾医，比如圖片的lazy load，通過(guò)js在頁(yè)面加載后修改圖片的src屬性科汗。一般都會(huì)有其他的自定義屬性存在藻烤，比如說(shuō)"_src"⊥诽希總之怖亭，可以找到一些ID或者鏈接。注意觀察相關(guān)dom節(jié)點(diǎn)樹(shù)上的特殊屬性坤检。
請(qǐng)求參數(shù)加密
一般是在前端通過(guò)一定的計(jì)算兴猩，構(gòu)造出一個(gè)哈希值。需要分析前端的代碼早歇，找出具體計(jì)算的代碼邏輯倾芝，并用python再實(shí)現(xiàn)讨勤。如果前端的代碼經(jīng)過(guò)混淆，并且代碼量十分巨大晨另，可以使用selenium或者splash等引擎去請(qǐng)求潭千。但是，如果爬取的數(shù)據(jù)需求量比較大借尿，我們還是要通過(guò)直接調(diào)用對(duì)方接口的形式去獲取數(shù)據(jù)刨晴。
請(qǐng)求結(jié)果加密
1. json數(shù)據(jù)里面加密
比如攜程酒店房型列表接口，用它自己的js解密路翻，或者分析它的js前端邏輯狈癞，用python代碼實(shí)現(xiàn)出來(lái)。
2. CSS加密
比如大眾點(diǎn)評(píng)茂契，通過(guò)CSS樣式去代替某個(gè)字符蝶桶。我們需要同時(shí)爬取CSS文件，并且分析CSS文件內(nèi)的樣式掉冶，最后定位到svg文件真竖，并分析提取svg內(nèi)的內(nèi)容，完成替換郭蕉。
3. 字體加密
比如貓眼電影疼邀。每次隨機(jī)返回一個(gè)字體文件喂江，并且字符也是隨機(jī)的召锈。需要每次下載對(duì)應(yīng)的字體文件，并解析字體文件和字符之間的對(duì)應(yīng)關(guān)系获询。
Cookie限制
登錄涨岁、session限制，比如新片場(chǎng)吉嚣，拿到登錄以后的cookie梢薪，然后set到頭信息里面，這樣請(qǐng)求的時(shí)候就相當(dāng)于登錄了尝哆。
IP頻率限制
需要準(zhǔn)備大量的IP代理秉撇，獲得IP代理的方式有：
- 自己搭建代理服務(wù)器（tinyproxy, squid+動(dòng)態(tài)撥號(hào)，DDNS）
- 付費(fèi)購(gòu)買(mǎi)
- 爬取公開(kāi)網(wǎng)絡(luò)上代理（可用性比較低）
控制爬取頻率秋泄，保持不被封的情況下的最合適的并發(fā)數(shù)量琐馆。
驗(yàn)證碼：
- 嘗試可否繞過(guò)前端驗(yàn)證，直接請(qǐng)求具體的接口恒序，以繞開(kāi)驗(yàn)證碼.
- 可以用圖片識(shí)別庫(kù)去識(shí)別某些比較簡(jiǎn)單的驗(yàn)證碼
- 接入云打碼平臺(tái)
- 用機(jī)器學(xué)習(xí)訓(xùn)練驗(yàn)證碼的圖片庫(kù)瘦麸，然后識(shí)別
n
