Scrapy爬蟲(chóng)教程一 Windows下安裝Scrapy的方式和問(wèn)題總結(jié)
Scrapy爬蟲(chóng)教程二 淺析最煩人的反爬蟲(chóng)手段
Scrapy爬蟲(chóng)教程三 詳細(xì)的Python Scrapy模擬登錄知乎
Scrapy爬蟲(chóng)教程四 Scrapy+Selenium有瀏覽器界面模擬登錄知乎
Scrapy爬蟲(chóng)教程五 爬蟲(chóng)部署
最近一直在弄爬蟲(chóng)土浸，也爬取了知名網(wǎng)站的一些數(shù)據(jù)(這里只是個(gè)人學(xué)習(xí)使用弟翘，不是商用Ｊチ浴２唇弧虽缕！)泽铛，大家都知道啡邑，爬蟲(chóng)和反爬蟲(chóng)一直以來(lái)都是相愛(ài)相殺的北滥，爬蟲(chóng)程序員希望破解反爬蟲(chóng)手段，反爬蟲(chóng)程序員希望建立更加有效的反爬蟲(chóng)方式與之抗衡恬汁。
由于在這階段進(jìn)行的爬蟲(chóng)學(xué)習(xí)中伶椿，經(jīng)常中招，所以今天就簡(jiǎn)單的總結(jié)一下反爬蟲(chóng)的方式。
一.BAN IP
網(wǎng)頁(yè)的運(yùn)維人員通過(guò)分析日志發(fā)現(xiàn)最近某一個(gè)IP訪問(wèn)量特別特別大悬垃，某一段時(shí)間內(nèi)訪問(wèn)了無(wú)數(shù)次的網(wǎng)頁(yè)游昼，則運(yùn)維人員判斷此種訪問(wèn)行為并非正常人的行為甘苍，于是直接在服務(wù)器上封殺了此人IP(我剛爬取的網(wǎng)站的維護(hù)人員可能對(duì)我實(shí)施了這種手段...)尝蠕。
解決方法：此種方法極其容易誤傷其他正常用戶，因?yàn)槟骋黄瑓^(qū)域的其他用戶可能有著相同的IP载庭，導(dǎo)致服務(wù)器少了許多正常用戶的訪問(wèn)看彼，所以一般運(yùn)維人員不會(huì)通過(guò)此種方法來(lái)限制爬蟲(chóng)。不過(guò)面對(duì)許多大量的訪問(wèn)囚聚，服務(wù)器還是會(huì)偶爾把該IP放入黑名單靖榕，過(guò)一段時(shí)間再將其放出來(lái)，但我們可以通過(guò)分布式爬蟲(chóng)以及購(gòu)買代理IP也能很好的解決顽铸，只不過(guò)爬蟲(chóng)的成本提高了茁计。
二.BAN USERAGENT
很多的爬蟲(chóng)請(qǐng)求頭就是默認(rèn)的一些很明顯的爬蟲(chóng)頭python-requests/2.18.4，諸如此類谓松，當(dāng)運(yùn)維人員發(fā)現(xiàn)攜帶有這類headers的數(shù)據(jù)包星压，直接拒絕訪問(wèn)，返回403錯(cuò)誤
解決方法：直接r=requests.get(url,headers={'User-Agent':'XXXspider'})把爬蟲(chóng)請(qǐng)求headers偽裝成其他爬蟲(chóng)或者其他瀏覽器頭就行了鬼譬。
案例：雪球網(wǎng)
三.BAN COOKIES
服務(wù)器對(duì)每一個(gè)訪問(wèn)網(wǎng)頁(yè)的人都set-cookie娜膘，給其一個(gè)cookies，當(dāng)該cookies訪問(wèn)超過(guò)某一個(gè)閥值時(shí)就BAN掉該COOKIE优质，過(guò)一段時(shí)間再放出來(lái)竣贪，當(dāng)然一般爬蟲(chóng)都是不帶COOKIE進(jìn)行訪問(wèn)的，可是網(wǎng)頁(yè)上有一部分內(nèi)容如新浪微博是需要用戶登錄才能查看更多內(nèi)容(我已經(jīng)中招了)巩螃。
解決辦法：控制訪問(wèn)速度演怎，或者某些需要登錄的如新浪微博，在某寶上買多個(gè)賬號(hào)避乏，生成多個(gè)cookies颤枪，在每一次訪問(wèn)時(shí)帶上cookies
案例：螞蜂窩
四.驗(yàn)證碼驗(yàn)證
當(dāng)某一用戶訪問(wèn)次數(shù)過(guò)多后，就自動(dòng)讓請(qǐng)求跳轉(zhuǎn)到一個(gè)驗(yàn)證碼頁(yè)面淑际，只有在輸入正確的驗(yàn)證碼之后才能繼續(xù)訪問(wèn)網(wǎng)站
解決辦法：python可以通過(guò)一些第三方庫(kù)如(pytesser,PIL)來(lái)對(duì)驗(yàn)證碼進(jìn)行處理畏纲，識(shí)別出正確的驗(yàn)證碼，復(fù)雜的驗(yàn)證碼可以通過(guò)機(jī)器學(xué)習(xí)讓爬蟲(chóng)自動(dòng)識(shí)別復(fù)雜驗(yàn)證碼春缕，讓程序自動(dòng)識(shí)別驗(yàn)證碼并自動(dòng)輸入驗(yàn)證碼繼續(xù)抓取
案例：51Job? 安全客
五.javascript渲染
網(wǎng)頁(yè)開(kāi)發(fā)者將重要信息放在網(wǎng)頁(yè)中但不寫入html標(biāo)簽中盗胀，而瀏覽器會(huì)自動(dòng)渲染<script>標(biāo)簽的js代碼將信息展現(xiàn)在瀏覽器當(dāng)中，而爬蟲(chóng)是不具備執(zhí)行js代碼的能力锄贼，所以無(wú)法將js事件產(chǎn)生的信息讀取出來(lái)
解決辦法：通過(guò)分析提取script中的js代碼來(lái)通過(guò)正則匹配提取信息內(nèi)容或通過(guò)webdriver+phantomjs直接進(jìn)行無(wú)頭瀏覽器渲染網(wǎng)頁(yè)票灰。
案例：前程無(wú)憂網(wǎng)
隨便打開(kāi)一個(gè)前程無(wú)憂工作界面，直接用requests.get對(duì)其進(jìn)行訪問(wèn)，可以得到一頁(yè)的20個(gè)左右數(shù)據(jù)屑迂，顯然得到的不全浸策，而用webdriver訪問(wèn)同樣的頁(yè)面可以得到50個(gè)完整的工作信息。
六.ajax異步傳輸
訪問(wèn)網(wǎng)頁(yè)的時(shí)候服務(wù)器將網(wǎng)頁(yè)框架返回給客戶端惹盼，在與客戶端交互的過(guò)程中通過(guò)異步ajax技術(shù)傳輸數(shù)據(jù)包到客戶端庸汗，呈現(xiàn)在網(wǎng)頁(yè)上，爬蟲(chóng)直接抓取的話信息為空
解決辦法：通過(guò)fiddler或是wireshark抓包分析ajax請(qǐng)求的界面手报，然后自己通過(guò)規(guī)律仿造服務(wù)器構(gòu)造一個(gè)請(qǐng)求訪問(wèn)服務(wù)器得到返回的真實(shí)數(shù)據(jù)包蚯舱。
案例：拉勾網(wǎng)??
打開(kāi)拉勾網(wǎng)的某一個(gè)工作招聘頁(yè)，可以看到許許多多的招聘信息數(shù)據(jù)掩蛤，點(diǎn)擊下一頁(yè)后發(fā)現(xiàn)頁(yè)面框架不變化枉昏，url地址不變，而其中的每個(gè)招聘數(shù)據(jù)發(fā)生了變化揍鸟，通過(guò)chrome開(kāi)發(fā)者工具抓包找到了一個(gè)叫請(qǐng)求了一個(gè)叫做http://www.lagou.com/zhaopin/Java/2/?filterOption=3的網(wǎng)頁(yè)兄裂，打開(kāi)改網(wǎng)頁(yè)發(fā)現(xiàn)為第二頁(yè)真正的數(shù)據(jù)源，通過(guò)仿造請(qǐng)求可以抓取每一頁(yè)的數(shù)據(jù)阳藻。
七.加速樂(lè)
有些網(wǎng)站使用了加速樂(lè)的服務(wù)晰奖，在訪問(wèn)之前先判斷客戶端的cookie正不正確。如果不正確稚配，返回521狀態(tài)碼畅涂，set-cookie并且返回一段js代碼通過(guò)瀏覽器執(zhí)行后又可以生成一個(gè)cookie，只有這兩個(gè)cookie一起發(fā)送給服務(wù)器道川，才會(huì)返回正確的網(wǎng)頁(yè)內(nèi)容午衰。
解決辦法 ：將瀏覽器返回的js代碼放在一個(gè)字符串中，然后利用nodejs對(duì)這段代碼進(jìn)行反壓縮冒萄，然后對(duì)局部的信息進(jìn)行解密臊岸，得到關(guān)鍵信息放入下一次訪問(wèn)請(qǐng)求的頭部中。
案例：加速樂(lè)
這樣的一個(gè)交互過(guò)程僅僅用python的requests庫(kù)是解決不了的尊流，經(jīng)過(guò)查閱資料帅戒，有兩種解決辦法：
1.將返回的set-cookie獲取到之后再通過(guò)腳本執(zhí)行返回的eval加密的js代碼，將代碼中生成的cookie與之前set-cookie聯(lián)合發(fā)送給服務(wù)器就可以返回正確的內(nèi)容崖技，即狀態(tài)碼從521變成了200逻住。
2.將返回的set-cookie獲取到之后再通過(guò)腳本執(zhí)行返回的eval加密的js代碼，將代碼中生成的cookie與之前set-cookie聯(lián)合發(fā)送給服務(wù)器就可以返回正確的內(nèi)容迎献，即狀態(tài)碼從521變成了200瞎访。
大家一起學(xué)習(xí)，一起進(jìn)步吁恍。
