一般防爬蟲有很多辦法，最基本的是判斷header是不是瀏覽器口芍，比如python有個(gè)robot-detection庫(kù)可以判斷状原，不過這個(gè)太好模擬了，沒有用诡壁。然后可以通過分析日志限定用戶ip一定時(shí)間段內(nèi)訪問次數(shù)，或者通過cookie荠割、session限定特定用戶的訪問次數(shù)等妹卿。理論上說，凡可以看到的內(nèi)容都是可以通過技術(shù)手段爬到的蔑鹦，只是難易的差別夺克。
下面記錄一下在ubuntu server上用tor搭建一個(gè)輪換IP的代理，如果爬蟲一定時(shí)間段內(nèi)沒有得到內(nèi)容嚎朽，就可以換一個(gè)IP了懊直。你可以先參考最后的幾個(gè)鏈接大致了解下。系統(tǒng)用的vultr日本機(jī)房ubuntu server14.04火鼻。這是一種不用花錢的解決方案室囊，也可以直接購(gòu)買一些提供IP代理的服務(wù)雕崩，不需要自己折騰了。(注意：國(guó)內(nèi)的服務(wù)器提供商使用的ISP可能限制了tor融撞，如果你按照下邊方法發(fā)現(xiàn)總是ttl超時(shí)盼铁，看下tor的log。推薦用國(guó)外的服務(wù)器跑爬蟲）
安裝
安裝tor尝偎，先sudo su一下饶火。
apt-getupdate
apt-getinstall tor
/etc/init.d/tor restart
啟動(dòng)后socks監(jiān)聽9050端口。
tor --hash-password mypassword生成你的密碼致扯，之后編輯/etc/tor/torrc
加上
ControlPort9051
HashedControlPassword16:872860B76453A77D60CA2BB8C1A7042072093276A3D701AD684053EC4C
讓ControlPort監(jiān)聽9051端口肤寝，后邊那個(gè)16:開頭的hash就是上一步得到的。
/etc/init.d/tor restart重啟下tor抖僵。
Python使用
pip install requesocks
#!/usr/bin/env python# -*- coding:utf-8 -*-importosimportrequestsimportrequesocksurl ='https://api.ipify.org?format=json'defgetip_requests(url):print"(+) Sending request with plain requests..."r = requests.get(url)print"(+) IP is: "+ r.text.replace("\n","")defgetip_requesocks(url):print"(+) Sending request with requesocks..."session = requesocks.session()? ? session.proxies = {'http':'socks5://127.0.0.1:9050','https':'socks5://127.0.0.1:9050'}? ? r = session.get(url)print"(+) IP is: "+ r.text.replace("\n","")defmain():print"Running tests..."getip_requests(url)? ? getip_requesocks(url)? ? os.system("""(echo authenticate '"yourpassword"'; echo signal newnym; echo quit) | nc localhost 9051""")? ? getip_requesocks(url)if__name__ =="__main__":? ? main()
注意中間os.system這句鲤看，是用來重新生成一個(gè)新的ip的。一般在代碼里根據(jù)內(nèi)容是否有效判斷是不是需要更新ip了耍群，可以拋出一個(gè)異常之后執(zhí)行這一句重新?lián)Q個(gè)ip义桂。
update：新的requests庫(kù)版本2.10.0已經(jīng)支持socks代理了，這下就非常方便了蹈垢，代理寫法和http一樣慷吊，具體參考其文檔，如此一來搭建一個(gè)輪換IP的爬蟲就非常容易了曹抬。
這個(gè)有更詳細(xì)的： www.xqq8.com?
