User-Agent
為 request 添加 user-agent 后嘗試≈雒矗可以說這是任何爬蟲都需要做的偽裝糠悯。
Proxy
大部分情況下需要上代理池甥雕，從而規(guī)避 IP ban难述。
Cookie
有的網(wǎng)站萤晴，則會根據(jù)你的 cookie 識別你是人還是機器吐句。
步驟（以拉勾網(wǎng)為例）
- 關閉瀏覽器的 cookie 并刪除掉現(xiàn)有 cookie，然后訪問頁面店读，如果頁面不正常嗦枢，則可推定網(wǎng)站采用了 cookie 反爬。
貼士：可以點擊 chrome 地址欄的小鎖屯断，然后刪除 cookie文虏，不用全部清除，因為這會導致你需要重新登錄各種網(wǎng)站殖演。
- 打開 postman.app氧秘，啟動 interceptor 并清空 history。初次使用會讓你裝一個 chrome app趴久。
也可以用 brew 安裝：
brew cask install postman
Postman 配置.png
- 接下來清空瀏覽器上該頁面的 cookie丸相。然后刷新頁面，此時 postman 會獲取到瀏覽器的各種請求朋鞍。通過 chrome 的 network 找到其中返回目標數(shù)據(jù)的那一個請求。
- 在 postman 中“重現(xiàn)”這個訪問妥箕。通過篩查發(fā)現(xiàn)滥酥，只需要保留 User-Agent 和 Referer 這兩項在 headers 里就能正確返回數(shù)據(jù)。這是因為啟動 interceptor 之后 postman 和 chrome 是連通的畦幢，前者能獲取后者的 cookie坎吻。
- 逐步刪除 cookie 并重試，就能最終確定起作用的 cookie 是什么宇葱。本例中發(fā)現(xiàn)瘦真，只需要 user_trace_token 這一項即可拿到數(shù)據(jù)。
- 可以通過訪問頁面先拿 cookie黍瞧。
from urllib import request
from http import cookiejar
if __name__ == '__main__':
# 聲明一個CookieJar對象實例來保存cookie
cookie = cookiejar.CookieJar()
# 利用urllib.request庫的HTTPCookieProcessor對象來創(chuàng)建cookie處理器,也就CookieHandler
handler=request.HTTPCookieProcessor(cookie)
# 通過CookieHandler創(chuàng)建opener
opener = request.build_opener(handler)
# 此處的open方法打開網(wǎng)頁
response = opener.open('https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput=')
# 打印cookie信息
for item in cookie:
print('Name = %s' % item.name)
print('Value = %s' % item.value)
# 輸出
Name = user_trace_token
Value = 20180527163349-64c256fa-556c-43e8-827e-c016f4b15cda
以上诸尽。
參考文獻：
http://www.reibang.com/p/a2f74805e54f
http://www.shenjianshou.cn/blog/?p=289
