通過User-Agent來控制訪問
無論是瀏覽器還是爬蟲程序近忙，在向服務(wù)器發(fā)起網(wǎng)絡(luò)請求的時候匆瓜，都會發(fā)過去一個頭文件：headers，比如知乎的requests headers
這里面的大多數(shù)的字段都是瀏覽器向服務(wù)器”表明身份“用的
對于爬蟲程序來說焙蚓，最需要注意的字段就是：User-Agent
很多網(wǎng)站都會建立 user-agent白名單录语，只有屬于正常范圍的user-agent才能夠正常訪問睁壁。
爬蟲方法：
可以自己設(shè)置一下user-agent剑勾，或者更好的是床估，可以從一系列的user-agent里隨機挑出一個符合標準的使用弯囊。
缺點：
容易容易偽造頭部痰哨，github上有人分享開源庫fake-useragent
實現(xiàn)難度：★
IP限制
如果一個固定的ip在短暫的時間內(nèi)，快速大量的訪問一個網(wǎng)站匾嘱，后臺管理員可以編寫IP限制斤斧，不讓該IP繼續(xù)訪問。
爬蟲方法：
比較成熟的方式是：IP代理池
簡單的說霎烙，就是通過ip代理撬讽，從不同的ip進行訪問，這樣就不會被封掉ip了悬垃。
可是ip代理的獲取本身就是一個很麻煩的事情游昼，網(wǎng)上有免費和付費的，但是質(zhì)量都層次不齊尝蠕。如果是企業(yè)里需要的話烘豌，可以通過自己購買集群云服務(wù)來自建代理池。
缺點：
可以使用免費/付費代理看彼，繞過檢測廊佩。
實現(xiàn)難度：★
SESSION訪問限制
后臺統(tǒng)計登錄用戶的操作囚聚，比如短時間的點擊事件，請求數(shù)據(jù)事件标锄，與正常值比對顽铸，用于區(qū)分用戶是否處理異常狀態(tài)，如果是料皇，則限制登錄用戶操作權(quán)限跋破。
缺點：
需要增加數(shù)據(jù)埋點功能，閾值設(shè)置不好瓶蝴，容易造成誤操作毒返。
爬蟲方法：
注冊多個賬號、模擬正常操作舷手。
實現(xiàn)難度：★★★
Spider Trap
蜘蛛陷阱導(dǎo)致網(wǎng)絡(luò)爬蟲進入無限循環(huán)之類的東西拧簸，這會浪費蜘蛛的資源，降低其生產(chǎn)力男窟，并且在編寫得不好的爬蟲的情況下盆赤，可能導(dǎo)致程序崩潰。禮貌蜘蛛在不同主機之間交替請求歉眷，并且不會每隔幾秒鐘從同一服務(wù)器請求多次文檔牺六，這意味著“禮貌”網(wǎng)絡(luò)爬蟲比“不禮貌”爬蟲的影響程度要小得多。
反爬方式：
創(chuàng)建無限深度的目錄結(jié)構(gòu)
HTTP：//example.com/bar/foo/bar/foo/bar/foo/bar /
動態(tài)頁面汗捡，為網(wǎng)絡(luò)爬蟲生成無限數(shù)量的文檔淑际。如由算法生成雜亂的文章頁面。
文檔中填充了大量字符扇住，使解析文檔的詞法分析器崩潰春缕。
此外，帶蜘蛛陷阱的網(wǎng)站通常都有robots.txt告訴機器人不要進入陷阱艘蹋，因此合法的“禮貌”機器人不會陷入陷阱锄贼，而忽視robots.txt設(shè)置的“不禮貌”機器人會受到陷阱的影響。
爬蟲方法：
把網(wǎng)頁按照所引用的css文件進行聚類女阀，通過控制類里最大能包含的網(wǎng)頁數(shù)量防止爬蟲進入trap后出不來宅荤，對不含css的網(wǎng)頁會給一個penalty，限制它能產(chǎn)生的鏈接數(shù)量浸策。這個辦法理論上不保證能避免爬蟲陷入死循環(huán)冯键，但是實際上這個方案工作得挺好，因為絕大多數(shù)網(wǎng)頁都使用了css的榛，動態(tài)網(wǎng)頁更是如此琼了。
缺點：
反爬方式1，2會增加很多無用目錄或文件，造成資源浪費雕薪，也對正常的SEO十分不友好昧诱，可能會被懲罰。
實現(xiàn)難度：★★★
驗證碼驗證
驗證碼（CAPTCHA）是“Completely Automated Public Turing test to tell Computers and Humans Apart”（全自動區(qū)分計算機和人類的圖靈測試）的縮寫所袁，是一種區(qū)分用戶是計算機還是人的公共全自動程序盏档。可以防止：惡意破解密碼燥爷、刷票蜈亩、論壇灌水，有效防止某個黑客對某一個特定注冊用戶用特定程序暴力破解方式進行不斷的登陸嘗試前翎，實際上用驗證碼是現(xiàn)在很多網(wǎng)站通行的方式稚配，我們利用比較簡易的方式實現(xiàn)了這個功能。這個問題可以由計算機生成并評判港华，但是必須只有人類才能解答道川。由于 計算機無法解答CAPTCHA的問題，所以回答出問題的用戶就可以被認為是人類立宜。
1.?圖片驗證碼
復(fù)雜型
打碼平臺雇傭了人力冒萄，專門幫人識別驗證碼。識別完把結(jié)果傳回去橙数∽鹆鳎總共的過程用不了幾秒時間。這樣的打碼平臺還有記憶功能灯帮。圖片被識別為“鍋鏟”之后崖技，那么下次這張圖片再出現(xiàn)的時候，系統(tǒng)就直接判斷它是“鍋鏟”施流。時間一長响疚，圖片驗證碼服務(wù)器里的圖片就被標記完了，機器就能自動識別了瞪醋。
簡單型
上面兩個不用處理直接可以用OCR識別技術(shù)(利用python第三方庫--tesserocr)來識別。
背景比較糊
清晰可見
經(jīng)過灰度變換和二值化后,由模糊的驗證碼背景變成清晰可見的驗證碼装诡。
容易迷惑人的圖片驗證碼
對于在這種驗證碼,語言一般自帶圖形庫,添加上扭曲就成了這個樣子,我們可以利用9萬張圖片進行訓(xùn)練,完成類似人的精準度,到達識別驗證碼的效果
2.?短信驗證碼
用Webbrowser技術(shù)银受，模擬用戶打開短信的行為,最終獲取短信驗證碼。
3.?計算題圖片驗證碼
把所有可能出現(xiàn)的漢字都人工取出來鸦采，保存為黑白圖片,把驗證碼按照字體顏色二值化宾巍，去除噪點,然后將所有圖片依次與之進行像素對比,計算出相似值,找到最像的那張圖片
4.?滑動驗證碼
對于滑動驗證碼
我們可以利用圖片的像素作為線索,確定好基本屬性值,查看位置的差值,對于差值超過基本屬性值,我們就可以確定圖片的大概位置。
5.?圖案驗證碼
對于這種每次拖動的順序不一樣,結(jié)果就不一樣,我們怎么做來識別呢?
利用機器學(xué)習(xí)所有的拖動順序,利用1萬張圖片進行訓(xùn)練,完成類似人的操作,最終將其識別
利用selenium技術(shù)來模擬人的拖動順序,窮盡所有拖動方式,這樣達到是別的效果
6.?標記倒立文字驗證碼
我們不妨分析下:對于漢字而言,有中華五千年龐大的文字庫,加上文字的不同字體渔伯、文字的扭曲和噪點,難度更大了顶霞。
方法:首先點擊前兩個倒立的文字,可確定7個文字的坐標， 驗證碼中7個漢字的位置是確定的，只需要提前確認每個字所在的坐標并將其放入列表中选浑，然后人工確定倒立文字的文字序號蓝厌，將列表中序號對應(yīng)的坐標即可實現(xiàn)成功登錄。
爬蟲方法：
接入第三方驗證碼平臺古徒，實時破解網(wǎng)站的驗證碼拓提。
缺點：
影響正常的用戶體驗操作，驗證碼越復(fù)雜隧膘，網(wǎng)站體驗感越差代态。
實現(xiàn)難度：★★
通過robots.txt來限制爬蟲
robots.txt（統(tǒng)一小寫）是一種存放于網(wǎng)站根目錄下的ASCII編碼的文本文件，它通常告訴網(wǎng)絡(luò)搜索引擎的漫游器（又稱網(wǎng)絡(luò)蜘蛛）疹吃，此網(wǎng)站中的哪些內(nèi)容是不應(yīng)被搜索引擎的漫游器獲取的蹦疑，哪些是可以被漫游器獲取的。因為一些系統(tǒng)中的URL是大小寫敏感的萨驶，所以robots.txt的文件名應(yīng)統(tǒng)一為小寫歉摧。robots.txt應(yīng)放置于網(wǎng)站的根目錄下。如果想單獨定義搜索引擎的漫游器訪問子目錄時的行為篡撵，那么可以將自定的設(shè)置合并到根目錄下的robots.txt判莉，或者使用robots元數(shù)據(jù)（Metadata，又稱元數(shù)據(jù)）育谬。
robots.txt協(xié)議并不是一個規(guī)范券盅，而只是約定俗成的，所以并不能保證網(wǎng)站的隱私膛檀。注意robots.txt是用字符串比較來確定是否獲取URL锰镀，所以目錄末尾有與沒有斜杠“/”表示的是不同的URL。robots.txt允許使用類似"Disallow: *.gif"這樣的通配符咖刃。
itunes的robots.txt
缺點：
只是一個君子協(xié)議泳炉，對于良好的爬蟲比如搜索引擎有效果，對于有目的性的爬蟲不起作用
爬蟲方法：
如果使用scrapy框架嚎杨，只需將settings文件里的ROBOTSTXT_OBEY 設(shè)置值為 False
實現(xiàn)難度：★
數(shù)據(jù)動態(tài)加載
python的requests庫只能爬取靜態(tài)頁面花鹅，爬取不了動態(tài)加載的頁面。使用JS加載數(shù)據(jù)方式枫浙，能提高爬蟲門檻刨肃。
爬蟲方法：
抓包獲取數(shù)據(jù)url
通過抓包方式可以獲取數(shù)據(jù)的請求url，再通過分析和更改url參數(shù)來進行數(shù)據(jù)的抓取箩帚。
示例：
看 https://image.baidu.com 這部分的包真友。可以看到紧帕，這部分包里面盔然，search下面的那個 url和我們訪問的地址完全是一樣的，但是它的response卻包含了js代碼。
2. 當(dāng)在動物圖片首頁往下滑動頁面愈案，想看到更多的時候挺尾，更多的包出現(xiàn)了。從圖片可以看到刻帚，下滑頁面后得到的是一連串json數(shù)據(jù)潦嘶。在data里面，可以看到thumbURL等字樣崇众。它的值是一個url掂僵。這個就是圖片的鏈接。
3. 打開一個瀏覽器頁面顷歌，訪問thumbURL="https://ss1.bdstatic.com/70cFvXSh_Q1YnxGkpoWK1HF6hhy/it/u=1968180540,4118301545&fm=27&gp=0.jpg" 锰蓬，發(fā)現(xiàn)搜索結(jié)果里的圖片。
4. 根據(jù)前面的分析眯漩，就可以知道芹扭，請求
URL="https://image.baidu.com/search/acjsontn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E5%8A%A8%E7%89%A9%E5%9B%BE%E7%89%87&cl=2&lm=-1&ie=utf8&oe=utf8&adpicid=&st=-1&z=&ic=0&word=%E5%8A%A8%E7%89%A9%E5%9B%BE%E7%89%87&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&pn=30&rn=30&gsm=1e&1531038037275="，用瀏覽器訪問這個鏈接確定他是公開的赦抖。
5. 最后就可以尋找URL的規(guī)律舱卡，對URL進行構(gòu)造便可獲取所有照片。
使用selenium
通過使用selenium來實現(xiàn)模擬用戶操作瀏覽器队萤，然后結(jié)合BeautifulSoup等包來解析網(wǎng)頁通過這種方法獲取數(shù)據(jù)轮锥，簡單，也比較直觀要尔，缺點是速度比較慢舍杜。
缺點：
如果數(shù)據(jù)API沒做加密處理，容易曝光接口赵辕，讓爬蟲用戶更容易獲取數(shù)據(jù)既绩。
實現(xiàn)難度：★
數(shù)據(jù)加密-使用加密算法
前端加密
通過對查詢參數(shù)、user-agent还惠、驗證碼饲握、cookie等前端數(shù)據(jù)進行加密生成一串加密指令，將加密指令作為參數(shù)蚕键，再進行服務(wù)器數(shù)據(jù)請求互拾。該加密參數(shù)為空或者錯誤，服務(wù)器都不對請求進行響應(yīng)嚎幸。
服務(wù)器端加密
在服務(wù)器端同樣有一段加密邏輯，生成一串編碼寄猩，與請求的編碼進行匹配嫉晶，匹配通過則會返回數(shù)據(jù)。
爬蟲方法：
JS加密破解方式，就是要找到JS的加密代碼替废，然后使用第三方庫js2py在Python中運行JS代碼箍铭，從而得到相應(yīng)的編碼。
案例參考：
https://blog.csdn.net/lsh19950928/article/details/81585881
缺點：
加密算法明文寫在JS里椎镣，爬蟲用戶還是可以分析出來诈火。
實現(xiàn)難度：★★★
數(shù)據(jù)加密-使用字體文件映射
服務(wù)器端根據(jù)字體映射文件先將客戶端查詢的數(shù)據(jù)進行變換再傳回前端，前端根據(jù)字體文件進行逆向解密状答。
映射方式可以是數(shù)字亂序顯示冷守，這樣爬蟲可以爬取數(shù)據(jù)，但是數(shù)據(jù)是錯誤的惊科。
破解方式：
其實拍摇，如果能看懂JS代碼，這樣的方式還是很容易破解的馆截，所以需要做以下幾個操作來加大破解難度充活。
對JS加密
使用多個不同的字體文件，然后約定使用指定字體文件方式蜡娶，比如時間戳取模混卵，這樣每次爬取到的數(shù)據(jù)映射方式都不一樣，映射結(jié)果就不一樣窖张，極大提高了破解的難度幕随。
該種方式相比使用加密算法方式難度更高，因為加密算法是固定的幾種荤堪，對方很容易獲取并破解合陵，而字體文件映射可以按任意規(guī)則映射，正常的數(shù)據(jù)使之錯誤顯示澄阳，爬蟲不容易察覺拥知。
參考案例：http://www.reibang.com/p/f79d8e674768
缺點：
需要生成字體文件，增加網(wǎng)站加載資源的體量碎赢。
實現(xiàn)難度：★★★★
非可視區(qū)域遮擋
此方式主要針對使用senlium進行的爬蟲低剔，如果模擬界面未進入可視區(qū)域，則對未見數(shù)據(jù)進行遮擋肮塞，防止senlium的click()操作襟齿。這種方式只能稍稍降低爬蟲的爬取速度，并不能阻止繼續(xù)進行數(shù)據(jù)爬取枕赵。
實現(xiàn)難度：★
