當(dāng)我開始學(xué)習(xí)爬蟲的時候掘殴，我在網(wǎng)上也開始找相關(guān)教程，大多數(shù)都是xx分鐘學(xué)會爬蟲一類的文章奏寨。并不是否定這些文章的價值起意，因為他們的確“教會”我如何爬取網(wǎng)頁。但我不想停留只會使用工具這一層面上病瞳，這就是我想談?wù)勛约簩ε老x的理解揽咕。
思考一下我們是怎么樣上網(wǎng)的呢？
- 打開瀏覽器亲善，習(xí)慣性輸入百度看看網(wǎng)絡(luò)連接有沒有問題或者輸入谷歌看看能不能科學(xué)上網(wǎng)。
- 然后我現(xiàn)在的習(xí)慣是打開簡書首頁逗柴，看看有沒有新的技術(shù)類文章或者是雞湯文蛹头，不斷往下、往下戏溺、往下拉--居然找不到。
- 突然找到一篇感覺不錯的文章袍睡，于是點進(jìn)去繼續(xù)看了下去斑胜。
- 文章中還有其他擴(kuò)展閱讀推薦掺炭，我繼續(xù)點進(jìn)去看下好了凭戴。
- 看完鏈接的文章感覺不需要再刨根問底么夫，就關(guān)閉這個頁面了档痪。
什么是爬蟲呢腐螟？
百度百科上說網(wǎng)絡(luò)爬蟲（又被稱為網(wǎng)頁蜘蛛，網(wǎng)絡(luò)機(jī)器人衬廷，在FOAF社區(qū)中間，更經(jīng)常的稱為網(wǎng)頁追逐者）小腊，是一種按照一定的規(guī)則秩冈，自動地抓取萬維網(wǎng)信息的程序或者腳本入问。另外一些不常使用的名字還有螞蟻芬失、自動索引棱烂、模擬程序或者蠕蟲颊糜。
維基百科上說網(wǎng)絡(luò)蜘蛛（Web spider）也叫網(wǎng)絡(luò)爬蟲（Web crawler）[1]
衬鱼，螞蟻（ant）蒜胖，自動檢索工具（automatic indexer）台谢，或者（在FOAF軟件概念中）網(wǎng)絡(luò)疾走（WEB scutter）朋沮，是一種“自動化瀏覽網(wǎng)絡(luò)”的程序，或者說是一種網(wǎng)絡(luò)機(jī)器人诉位。它們被廣泛用于互聯(lián)網(wǎng)搜索引擎或其他類似網(wǎng)站苍糠，以獲取或更新這些網(wǎng)站的內(nèi)容和檢索方式。它們可以自動采集所有其能夠訪問到的頁面內(nèi)容蚊锹，以供搜索引擎做進(jìn)一步處理（分檢整理下載的頁面）姚炕，而使得用戶能更快的檢索到他們需要的信息
爬蟲基于用戶需求誕生柱宦。比如說有一天我感覺每天打開簡書首頁看東西太累了掸刊，希望可以有一份郵件告訴我昨天我關(guān)注的專欄更新的收錄文章忧侧，或者告訴我簡書喜歡量最多的文章TOP10尼斧。我肯定不會蛋疼到雇一個人幫我一個一個翻（因為我沒錢）棺棵，但是我會雇一個網(wǎng)絡(luò)爬蟲幫我解決這個問題（因為他只問我要電費和帶寬費）烛恤。
那爬蟲是怎么工作的呢缚柏？想象你雇了一個富土康流水線的員工幫你去互聯(lián)網(wǎng)找東西，爬蟲也就是這樣工作杀餐。
- 向網(wǎng)站發(fā)起一個請求（request）史翘，比如說你打開一個視頻頁面準(zhǔn)備看；
- 中間經(jīng)過好多了復(fù)雜的步驟钻蹬，比如說驗證你的身份
- 網(wǎng)站響應(yīng)(response)了你請求的內(nèi)容
- 爬蟲解析響應(yīng)內(nèi)容種是否存在其他目標(biāo)鏈接脉让，如有重復(fù)第一步
- 爬取的數(shù)據(jù)用于進(jìn)一步的數(shù)據(jù)挖掘
作者：xlzd
鏈接：https://zhuanlan.zhihu.com/p/20413828
來源：知乎
著作權(quán)歸作者所有。商業(yè)轉(zhuǎn)載請聯(lián)系作者獲得授權(quán)滚澜，非商業(yè)轉(zhuǎn)載請注明出處借浊。
爬蟲要干什么
大多數(shù)情況下，爬蟲其實就是在模擬上面的過程曙蒸。當(dāng)然爬蟲不會全部模擬一遍，而是會選擇合適的步驟模擬臂港。比如大多數(shù)情況下我們并不會去請求CSS和Javascript文件审孽，而只是會請求HTML源碼或者我們需要的數(shù)據(jù)。在得到源碼后搓萧，就像瀏覽器會解析HTML源碼一樣揍移，我們的爬蟲也會解析HTML踏施，篩選出我們想要的內(nèi)容保存畅形。
所以在互聯(lián)網(wǎng)剛發(fā)展的時候肾胯，那時候用爬蟲估計和我們現(xiàn)在用的差不多毕荐，但是隨著網(wǎng)頁的幾何級增長憎亚，我們就只能針對某個領(lǐng)域?qū)懰枧老x丁恭，目前沒錢買那么多服務(wù)器搞分布式爬取。
那么應(yīng)該怎么學(xué)習(xí)爬蟲呢？
學(xué)習(xí)爬蟲永遠(yuǎn)繞不開HTTP協(xié)議庸毫。如果你仔細(xì)思考一下寫的代碼，你就會問一個問題，為啥要用Requests（Requests is the only Non-GMO HTTP library for Python, safe for human consumption.)蔫慧。當(dāng)你問這個問題的時候盟蚣，請你去看一下百度詞條上http屎开。當(dāng)你對http協(xié)議有一個大致的了解侮繁，那么你就能理解為啥會用到那些工具庫了娩贷。
此外，基于需求和興趣的學(xué)習(xí)是效率最高的方法储笑，比如說做一個郵件推送功能，做一個圖片自動下載器等。對于我而言，學(xué)習(xí)爬蟲有以下幾個要求：
- 能夠爬取多個網(wǎng)頁，并且不斷優(yōu)化數(shù)據(jù)提取方法
- 能夠模擬登陸新浪微博易桃、知乎嚼鹉、豆瓣、簡書、微信等
- 能夠爬取通過js生成的網(wǎng)頁內(nèi)容
- 使用ip pool和user agent pool防止被ban
- 學(xué)會分布式爬取
我使用python學(xué)習(xí)爬蟲浑侥，因為我只學(xué)過一點的C（大學(xué)老師居然沒教C最核心的指針?biāo)枷耄粫ava和C++史飞，主要在Python實戰(zhàn)：一周學(xué)會爬取網(wǎng)頁學(xué)的還不錯」棺剩現(xiàn)在使用python的scrapy框架，因為我想通過讀源代碼進(jìn)行深入學(xué)習(xí)陨簇。
