學(xué)任何一門技術(shù)，都應(yīng)該帶著目標(biāo)去學(xué)習(xí)奏属，目標(biāo)就像一座燈塔跨跨，指引你前進(jìn)，很多人學(xué)著學(xué)著就學(xué)放棄了囱皿，很大部分原因是沒有明確目標(biāo)勇婴，所以，在你準(zhǔn)備學(xué)爬蟲前嘱腥，先問問自己為什么要學(xué)習(xí)爬蟲耕渴。有些人是為了一份工作，有些人是為了好玩齿兔，也有些人是為了實(shí)現(xiàn)某個(gè)黑科技功能橱脸。不過(guò)可以肯定的是础米，學(xué)會(huì)了爬蟲能給你的工作提供很多便利。

作為零基礎(chǔ)小白添诉，大體上可分為三個(gè)階段去實(shí)現(xiàn)屁桑，第一階段是入門，掌握必備基礎(chǔ)知識(shí)吻商，比如Python基礎(chǔ)掏颊、網(wǎng)絡(luò)請(qǐng)求的基本原理等，第二階段是模仿艾帐，跟著別人的爬蟲代碼學(xué)，弄懂每一行代碼盆偿，熟悉主流的爬蟲工具柒爸，第三階段是自己動(dòng)手，到了這個(gè)階段你開始有自己的解題思路了事扭，可以獨(dú)立設(shè)計(jì)爬蟲系統(tǒng)捎稚。

爬蟲涉及的技術(shù)包括但不限于熟練一門編程語(yǔ)言（這里以 Python 為例） HTML 知識(shí)、HTTP 協(xié)議的基本知識(shí)求橄、正則表達(dá)式今野、數(shù)據(jù)庫(kù)知識(shí)，常用抓包工具的使用罐农、爬蟲框架的使用条霜、涉及到大規(guī)模爬蟲，還需要了解分布式的概念涵亏、消息隊(duì)列宰睡、常用的數(shù)據(jù)結(jié)構(gòu)和算法、緩存气筋，甚至還包括機(jī)器學(xué)習(xí)的應(yīng)用拆内，大規(guī)模的系統(tǒng)背后都是靠很多技術(shù)來(lái)支撐的。數(shù)據(jù)分析宠默、挖掘麸恍、甚至是機(jī)器學(xué)習(xí)都離不開數(shù)據(jù)，而數(shù)據(jù)很多時(shí)候需要通過(guò)爬蟲來(lái)獲取搀矫，因此抹沪，即使把爬蟲作為一門專業(yè)來(lái)學(xué)也是有很大前途的。

那么是不是一定要把上面的知識(shí)全學(xué)完了才可以開始寫爬蟲嗎艾君？當(dāng)然不是采够，學(xué)習(xí)是一輩子的事，只要你會(huì)寫 Python 代碼了冰垄，就直接上手爬蟲蹬癌，好比學(xué)車权她，只要能開動(dòng)了就上路吧，寫代碼可比開車安全多了逝薪。

用 Python 寫爬蟲隅要，首先需要會(huì) Python，把基礎(chǔ)語(yǔ)法搞懂董济，知道怎么使用函數(shù)步清、類、list虏肾、dict 中的常用方法就算基本入門廓啊。接著你需要了解 HTML，HTML 就是一個(gè)文檔樹結(jié)構(gòu)封豪。然后是關(guān)于 HTTP 的知識(shí)谴轮，爬蟲基本原理就是通過(guò)網(wǎng)絡(luò)請(qǐng)求從遠(yuǎn)程服務(wù)器下載數(shù)據(jù)的過(guò)程，而這個(gè)網(wǎng)絡(luò)請(qǐng)求背后的技術(shù)就是基于 HTTP 協(xié)議吹埠。作為入門爬蟲來(lái)說(shuō)第步，你需要了解 HTTP協(xié)議的基本原理，雖然 HTTP 規(guī)范用一本書都寫不完缘琅，但深入的內(nèi)容可以放以后慢慢去看粘都，理論與實(shí)踐相結(jié)合。

網(wǎng)絡(luò)請(qǐng)求框架都是對(duì) HTTP 協(xié)議的實(shí)現(xiàn)刷袍，比如著名的網(wǎng)絡(luò)請(qǐng)求庫(kù) Requests 就是一個(gè)模擬瀏覽器發(fā)送 HTTP 請(qǐng)求的網(wǎng)絡(luò)庫(kù)翩隧。了解 HTTP 協(xié)議之后，你就可以專門有針對(duì)性的學(xué)習(xí)和網(wǎng)絡(luò)相關(guān)的模塊了做个，比如 Python 自帶有 urllib鸽心、urllib2（Python3中的urllib），httplib居暖，Cookie等內(nèi)容顽频，當(dāng)然你可以直接跳過(guò)這些，直接學(xué)習(xí) Requests 怎么用太闺，前提是你熟悉了 HTTP協(xié)議的基本內(nèi)容糯景，數(shù)據(jù)爬下來(lái)，大部分情況是 HTML 文本省骂，也有少數(shù)是基于 XML 格式或者 Json 格式的數(shù)據(jù)蟀淮，要想正確處理這些數(shù)據(jù)，你要熟悉每種數(shù)據(jù)類型的解決方案钞澳，比如 JSON 數(shù)據(jù)可以直接使用 Python自帶的模塊 json怠惶，對(duì)于 HTML 數(shù)據(jù)，可以使用 BeautifulSoup轧粟、lxml 等庫(kù)去處理策治，對(duì)于 xml 數(shù)據(jù)脓魏，除了可以使用 untangle、xmltodict 等第三方庫(kù)通惫。

爬蟲工具里面茂翔，學(xué)會(huì)使用 Chrome 或者 FireFox 瀏覽器去審查元素，跟蹤請(qǐng)求信息等等履腋，現(xiàn)在大部分網(wǎng)站有配有APP和手機(jī)瀏覽器訪問的地址珊燎，優(yōu)先使用這些接口，相對(duì)更容易遵湖。還有 Fiddler 等代理工具的使用悔政。

入門爬蟲，學(xué)習(xí)正則表達(dá)式并不是必須的延旧，你可以在你真正需要的時(shí)候再去學(xué)卓箫，比如你把數(shù)據(jù)爬取回來(lái)后，需要對(duì)數(shù)據(jù)進(jìn)行清洗垄潮，當(dāng)你發(fā)現(xiàn)使用常規(guī)的字符串操作方法根本沒法處理時(shí)，這時(shí)你可以嘗試了解一下正則表達(dá)式闷盔，往往它能起到事半功倍的效果弯洗。Python 的 re 模塊可用來(lái)處理正則表達(dá)式。

數(shù)據(jù)清洗完最終要進(jìn)行持久化存儲(chǔ)逢勾，你可以用文件存儲(chǔ)牡整，比如CSV文件，也可以用數(shù)據(jù)庫(kù)存儲(chǔ)溺拱，簡(jiǎn)單的用 sqlite逃贝，專業(yè)點(diǎn)用 MySQL，或者是分布式的文檔數(shù)據(jù)庫(kù) MongoDB迫摔，這些數(shù)據(jù)庫(kù)對(duì)Python都非常友好沐扳，有現(xiàn)成的庫(kù)支持，你要做的就是熟悉這些 API 怎么使用句占。

從數(shù)據(jù)的抓取到清洗再到存儲(chǔ)的基本流程都走完了沪摄，也算是基本入門了，接下來(lái)就是考驗(yàn)內(nèi)功的時(shí)候了纱烘，很多網(wǎng)站都設(shè)有反爬蟲策略杨拐，他們想方設(shè)法阻止你用非正常手段獲取數(shù)據(jù)，比如會(huì)有各種奇奇怪怪的驗(yàn)證碼限制你的請(qǐng)求操作擂啥、對(duì)請(qǐng)求速度做限制哄陶，對(duì)IP做限制、甚至對(duì)數(shù)據(jù)進(jìn)行加密操作哺壶，總之屋吨，就是為了提高獲取數(shù)據(jù)的成本蜒谤。這時(shí)你需要掌握的知識(shí)就要更多了，你需要深入理解 HTTP 協(xié)議离赫，你需要理解常見的加解密算法芭逝，你要理解 HTTP 中的 cookie，HTTP 代理渊胸，HTTP中的各種HEADER旬盯。爬蟲與反爬蟲就是相愛相殺的一對(duì)，道高一次魔高一丈翎猛。如何應(yīng)對(duì)反爬蟲沒有既定的統(tǒng)一的解決方案胖翰，靠的是你的經(jīng)驗(yàn)以及你所掌握的知識(shí)體系。這不是僅憑21天入門教程就能達(dá)到的高度切厘。

進(jìn)行大規(guī)模爬蟲萨咳，通常都是從一個(gè)URL開始爬，然后把頁(yè)面中解析的URL鏈接加入待爬的URL集合中疫稿，我們需要用到隊(duì)列或者優(yōu)先隊(duì)列來(lái)區(qū)別對(duì)待有些網(wǎng)站優(yōu)先爬培他，有些網(wǎng)站后面爬。每爬去一個(gè)頁(yè)面遗座，是使用深度優(yōu)先還是廣度優(yōu)先算法爬取下一個(gè)鏈接舀凛。每次發(fā)起網(wǎng)絡(luò)請(qǐng)求的時(shí)候，會(huì)涉及到一個(gè)DNS的解析過(guò)程（將網(wǎng)址轉(zhuǎn)換成IP）為了避免重復(fù)地 DNS 解析途蒋，我們需要把解析好的 IP 緩存下來(lái)猛遍。URL那么多，如何判斷哪些網(wǎng)址已經(jīng)爬過(guò)号坡，哪些沒有爬過(guò)懊烤，簡(jiǎn)單點(diǎn)就是是使用字典結(jié)構(gòu)來(lái)存儲(chǔ)已經(jīng)爬過(guò)的的URL，但是如果碰過(guò)海量的URL時(shí)宽堆，字典占用的內(nèi)存空間非常大腌紧，此時(shí)你需要考慮使用 Bloom Filter（布隆過(guò)濾器），用一個(gè)線程逐個(gè)地爬取數(shù)據(jù)日麸，效率低得可憐寄啼，如果提高爬蟲效率，是使用多線程代箭，多進(jìn)程還是協(xié)程墩划，還是分布式操作。