做數(shù)據(jù)分析和任何一門(mén)技術(shù)一樣诉植，都應(yīng)該帶著目標(biāo)去學(xué)習(xí)悬垃，目標(biāo)就像一座燈塔，指引你前進(jìn)是牢，很多人學(xué)著學(xué)著就學(xué)放棄了灯荧，很大部分原因是沒(méi)有明確目標(biāo)礁击，所以，一定要明確學(xué)習(xí)目的逗载，在你準(zhǔn)備學(xué)爬蟲(chóng)前哆窿，先問(wèn)問(wèn)自己為什么要學(xué)習(xí)爬蟲(chóng)。有些人是為了一份工作厉斟，有些人是為了好玩挚躯，也有些人是為了實(shí)現(xiàn)某個(gè)黑科技功能。不過(guò)可以肯定的是擦秽，學(xué)會(huì)了爬蟲(chóng)能給你的工作提供很多便利码荔。

小白入門(mén)必讀

作為零基礎(chǔ)小白，大體上可分為三個(gè)階段去實(shí)現(xiàn)号涯。

第一階段是入門(mén)目胡，掌握必備基礎(chǔ)知識(shí)，比如Python基礎(chǔ)链快、網(wǎng)絡(luò)請(qǐng)求的基本原理等誉己；

第二階段是模仿，跟著別人的爬蟲(chóng)代碼學(xué)域蜗，弄懂每一行代碼巨双，熟悉主流的爬蟲(chóng)工具，

第三階段是自己動(dòng)手霉祸，到了這個(gè)階段你開(kāi)始有自己的解題思路了筑累，可以獨(dú)立設(shè)計(jì)爬蟲(chóng)系統(tǒng)。

爬蟲(chóng)涉及的技術(shù)包括但不限于熟練一門(mén)編程語(yǔ)言（這里以 Python 為例） HTML 知識(shí)丝蹭、HTTP 協(xié)議的基本知識(shí)慢宗、正則表達(dá)式、數(shù)據(jù)庫(kù)知識(shí)奔穿，常用抓包工具的使用镜沽、爬蟲(chóng)框架的使用、涉及到大規(guī)模爬蟲(chóng)贱田，還需要了解分布式的概念缅茉、消息隊(duì)列、常用的數(shù)據(jù)結(jié)構(gòu)和算法男摧、緩存蔬墩，甚至還包括機(jī)器學(xué)習(xí)的應(yīng)用译打，大規(guī)模的系統(tǒng)背后都是靠很多技術(shù)來(lái)支撐的。數(shù)據(jù)分析拇颅、挖掘奏司、甚至是機(jī)器學(xué)習(xí)都離不開(kāi)數(shù)據(jù)，而數(shù)據(jù)很多時(shí)候需要通過(guò)爬蟲(chóng)來(lái)獲取蔬蕊，因此结澄，即使把爬蟲(chóng)作為一門(mén)專業(yè)來(lái)學(xué)也是有很大前途的。

那么是不是一定要把上面的知識(shí)全學(xué)完了才可以開(kāi)始寫(xiě)爬蟲(chóng)嗎岸夯？當(dāng)然不是，學(xué)習(xí)是一輩子的事们妥，只要你會(huì)寫(xiě) Python 代碼了猜扮，就直接上手爬蟲(chóng)，好比學(xué)車监婶，只要能開(kāi)動(dòng)了就上路吧旅赢，寫(xiě)代碼可比開(kāi)車安全多了。

用 Python 寫(xiě)爬蟲(chóng)

首先需要會(huì) Python惑惶，把基礎(chǔ)語(yǔ)法搞懂煮盼，知道怎么使用函數(shù)、類带污、list僵控、dict 中的常用方法就算基本入門(mén)。接著你需要了解 HTML鱼冀，HTML 就是一個(gè)文檔樹(shù)結(jié)構(gòu)报破，網(wǎng)上有個(gè) HTML 30分鐘入門(mén)教程 https://deerchao.net/tutorials/html/html.htm 夠用了。

關(guān)于 HTTP 的知識(shí)

爬蟲(chóng)基本原理就是通過(guò)網(wǎng)絡(luò)請(qǐng)求從遠(yuǎn)程服務(wù)器下載數(shù)據(jù)的過(guò)程千绪，而這個(gè)網(wǎng)絡(luò)請(qǐng)求背后的技術(shù)就是基于 HTTP 協(xié)議充易。作為入門(mén)爬蟲(chóng)來(lái)說(shuō)，你需要了解 HTTP協(xié)議的基本原理荸型，雖然 HTTP 規(guī)范用一本書(shū)都寫(xiě)不完盹靴，但深入的內(nèi)容可以放以后慢慢去看，理論與實(shí)踐相結(jié)合瑞妇。

網(wǎng)絡(luò)請(qǐng)求框架都是對(duì) HTTP 協(xié)議的實(shí)現(xiàn)稿静，比如著名的網(wǎng)絡(luò)請(qǐng)求庫(kù) Requests 就是一個(gè)模擬瀏覽器發(fā)送 HTTP 請(qǐng)求的網(wǎng)絡(luò)庫(kù)。了解 HTTP 協(xié)議之后踪宠，你就可以專門(mén)有針對(duì)性的學(xué)習(xí)和網(wǎng)絡(luò)相關(guān)的模塊了自赔，比如 Python 自帶有 urllib、urllib2（Python3中的urllib）柳琢，httplib绍妨，Cookie等內(nèi)容润脸，當(dāng)然你可以直接跳過(guò)這些，直接學(xué)習(xí) Requests 怎么用他去，前提是你熟悉了 HTTP協(xié)議的基本內(nèi)容毙驯，數(shù)據(jù)爬下來(lái)，大部分情況是 HTML 文本灾测，也有少數(shù)是基于 XML 格式或者 Json 格式的數(shù)據(jù)爆价，要想正確處理這些數(shù)據(jù)，你要熟悉每種數(shù)據(jù)類型的解決方案媳搪，比如 JSON 數(shù)據(jù)可以直接使用 Python自帶的模塊 json铭段，對(duì)于 HTML 數(shù)據(jù)，可以使用 BeautifulSoup秦爆、lxml 等庫(kù)去處理序愚，對(duì)于 xml 數(shù)據(jù)，除了可以使用 untangle等限、xmltodict 等第三方庫(kù)爸吮。此外，在我的公眾號(hào)也總結(jié)了好幾篇爬蟲(chóng)入門(mén)與實(shí)戰(zhàn)的文章?http://t.cn/RQrWESe?望门， 可以當(dāng)做練手

爬蟲(chóng)工具

爬蟲(chóng)工具里面形娇，學(xué)會(huì)使用 Chrome 或者 FireFox 瀏覽器去審查元素，跟蹤請(qǐng)求信息等等筹误，現(xiàn)在大部分網(wǎng)站有配有APP和手機(jī)瀏覽器訪問(wèn)的地址桐早，優(yōu)先使用這些接口，相對(duì)更容易纫事。還有 Fiddler 等代理工具的使用勘畔。

入門(mén)爬蟲(chóng)，學(xué)習(xí)正則表達(dá)式并不是必須的丽惶，你可以在你真正需要的時(shí)候再去學(xué)炫七，比如你把數(shù)據(jù)爬取回來(lái)后，需要對(duì)數(shù)據(jù)進(jìn)行清洗钾唬，當(dāng)你發(fā)現(xiàn)使用常規(guī)的字符串操作方法根本沒(méi)法處理時(shí)万哪，這時(shí)你可以嘗試了解一下正則表達(dá)式，往往它能起到事半功倍的效果抡秆。Python 的 re 模塊可用來(lái)處理正則表達(dá)式奕巍。這里也推薦一個(gè)教程：Python正則表達(dá)式指南https://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html

數(shù)據(jù)清洗

數(shù)據(jù)清洗完最終要進(jìn)行持久化存儲(chǔ)，你可以用文件存儲(chǔ)儒士，比如CSV文件的止，也可以用數(shù)據(jù)庫(kù)存儲(chǔ)，簡(jiǎn)單的用?SQLite着撩，專業(yè)點(diǎn)用 MySQL诅福，或者是分布式的文檔數(shù)據(jù)庫(kù) MongoDB匾委，這些數(shù)據(jù)庫(kù)對(duì)Python都非常友好，有現(xiàn)成的庫(kù)支持氓润，你要做的就是熟悉這些 API 怎么使用赂乐。

進(jìn)階之路

從數(shù)據(jù)的抓取到清洗再到存儲(chǔ)的基本流程都走完了，也算是基本入門(mén)了咖气，接下來(lái)就是考驗(yàn)內(nèi)功的時(shí)候了挨措，很多網(wǎng)站都設(shè)有反爬蟲(chóng)策略，他們想方設(shè)法阻止你用非正常手段獲取數(shù)據(jù)崩溪，比如會(huì)有各種奇奇怪怪的驗(yàn)證碼限制你的請(qǐng)求操作浅役、對(duì)請(qǐng)求速度做限制，對(duì)IP做限制伶唯、甚至對(duì)數(shù)據(jù)進(jìn)行加密操作担租，總之，就是為了提高獲取數(shù)據(jù)的成本抵怎。這時(shí)你需要掌握的知識(shí)就要更多了，你需要深入理解 HTTP 協(xié)議岭参，你需要理解常見(jiàn)的加解密算法反惕，你要理解 HTTP 中的 cookie，HTTP 代理演侯，HTTP中的各種HEADER姿染。爬蟲(chóng)與反爬蟲(chóng)就是相愛(ài)相殺的一對(duì)，道高一次魔高一丈秒际。

如何應(yīng)對(duì)反爬蟲(chóng)沒(méi)有既定的統(tǒng)一的解決方案悬赏，靠的是你的經(jīng)驗(yàn)以及你所掌握的知識(shí)體系。這不是僅憑21天入門(mén)教程就能達(dá)到的高度娄徊。

進(jìn)行大規(guī)模爬蟲(chóng)闽颇，通常都是從一個(gè)URL開(kāi)始爬，然后把頁(yè)面中解析的URL鏈接加入待爬的URL集合中寄锐，我們需要用到隊(duì)列或者優(yōu)先隊(duì)列來(lái)區(qū)別對(duì)待有些網(wǎng)站優(yōu)先爬兵多，有些網(wǎng)站后面爬。每爬去一個(gè)頁(yè)面橄仆，是使用深度優(yōu)先還是廣度優(yōu)先算法爬取下一個(gè)鏈接剩膘。每次發(fā)起網(wǎng)絡(luò)請(qǐng)求的時(shí)候，會(huì)涉及到一個(gè)DNS的解析過(guò)程（將網(wǎng)址轉(zhuǎn)換成IP）為了避免重復(fù)地 DNS 解析盆顾，我們需要把解析好的 IP 緩存下來(lái)怠褐。URL那么多，如何判斷哪些網(wǎng)址已經(jīng)爬過(guò)您宪，哪些沒(méi)有爬過(guò)奈懒，簡(jiǎn)單點(diǎn)就是是使用字典結(jié)構(gòu)來(lái)存儲(chǔ)已經(jīng)爬過(guò)的的URL奠涌，但是如果碰過(guò)海量的URL時(shí)，字典占用的內(nèi)存空間非常大筐赔，此時(shí)你需要考慮使用 Bloom Filter（布隆過(guò)濾器）铣猩，用一個(gè)線程逐個(gè)地爬取數(shù)據(jù)，效率低得可憐茴丰，如果提高爬蟲(chóng)效率达皿，是使用多線程，多進(jìn)程還是協(xié)程贿肩，還是分布式操作峦椰，都需要反復(fù)實(shí)踐。