本系列文章共十篇：
【爬蟲(chóng)成長(zhǎng)之路】（一）爬蟲(chóng)系列文章導(dǎo)讀
【爬蟲(chóng)成長(zhǎng)之路】（二）各篇需要用到的庫(kù)和工具
【爬蟲(chóng)成長(zhǎng)之路】（三）【大眾點(diǎn)評(píng)】selenium爬蟲(chóng)
【爬蟲(chóng)成長(zhǎng)之路】（四）【大眾點(diǎn)評(píng)】selenium登錄+requests爬取數(shù)據(jù)
【爬蟲(chóng)成長(zhǎng)之路】（五）【大眾點(diǎn)評(píng)】瀏覽器掃碼登錄+油猴直接爬取數(shù)據(jù)
【爬蟲(chóng)成長(zhǎng)之路】（六）【大眾點(diǎn)評(píng)】mitmproxy中間人代理爬蟲(chóng)
【爬蟲(chóng)成長(zhǎng)之路】（七）【大眾點(diǎn)評(píng)】PC微信小程序+requests爬取數(shù)據(jù)
【爬蟲(chóng)成長(zhǎng)之路】（八）【大眾點(diǎn)評(píng)】安卓APP爬蟲(chóng)
一减江、爬蟲(chóng)系列教程共十篇帘靡，可分為如下六個(gè)部分：
| 序號(hào) | 章節(jié) | 介紹 |
|---|---|---|
| 1 | 第一章 | 對(duì)本系列文章做一個(gè)總體上的介紹斧蜕，便于讀者了解篇章結(jié)構(gòu)跨细，按需閱讀 |
| 2 | 第二章 | 介紹本系列文章需要用到的技術(shù)和工具臭猜，以及相關(guān)的技術(shù)教程 |
| 3 | 第三~七章 | 對(duì)大眾點(diǎn)評(píng)WEB端所采用的一系列爬蟲(chóng)技術(shù) |
| 4 | 第八章 | 大眾點(diǎn)評(píng)PC端小程序爬蟲(chóng) |
| 5 | 第九章 | 大眾點(diǎn)評(píng)APP端爬蟲(chóng) |
| 6 | 第十章 | 對(duì)實(shí)戰(zhàn)環(huán)節(jié)用的文章中用到的加解密算法&反爬技術(shù)做一個(gè)總結(jié)躺酒，讀者日后開(kāi)發(fā)網(wǎng)站時(shí)也可借鑒 |
二、系列文章說(shuō)明
爬蟲(chóng)技術(shù)涉及到的知識(shí)非常多蔑歌，文章不會(huì)對(duì)所有爬蟲(chóng)技術(shù)做細(xì)致全面的講解羹应，所以本系列的文章也不適合零基礎(chǔ)的同學(xué)，零基礎(chǔ)的同學(xué)可以先學(xué)完基礎(chǔ)知識(shí)后再來(lái)閱讀本系列文章次屠。
-
本系列文章
適合以下讀者：- 有了解過(guò)爬蟲(chóng)技術(shù)园匹，會(huì)Python的基礎(chǔ)語(yǔ)法，知道HTTP通信過(guò)程劫灶；
- 寫(xiě)過(guò)簡(jiǎn)單的靜態(tài)頁(yè)面裸违，希望技術(shù)能進(jìn)一步提高；
- 熟悉Java本昏、JavaScript基本語(yǔ)法供汛；
- 有安卓逆向基礎(chǔ)；
-
本系列文章
不適合以下讀者：- 完全不了解計(jì)算機(jī)網(wǎng)絡(luò)相關(guān)知識(shí)，尤其是HTTP通信過(guò)程（參考學(xué)習(xí)：1.HTTP 協(xié)議入門(mén)怔昨、 2.關(guān)于HTTP協(xié)議雀久，一篇就夠了、3.計(jì)算機(jī)網(wǎng)絡(luò)自學(xué)指南趁舀，簡(jiǎn)直太全了赖捌！）；
- 不會(huì)Python基礎(chǔ)語(yǔ)法（參考學(xué)習(xí)：1.Python 基礎(chǔ)語(yǔ)法矮烹、2.Python基礎(chǔ)）越庇；
-
為什么選擇大眾點(diǎn)評(píng)作為爬取對(duì)象
- 大眾點(diǎn)評(píng)用戶群體活躍，善于發(fā)表評(píng)價(jià)擂送，所以數(shù)據(jù)總量足夠滿足用于機(jī)器學(xué)習(xí)等任務(wù)悦荒；
- 大眾點(diǎn)評(píng)的反爬技術(shù)比其他網(wǎng)站更為復(fù)雜，具有代表性嘹吨；
三搬味、什么是爬蟲(chóng)技術(shù)
爬蟲(chóng)是指用程序模擬瀏覽器向服務(wù)器發(fā)起請(qǐng)求的程序。爬蟲(chóng)技術(shù)并不是什么很厲害的技術(shù)蟀拷，但是隨著爬蟲(chóng)和反爬技術(shù)對(duì)抗升級(jí)碰纬，現(xiàn)在的需要爬取到有價(jià)值的數(shù)據(jù)變得十分困難，尤其是機(jī)器學(xué)習(xí)需要用到大量數(shù)據(jù)的時(shí)候问芬，購(gòu)買(mǎi)第三方的數(shù)據(jù)十分昂貴且不一定會(huì)賣悦析。所以對(duì)需要用到數(shù)據(jù)分析和機(jī)器學(xué)習(xí)的同學(xué)來(lái)說(shuō)，學(xué)習(xí)爬蟲(chóng)技術(shù)還是有一定的必要性的此衅。
四强戴、閱讀聲明
- 技術(shù)從來(lái)都是一把雙刃劍，使用爬蟲(chóng)技術(shù)可以獲取到自己想要獲取到的數(shù)據(jù)挡鞍，但絕不可在短時(shí)間內(nèi)向?qū)Ψ椒?wù)器發(fā)起大量請(qǐng)求骑歹，這會(huì)導(dǎo)致對(duì)方服務(wù)器崩潰，數(shù)據(jù)爬取的過(guò)程中不可影響對(duì)方服務(wù)器正常運(yùn)行墨微。對(duì)于需要大量數(shù)據(jù)的同學(xué)應(yīng)該盡量拉長(zhǎng)時(shí)間道媚，慢慢爬取。
- 文中僅對(duì)爬蟲(chóng)技術(shù)以及爬取思路進(jìn)行講解翘县，不透露程序中的加密參數(shù)的相關(guān)秘鑰最域，防止被人濫用，造成對(duì)方服務(wù)器宕機(jī)锈麸。
- 本系列文章主要是為想學(xué)習(xí)爬蟲(chóng)技術(shù)的同學(xué)提供當(dāng)前最新的教程镀脂，爬蟲(chóng)文章的時(shí)效性太強(qiáng)了，所以寫(xiě)文章的時(shí)候還可以用的方法忘伞，可能過(guò)些時(shí)日就行不通了狗热，加上大眾點(diǎn)評(píng)更新頻率很高钞馁，這種這種情況更為明顯，所以如果失效了大家學(xué)習(xí)下思路就好匿刮。
- 爬取到的數(shù)據(jù)僅供自己學(xué)習(xí)研究使用僧凰。
FQA
如果你在學(xué)習(xí)過(guò)程中遇到任何問(wèn)題，可在評(píng)論中留言熟丸、私信或發(fā)送郵件給我训措，看到會(huì)回復(fù)
注：
- 如果您不希望我在文章提及您文章的鏈接，或是對(duì)您的服務(wù)器造成了損害光羞，請(qǐng)聯(lián)系我對(duì)文章進(jìn)行修改绩鸣；
- 本文僅爬取公開(kāi)數(shù)據(jù)，不涉及到用戶隱私纱兑；
