隨著大數(shù)據(jù)時(shí)代的來臨押袍，網(wǎng)絡(luò)爬蟲顯得越來越重要了匪蝙，互聯(lián)網(wǎng)中的數(shù)據(jù)是海量的祟印，如何高效獲取我們感興趣的信息是一個(gè)重要的問題温学。
爬蟲類型
通用網(wǎng)絡(luò)爬蟲：主要用于大型搜索引擎
比如用戶在百度搜索引擎上檢索對(duì)應(yīng)關(guān)鍵詞時(shí)，百度將對(duì)關(guān)鍵詞進(jìn)行分析處理钙畔，從收錄的網(wǎng)頁中找出相關(guān)的再根據(jù)一定的排名規(guī)則進(jìn)行排序后展現(xiàn)給用戶茫陆，那么就需要盡可能多的互聯(lián)網(wǎng)的優(yōu)質(zhì)網(wǎng)頁
聚焦網(wǎng)絡(luò)爬蟲：也叫主題網(wǎng)絡(luò)爬蟲，爬取的目標(biāo)網(wǎng)頁定位在與主題相關(guān)的頁面中擎析，主要為某一類特定的人群提供服務(wù)簿盅，可以節(jié)省大量的服務(wù)器資源和帶寬資源
比如要獲取某一垂直領(lǐng)域的數(shù)據(jù)或有明確的檢索需求，此時(shí)需要過濾掉一些無用的信息
爬蟲的作用
市場分析：電商分析揍魂、商圈分析桨醋、一二級(jí)市場分析等
市場監(jiān)控：電商、新聞现斋、房源監(jiān)控等
商機(jī)發(fā)現(xiàn)：招投標(biāo)情報(bào)發(fā)現(xiàn)喜最、客戶資料發(fā)掘、企業(yè)客戶發(fā)現(xiàn)等
認(rèn)識(shí)網(wǎng)址的構(gòu)成
一般一個(gè)網(wǎng)站的網(wǎng)址=域名+自己編寫的頁面庄蹋，我們?cè)谠L問同一網(wǎng)站的網(wǎng)頁時(shí)瞬内，域名一般是不會(huì)改變的，因此我們爬蟲所需要解析的就是網(wǎng)站自己所編寫的不同頁面的入口url限书，只有解析出來各個(gè)頁面的入口虫蝶，才能開始爬蟲
了解網(wǎng)頁的兩種加載方法
-
同步加載：會(huì)阻止瀏覽器的后續(xù)處理，停止了后續(xù)的文件的解析倦西，執(zhí)行能真，網(wǎng)頁的內(nèi)容（HTML、XML扰柠、圖像等等）舟陆、整理訊息（例如加入CSS等），然后輸出至顯示器或打印機(jī)耻矮，也就是常說的渲染引擎
例如：www.itjuzi.com/company?page=1（改變page的值，網(wǎng)頁內(nèi)容會(huì)發(fā)生改變） -
異步加載：通過AJAX加載忆谓，改變網(wǎng)址上的參數(shù)不會(huì)使網(wǎng)頁發(fā)生改變裆装，瀏覽器在下載js的同時(shí)，同時(shí)還會(huì)執(zhí)行后續(xù)的頁面處理倡缠，通過解析和執(zhí)行 javascript 來實(shí)現(xiàn)網(wǎng)頁的動(dòng)態(tài)效果哨免。
通常情況非常耗時(shí)的處理，例如下載昙沦、處理圖片琢唾、大計(jì)算等，那么肯定需要異步加載盾饮，加載完成后同步顯示到列表中
例如：www.lagou.com/gongsi/（翻頁后網(wǎng)址不會(huì)發(fā)生變化采桃，需要找規(guī)律）
www.toutiao.com（通過鼠標(biāo)滑動(dòng)動(dòng)態(tài)加載內(nèi)容）
如何進(jìn)行區(qū)分懒熙？
1、修改設(shè)置普办，把JavaScript由“允許”改為“阻止”工扎，重新刷新頁面，若網(wǎng)頁正常加載衔蹲，說明該網(wǎng)頁的加載方式是同步加載肢娘，否則就是異步加載
2、網(wǎng)站右擊查看網(wǎng)頁源代碼
（1）通常同步加載的數(shù)據(jù)能直接在網(wǎng)頁源代碼中查看到舆驶，異步加載的數(shù)據(jù)是看不到的
如：網(wǎng)易音樂橱健、知乎的Python精華板塊
（2）或者數(shù)據(jù)能找到但是雜亂無章的，無法通過解析工具將它匹配出來
如：知乎網(wǎng)站“輪子哥——vczh”
認(rèn)識(shí)網(wǎng)頁源碼的構(gòu)成
網(wǎng)頁右擊查看源代碼沙廉，一般由三個(gè)部分組成拘荡，分別是：
- html：描述網(wǎng)頁的內(nèi)容結(jié)構(gòu)（網(wǎng)頁骨架）
- css：描述網(wǎng)頁的排版布局
- JavaScript：動(dòng)態(tài)執(zhí)行語言，描述網(wǎng)頁的事件處理蓝仲，即鼠標(biāo)或鍵盤在網(wǎng)頁元素上的動(dòng)作后的程序
查看網(wǎng)頁請(qǐng)求
以chrome瀏覽器為例俱病，在網(wǎng)頁上點(diǎn)擊鼠標(biāo)右鍵，檢查（或者F12）袱结，選擇Network亮隙，選擇一個(gè)鏈接
請(qǐng)求頭（Request Headers）信息詳解：
響應(yīng)頭（Response Headers）信息詳解：
理解網(wǎng)頁請(qǐng)求過程
從瀏覽器輸入網(wǎng)址、回車后垢夹，到用戶看到網(wǎng)頁內(nèi)容溢吻，經(jīng)過的步驟如下：
（1）dns解析，獲取ip地址果元；
（2）建立TCP連接促王，3次握手；
（3）發(fā)送HTTP請(qǐng)求報(bào)文而晒；
（4）服務(wù)器接收請(qǐng)求并作處理蝇狼；
（5）服務(wù)器發(fā)送HTTP響應(yīng)報(bào)文；
（6）斷開TCP連接倡怎，4次握手迅耘。
通用的網(wǎng)絡(luò)爬蟲框架
1、挑選種子URL监署；
2颤专、將這些URL放入待抓取的URL隊(duì)列；
3钠乏、取出待抓取的URL栖秕，下載并存儲(chǔ)進(jìn)已下載網(wǎng)頁庫中。此外晓避，將這些URL放入待抓取URL隊(duì)列簇捍，從而進(jìn)入下一循環(huán)只壳；
4、分析已抓取隊(duì)列中的URL垦写，并且將URL放入待抓取URL隊(duì)列吕世，從而進(jìn)入下一循環(huán)。
爬蟲三步走
1梯投、獲取數(shù)據(jù)：Requests（第三方庫）命辖、Urllib
2、解析數(shù)據(jù)：BeautifulSoup4分蓖、Xpath尔艇、正則表達(dá)式
正則表達(dá)式使用比較困難，學(xué)習(xí)成本較高
BeautifulSoup性能較慢么鹤，相對(duì)于Xpath較難终娃，在某些特定場景下有用
-
Xpath使用簡單，速度快（Xpath是lxml里面的一種）蒸甜，是抓取數(shù)據(jù)最好的選擇
解析數(shù)據(jù).png
3棠耕、保存數(shù)據(jù)：Pandas庫
- 本地(csv、xls)
- 數(shù)據(jù)庫(Mysql柠新、MongoDB)
