我們可以把網(wǎng)路比作一張大網(wǎng)象泵，而爬蟲便是在網(wǎng)上爬行的蜘蛛文搂，可以把網(wǎng)的節(jié)點(diǎn)比作一個(gè)個(gè)網(wǎng)頁，爬蟲爬到這就相當(dāng)于訪問了該頁面獲取了信息，節(jié)點(diǎn)間的連線比作網(wǎng)頁與網(wǎng)頁間的鏈接土陪，這樣蜘蛛通過一個(gè)節(jié)點(diǎn)后可以順著節(jié)點(diǎn)連線繼續(xù)爬行到下一個(gè)節(jié)點(diǎn)昼汗，即通過一個(gè)網(wǎng)頁繼續(xù)獲取后續(xù)的網(wǎng)頁，這樣整個(gè)網(wǎng)頁的節(jié)點(diǎn)便可以被蜘蛛全部爬行鬼雀，這樣網(wǎng)站的數(shù)據(jù)就可以被抓去下來了顷窒。

1.爬蟲概述

爬蟲就是獲取網(wǎng)頁信息并提取和保存信息的自動(dòng)化程序，接下來對(duì)個(gè)點(diǎn)進(jìn)行說明：

獲取網(wǎng)頁

爬蟲的第一步工作是獲取網(wǎng)頁源哩，在這里獲取網(wǎng)頁就是獲取網(wǎng)頁的源代碼鞋吉，源代碼里包含網(wǎng)頁的部分有用信息，只要把源代碼獲取下來励烦，就可以從中提取我們想要的信息谓着。

獲取網(wǎng)頁源代碼的關(guān)鍵是構(gòu)造一個(gè)Request并發(fā)送給服務(wù)器，然后接收到Response并將其解析坛掠，我們可以使用Python中提供的庫來實(shí)現(xiàn)這個(gè)操作赊锚，如Urllib、Requests等屉栓，Request和Response都可以用類庫提供數(shù)據(jù)結(jié)構(gòu)來表示舷蒲，得到Response之后只需解析數(shù)據(jù)結(jié)構(gòu)中的Body部分即可，也就是網(wǎng)頁源代碼系瓢。

提取信息

在完成第一步獲取網(wǎng)頁源代碼后阿纤，接下來就是分析網(wǎng)頁源代碼，從中提取我們想要的數(shù)據(jù)夷陋，主要有兩種方法來提取信息：

第一種方法欠拾，通過正則表達(dá)式提取，這是一個(gè)萬能的方法骗绕，但在構(gòu)造正則表達(dá)式的時(shí)候比較復(fù)雜且容易出錯(cuò)藐窄。

第二種方法，網(wǎng)頁的結(jié)構(gòu)是有一定規(guī)則的酬土，所以有一些根據(jù)網(wǎng)頁節(jié)點(diǎn)屬性荆忍、CSS選擇器或XPath來提取網(wǎng)頁信息的庫，如BeautifulSoup撤缴、PyQuery刹枉、LXML等，使用這些庫可以高效快速地從網(wǎng)頁中提取信息屈呕，如節(jié)點(diǎn)的屬性微宝、文本值等內(nèi)容。

提取信息是爬蟲非常重要的部分虎眨，可以使雜亂的數(shù)據(jù)變得清晰條理蟋软，以便于我們后續(xù)對(duì)數(shù)據(jù)進(jìn)行處理和分析镶摘。

保存數(shù)據(jù)

提取數(shù)據(jù)后我們一般會(huì)將提取到的數(shù)據(jù)保存在某處以便后續(xù)處理數(shù)據(jù)使用。保存形式有很多種岳守，可以簡單保存為TXT文本或Json文本凄敢，也可以保存到數(shù)據(jù)庫，如MySQL湿痢、MongoDB等涝缝，也可保存至遠(yuǎn)程服務(wù)器，如借助Sftp進(jìn)行操作等蒙袍。

自動(dòng)化程序

即爬蟲可以代替人來完成上述工作俊卤，我們可以手工提取這些信息，但當(dāng)量特別大或者想快速獲取大量數(shù)據(jù)的話就需要借助程序了害幅。爬蟲就是代替我們來完成這份爬取數(shù)據(jù)的工作的自動(dòng)化程序消恍，它可以在抓去過程中進(jìn)行各種異常處理、錯(cuò)誤重試等操作以现，確保爬取持續(xù)有效地運(yùn)行狠怨。

2.能抓取怎樣的數(shù)據(jù)

HTML源代碼，在網(wǎng)頁中可以看到各種各樣的信息邑遏，最常見的便是常規(guī)網(wǎng)頁诚亚，其都對(duì)應(yīng)著HTML代碼闹蒜。

Json字符串，有些網(wǎng)頁返回的不是HTML代碼，而是返回一個(gè)Json字符串帅霜，API接口大多采用這樣的方式薄声，方便數(shù)據(jù)的傳輸和解析荒勇，這種數(shù)據(jù)同樣可以抓取要糊，而且數(shù)據(jù)提取更加方便。

二進(jìn)制數(shù)據(jù)碾盟，網(wǎng)頁中還有各種二進(jìn)制數(shù)據(jù)棚辽，如圖片、視頻冰肴、音頻等屈藐，我們可以利用爬蟲將它們的二進(jìn)制數(shù)據(jù)抓取下來，然后保存對(duì)應(yīng)的文件名熙尉。

各種擴(kuò)展名的文件联逻，如CSS、JavaScript检痰、配置文件等包归，這些也是普通的文件，只要在瀏覽器里能訪問到就可以將其抓取下來攀细。

以上內(nèi)容都對(duì)應(yīng)著各自的URL箫踩，是基于HTTP或HTTPS協(xié)議的，只要是這種數(shù)據(jù)都可以進(jìn)行抓取谭贪。

3.JavaScript渲染頁面

有時(shí)在用Urllib或Requests抓取網(wǎng)頁時(shí)境钟，得到的源代碼和瀏覽器中看到的是不一樣的。

這是一個(gè)常見問題俭识，現(xiàn)在網(wǎng)頁越來越多采用Ajax慨削、前端模塊化工具來構(gòu)建頁面，整個(gè)網(wǎng)頁可能都是JavaScript渲染出來的套媚，意思就是說原始的HTML代碼就是一個(gè)空殼缚态。

對(duì)于一個(gè)使用JavaScript渲染出來的網(wǎng)頁，在使用Urllib或Requests等庫來請(qǐng)求頁面時(shí)堤瘤，得到的只是HTML代碼玫芦，它不會(huì)幫助我們繼續(xù)加載JavaScript文件，這樣也就看不到瀏覽器中的內(nèi)容了本辐。對(duì)于這種情況桥帆，我們可以分析其后臺(tái)Ajax接口，也可使用Selenium慎皱、Splash這樣的庫來實(shí)現(xiàn)JavaScript渲染老虫，這樣我們便可以爬取JavaScript渲染頁面的內(nèi)容。