作為程序員歌径，相信大家對(duì)“爬蟲(chóng)”這個(gè)詞并不陌生，身邊常常會(huì)有人提這個(gè)詞省艳，在不了解它的人眼中娘纷，會(huì)覺(jué)得這個(gè)技術(shù)很高端很神秘。不用著急跋炕，我們的爬蟲(chóng)系列就是帶你去揭開(kāi)它的神秘面紗赖晶，探尋它真實(shí)的面目。
網(wǎng)絡(luò)爬蟲(chóng)（又被稱為網(wǎng)頁(yè)蜘蛛辐烂，網(wǎng)絡(luò)機(jī)器人）遏插，是一種按照一定的規(guī)則，自動(dòng)地抓取萬(wàn)維網(wǎng)信息的程序或者腳本纠修。另外一些不常使用的名字還有螞蟻胳嘲、自動(dòng)索引、模擬程序或者蠕蟲(chóng)扣草。
通俗地講了牛，我們把互聯(lián)網(wǎng)比作一張大蜘蛛網(wǎng)颜屠，每個(gè)站點(diǎn)資源比作蜘蛛網(wǎng)上的一個(gè)結(jié)點(diǎn)，爬蟲(chóng)就像一只蜘蛛鹰祸，按照設(shè)計(jì)好的路線和規(guī)則在這張蜘蛛網(wǎng)上找到目標(biāo)結(jié)點(diǎn)甫窟，獲取資源。
為什么我們需要使用爬蟲(chóng)呢福荸？
大家可以想象一下一個(gè)場(chǎng)景：你非常崇拜一個(gè)微博名人蕴坪，你想把他十年來(lái)微博上的每一句話摘抄下來(lái)，制作成名人語(yǔ)錄敬锐。這個(gè)時(shí)候你怎么辦呢？手動(dòng)去 Ctrl+C 和 Ctrl+V 嗎呆瞻？這種方法確實(shí)沒(méi)錯(cuò)台夺，數(shù)據(jù)量小的時(shí)候我們還可以這樣做，但是數(shù)據(jù)成千上萬(wàn)的時(shí)候你還要這樣做嗎痴脾？
我們?cè)賮?lái)想象另一個(gè)場(chǎng)景：我們要做一個(gè)新聞聚合網(wǎng)站颤介，每天需要定時(shí)去幾個(gè)新聞網(wǎng)站獲取最新的新聞，我們稱之為 RSS 訂閱赞赖。難道我們定時(shí)去各個(gè)訂閱網(wǎng)站復(fù)制新聞嗎滚朵？
上面兩種場(chǎng)景，使用爬蟲(chóng)技術(shù)可以很輕易地解決問(wèn)題前域。爬蟲(chóng)技術(shù)主要可以幫助我們做兩類事情：一類是數(shù)據(jù)獲取需求辕近，主要針對(duì)大數(shù)據(jù)量的信息獲取匿垄；另一類是自動(dòng)化需求移宅，主要應(yīng)用在類似信息聚合、搜索等方面椿疗。
從爬取對(duì)象來(lái)看漏峰，爬蟲(chóng)可以分為通用爬蟲(chóng)和聚焦爬蟲(chóng)兩類。
通用網(wǎng)絡(luò)爬蟲(chóng)又稱全網(wǎng)爬蟲(chóng)（Scalable Web Crawler）届榄，爬行對(duì)象從一些種子 URL 擴(kuò)充到整個(gè) Web浅乔，主要為搜索引擎和大型 Web 服務(wù)提供商采集數(shù)據(jù)。這類網(wǎng)絡(luò)爬蟲(chóng)的爬取范圍和數(shù)量巨大铝条，對(duì)于爬行速度和存儲(chǔ)空間要求較高靖苇，對(duì)于爬行頁(yè)面的順序要求相對(duì)較低。例如我們常見(jiàn)的百度和谷歌搜索攻晒。我們輸入關(guān)鍵詞顾复，它們會(huì)從全網(wǎng)去找關(guān)鍵詞相關(guān)的網(wǎng)頁(yè)，并且按照一定的順序呈現(xiàn)給我們鲁捏。
聚焦網(wǎng)絡(luò)爬蟲(chóng)（Focused Crawler）芯砸，是指選擇性地爬取那些與預(yù)先定義好的主題相關(guān)頁(yè)面的網(wǎng)絡(luò)爬蟲(chóng)萧芙。和通用網(wǎng)絡(luò)爬蟲(chóng)相比，聚焦爬蟲(chóng)只需要爬取特定的網(wǎng)頁(yè)假丧，爬取的廣度會(huì)小很多双揪。例如我們需要爬取東方財(cái)富網(wǎng)的基金數(shù)據(jù)，我們只需要針對(duì)東方財(cái)富網(wǎng)的頁(yè)面制定規(guī)則爬取就行包帚。
在用戶瀏覽網(wǎng)頁(yè)的過(guò)程中渔期，我們可能會(huì)看到許多好看的圖片，比如?http://image.baidu.com/?渴邦，我們會(huì)看到幾張圖片以及百度搜索框疯趟，這個(gè)過(guò)程其實(shí)就是用戶輸入網(wǎng)址之后，經(jīng)過(guò)DNS服務(wù)器谋梭，找到服務(wù)器主機(jī)信峻，向服務(wù)器發(fā)出一個(gè)請(qǐng)求，服務(wù)器經(jīng)過(guò)解析之后瓮床，發(fā)送給用戶的瀏覽器 HTML盹舞、JS、CSS 等文件隘庄，瀏覽器解析出來(lái)踢步，用戶便可以看到形形色色的圖片了。
因此丑掺，用戶看到的網(wǎng)頁(yè)實(shí)質(zhì)是由 HTML 代碼構(gòu)成的获印，爬蟲(chóng)爬來(lái)的便是這些內(nèi)容，通過(guò)分析和過(guò)濾這些 HTML 代碼吼鱼，實(shí)現(xiàn)對(duì)圖片蓬豁、文字等資源的獲取。
URL菇肃，即統(tǒng)一資源定位符地粪，也就是我們說(shuō)的網(wǎng)址，統(tǒng)一資源定位符是對(duì)可以從互聯(lián)網(wǎng)上得到的資源的位置和訪問(wèn)方法的一種簡(jiǎn)潔的表示琐谤，是互聯(lián)網(wǎng)上標(biāo)準(zhǔn)資源的地址蟆技。互聯(lián)網(wǎng)上的每個(gè)文件都有一個(gè)唯一的URL斗忌，它包含的信息指出文件的位置以及瀏覽器應(yīng)該怎么處理它质礼。
URL的格式由三部分組成：
①第一部分是協(xié)議(或稱為服務(wù)方式)。
②第二部分是存有該資源的主機(jī)IP地址(有時(shí)也包括端口號(hào))织阳。
③第三部分是主機(jī)資源的具體地址眶蕉，如目錄和文件名等。
爬蟲(chóng)爬取數(shù)據(jù)時(shí)必須要有一個(gè)目標(biāo)的 URL 才可以獲取數(shù)據(jù)唧躲，因此造挽，它是爬蟲(chóng)獲取數(shù)據(jù)的基本依據(jù)碱璃，準(zhǔn)確理解它的含義對(duì)爬蟲(chóng)學(xué)習(xí)有很大幫助。
我們接下來(lái)的篇章主要討論聚焦爬蟲(chóng)饭入，聚焦爬蟲(chóng)的工作流程如下圖：
①首先我們需要有一個(gè)種子URL隊(duì)列嵌器，這個(gè)隊(duì)列中的URL相當(dāng)于我們蜘蛛爬行的第一個(gè)結(jié)點(diǎn)，是我們?cè)诖缶W(wǎng)中爬行的第一步谐丢。
②對(duì)隊(duì)列中的每一個(gè)URL進(jìn)行請(qǐng)求爽航，我們會(huì)得到響應(yīng)內(nèi)容，通常響應(yīng)內(nèi)容為HTML乾忱。如果響應(yīng)內(nèi)容里面有我們的目標(biāo)URL讥珍，提取出來(lái)加入U(xiǎn)RL隊(duì)列中。
③解析響應(yīng)內(nèi)容饭耳，提取我們需要的數(shù)據(jù)串述。④存儲(chǔ)數(shù)據(jù)，我們可以將數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫(kù)寞肖、文件等。
本節(jié)給大家介紹了爬蟲(chóng)的基本概念衰腌，讓大家對(duì)爬蟲(chóng)有一個(gè)大致的了解新蟆，以便后續(xù)章節(jié)的學(xué)習(xí)。開(kāi)胃菜吃完了右蕊，下一節(jié)我們就要開(kāi)始吃大餐了喲琼稻，你準(zhǔn)備好了嗎？
