網(wǎng)絡(luò)爬蟲(chóng)的組成
網(wǎng)絡(luò)爬蟲(chóng)由控制節(jié)點(diǎn)梢灭，爬蟲(chóng)節(jié)點(diǎn)乎折，資源庫(kù)構(gòu)成悔橄。
- 控制節(jié)點(diǎn)（爬蟲(chóng)的中央控制器）：主要負(fù)責(zé)根據(jù)URL地址分配線程靶累，并調(diào)用爬蟲(chóng)節(jié)點(diǎn)進(jìn)行具體的爬行。
- 爬蟲(chóng)節(jié)點(diǎn)會(huì)按照相關(guān)的算法癣疟，對(duì)網(wǎng)頁(yè)進(jìn)行具體的爬行挣柬，主要包括下載網(wǎng)頁(yè)以及對(duì)網(wǎng)頁(yè)的文本進(jìn)行處理，爬行后睛挚，會(huì)將對(duì)應(yīng)的爬行結(jié)果存儲(chǔ)到對(duì)應(yīng)的資源庫(kù)中邪蛔。
網(wǎng)絡(luò)爬蟲(chóng)的類型
網(wǎng)絡(luò)爬蟲(chóng)可分為通用網(wǎng)絡(luò)爬蟲(chóng)，聚焦網(wǎng)絡(luò)爬蟲(chóng)扎狱，增量式網(wǎng)絡(luò)爬蟲(chóng)侧到，深層網(wǎng)絡(luò)爬蟲(chóng)等類型。
搜索引擎核心
網(wǎng)絡(luò)爬蟲(chóng)實(shí)現(xiàn)原理詳解
通用網(wǎng)絡(luò)爬蟲(chóng)
通用網(wǎng)絡(luò)爬蟲(chóng)的實(shí)現(xiàn)原理及過(guò)程可以簡(jiǎn)要概括如下：
1）獲取初始的URL委乌。
2）根據(jù)初始的URL爬取頁(yè)面床牧，并獲得新的URL。
3）將新的URL放到URL隊(duì)列中遭贸。
4）從URL隊(duì)列中讀取新的URL戈咳，并依據(jù)新的URL爬取網(wǎng)頁(yè)，同時(shí)從新網(wǎng)頁(yè)中獲取URL壕吹，并重復(fù)上述的爬取過(guò)程著蛙。
5）滿足爬蟲(chóng)系統(tǒng)設(shè)置的停止，停止爬取耳贬。
聚焦網(wǎng)絡(luò)爬蟲(chóng)
1）對(duì)爬取目標(biāo)的定義和描述踏堡。
2）獲取初始的URL。
3）根據(jù)初始的URL爬取頁(yè)面咒劲，并獲得新的URL顷蟆。
4）從新的URL中過(guò)濾掉與爬取目標(biāo)無(wú)關(guān)的鏈接诫隅。
5）將過(guò)濾后的鏈接放到URL隊(duì)列中。
6）從URL隊(duì)列中帐偎，根據(jù)搜索算法逐纬，確定URL的優(yōu)先級(jí)，并確定下一步要爬取的URL地址削樊。
7）從下一步要爬取的URL地址中豁生，讀取新的URL，然后依據(jù)新的URL地址爬取網(wǎng)頁(yè)漫贞，并重復(fù)上述爬取過(guò)程甸箱。
8）滿足系統(tǒng)中設(shè)置的停止條件時(shí)，或無(wú)法獲取新的URL地址時(shí)迅脐，停止爬行芍殖。
爬行策略
爬行策略主要有深度優(yōu)先爬行策略，廣度優(yōu)先爬行策略仪际，大戰(zhàn)優(yōu)先策略围小，反鏈策略昵骤，其他爬行策略等树碱。
1）深度優(yōu)先爬行策略：會(huì)先爬取一個(gè)網(wǎng)頁(yè)，然后將這個(gè)網(wǎng)頁(yè)的下層鏈接依次深入爬取完再返回上一層進(jìn)行爬取变秦。
爬行順序：A->D->E->B->C->F_>G
2）廣度優(yōu)先爬行策略：會(huì)爬取同一層次的網(wǎng)頁(yè)成榜，將同一層次的網(wǎng)頁(yè)全部爬取完后，再選擇下一個(gè)層次的網(wǎng)頁(yè)取爬行蹦玫。
爬行順序：A->B->C->D->E->F_>G
3）大站爬行策略：安照對(duì)應(yīng)網(wǎng)頁(yè)所屬的站點(diǎn)進(jìn)行歸類赎婚，如果某個(gè)網(wǎng)站的網(wǎng)頁(yè)數(shù)量多，那么我們則將其稱為大站樱溉，優(yōu)先爬取大戰(zhàn)中的網(wǎng)頁(yè)URL地址挣输。
4）反鏈策略：指的是該網(wǎng)頁(yè)被其他網(wǎng)頁(yè)指向的次數(shù)，這個(gè)次數(shù)在一定程度上代表著該網(wǎng)頁(yè)被其他網(wǎng)頁(yè)的推薦次數(shù)福贞，優(yōu)先爬取反鏈數(shù)量多的網(wǎng)頁(yè)撩嚼。
除此之外，還有OPIC策略挖帘，PartialPageRank策略等完丽。
網(wǎng)頁(yè)更新策略
網(wǎng)頁(yè)更新策略主要有用戶體驗(yàn)策略，歷史數(shù)據(jù)策略拇舀，聚類分析策略等逻族。
1）用戶體驗(yàn)策略：大部分用戶都只會(huì)關(guān)注排名靠前的網(wǎng)頁(yè)，所以在爬蟲(chóng)服務(wù)器資源有限的情況下骄崩，優(yōu)先爬取更新排名結(jié)果靠前的網(wǎng)頁(yè)聘鳞。
2）歷史數(shù)據(jù)策略：使用歷史數(shù)據(jù)策略來(lái)確定對(duì)網(wǎng)頁(yè)更新爬取的周期薄辅。
3）聚類分析策略：
- 網(wǎng)頁(yè)可能具有不同的內(nèi)容，但是一般來(lái)說(shuō)抠璃，具有類似熟悉的網(wǎng)頁(yè)长搀，其更新頻率類似。
- 首先對(duì)海量的網(wǎng)頁(yè)進(jìn)行聚類分析鸡典，在聚類后源请，會(huì)形成多個(gè)類，每個(gè)類中的網(wǎng)頁(yè)具有類似的屬性彻况，即一般具有類似的更新頻率谁尸。
- 聚類完成后，對(duì)同一個(gè)聚類中的網(wǎng)頁(yè)進(jìn)行抽樣纽甘，然后求該抽樣結(jié)果的平均更新值良蛮，從而確定對(duì)每個(gè)聚類的爬行頻率。
網(wǎng)頁(yè)分析算法
在搜索引擎中悍赢，爬蟲(chóng)爬取了對(duì)應(yīng)的網(wǎng)頁(yè)之后决瞳，會(huì)將網(wǎng)頁(yè)存儲(chǔ)到服務(wù)器的原始數(shù)據(jù)庫(kù)中，之后搜索引擎會(huì)對(duì)這些網(wǎng)頁(yè)進(jìn)行分析并確定各網(wǎng)頁(yè)的重要性左权，即會(huì)影響用戶搜索的排名結(jié)果皮胡。
網(wǎng)頁(yè)分析算法：基于用戶行為的網(wǎng)頁(yè)分析算法，基于網(wǎng)絡(luò)拓?fù)涞木W(wǎng)頁(yè)分析算法赏迟，基于網(wǎng)頁(yè)內(nèi)容的網(wǎng)頁(yè)分析算法屡贺。
基于用戶行為的網(wǎng)頁(yè)分析算法
依據(jù)用戶對(duì)這些網(wǎng)頁(yè)的訪問(wèn)行為，對(duì)這些網(wǎng)頁(yè)進(jìn)行平價(jià)锌杀。
基于網(wǎng)絡(luò)拓?fù)涞木W(wǎng)頁(yè)分析算法
依靠網(wǎng)頁(yè)的鏈接關(guān)系甩栈，結(jié)構(gòu)關(guān)系，已知網(wǎng)頁(yè)或數(shù)據(jù)等對(duì)網(wǎng)頁(yè)進(jìn)行分析的一種算法糕再。
基于網(wǎng)頁(yè)內(nèi)容的網(wǎng)頁(yè)分析算法
依據(jù)網(wǎng)頁(yè)的數(shù)據(jù)量没，文本等網(wǎng)頁(yè)內(nèi)容特征，對(duì)網(wǎng)頁(yè)進(jìn)行相應(yīng)的評(píng)價(jià)突想。
主要細(xì)分3種類型：基于網(wǎng)頁(yè)粒度的分析算法殴蹄，基于網(wǎng)頁(yè)塊粒度的分析算法，基于網(wǎng)站粒度的分析算法蒿柳。
1）基于網(wǎng)頁(yè)粒度的分析算法
根據(jù)網(wǎng)頁(yè)之間的鏈接關(guān)系對(duì)網(wǎng)頁(yè)的權(quán)重進(jìn)行計(jì)算饶套，并可以依靠這些計(jì)算出來(lái)的權(quán)重，對(duì)網(wǎng)頁(yè)進(jìn)行排名垒探。
2）基于網(wǎng)頁(yè)塊粒度的分析算法
也是依靠網(wǎng)頁(yè)間鏈接關(guān)系進(jìn)行計(jì)算妓蛮，但是計(jì)算規(guī)則有所不同，需要對(duì)一個(gè)網(wǎng)頁(yè)中的外部鏈接劃分層次圾叼，不同外部鏈接對(duì)于該網(wǎng)頁(yè)來(lái)說(shuō)蛤克，其重要程度不同捺癞。
3）基于網(wǎng)站粒度的分析算法
依據(jù)網(wǎng)頁(yè)的數(shù)據(jù)，文本等網(wǎng)頁(yè)內(nèi)容特征构挤，對(duì)網(wǎng)頁(yè)進(jìn)行相應(yīng)的評(píng)價(jià)髓介。
身份識(shí)別
在爬蟲(chóng)對(duì)網(wǎng)頁(yè)爬取的過(guò)程中，爬蟲(chóng)必然需要訪問(wèn)對(duì)應(yīng)的網(wǎng)頁(yè)筋现，正規(guī)的爬蟲(chóng)一般會(huì)告訴對(duì)應(yīng)網(wǎng)頁(yè)的網(wǎng)站站長(zhǎng)其爬蟲(chóng)身份唐础。網(wǎng)站的管理員則可以通過(guò)爬蟲(chóng)告知的身份信息對(duì)爬蟲(chóng)的身份進(jìn)行識(shí)別，我們稱這個(gè)過(guò)程為爬蟲(chóng)的身份識(shí)別過(guò)程矾飞。
