從這篇博客開始來具體的說搜索引擎的每一個(gè)核心模塊，先從爬蟲系統(tǒng)說起吧儒溉！
先來個(gè)大綱：
1宦焦、從爬蟲的設(shè)計(jì)角度看，優(yōu)秀的爬蟲應(yīng)該具備高性能顿涣，好的擴(kuò)展性波闹、健壯性和友好性。
2涛碑、從用戶體驗(yàn)角度來說精堕，對(duì)爬蟲的工作效果評(píng)價(jià)標(biāo)準(zhǔn)包括：抓取網(wǎng)頁的覆蓋率，抓取網(wǎng)頁的時(shí)新性和抓取網(wǎng)頁的重要性蒲障。
3歹篓、抓取策略，網(wǎng)頁更新策略揉阎，暗網(wǎng)抓取和分布式策略是爬蟲系統(tǒng)至關(guān)重要的四個(gè)方面內(nèi)容庄撮，基本決定了爬蟲系統(tǒng)的質(zhì)量和性能。
爬蟲的分類
1毙籽、批量型爬蟲
批量型爬蟲有比較明確的抓取范圍和目標(biāo)洞斯，當(dāng)爬蟲達(dá)到這個(gè)設(shè)定好的目標(biāo)后，就會(huì)停止抓取過程坑赡。具體的目標(biāo)可能會(huì)有差異烙如，也許是設(shè)定抓取一定數(shù)量的網(wǎng)頁么抗，也有可能是設(shè)定抓取的時(shí)間等。
2亚铁、增量型爬蟲
通用的商業(yè)搜索引擎基本都屬于增量型爬蟲蝇刀，增量型爬蟲會(huì)保持持續(xù)不斷的抓取行為，對(duì)于抓取到的網(wǎng)頁刀闷，要定期更新熊泵。為啥要定期更新呢？因?yàn)榛ヂ?lián)網(wǎng)網(wǎng)頁是動(dòng)態(tài)的甸昏，不斷的進(jìn)行變化，可能會(huì)新增網(wǎng)頁徐许，可能網(wǎng)頁被刪除施蜜，也有可能原有的網(wǎng)頁內(nèi)容被修改。
你應(yīng)該有那么一次在使用百度搜索網(wǎng)頁的時(shí)候雌隅，點(diǎn)開某個(gè)鏈接翻默，出現(xiàn)了404，這就說明百度對(duì)這個(gè)網(wǎng)頁的定期更新沒有做好恰起，從而造成用戶體驗(yàn)不好修械。不過對(duì)于海量的網(wǎng)頁進(jìn)行定期更新，難度是很大的检盼，所以出現(xiàn)這種現(xiàn)象是可以理解的肯污。
3、垂直型爬蟲
垂直型爬蟲關(guān)注特定的主題內(nèi)容或?qū)儆谀硞€(gè)行業(yè)的網(wǎng)頁吨枉，比如對(duì)于健康網(wǎng)站來說蹦渣，只需要從互聯(lián)網(wǎng)上抓取和健康相關(guān)的網(wǎng)頁內(nèi)容就可以，其他行業(yè)的內(nèi)容不予以考慮貌亭。不過這種特殊的需求也造成了它的技術(shù)難點(diǎn)柬唯，怎么識(shí)別出網(wǎng)頁內(nèi)容是否屬于指定行業(yè)或者主題。而且垂直型爬蟲最后需要的網(wǎng)頁內(nèi)容肯定是互聯(lián)網(wǎng)中的一小部分網(wǎng)頁圃庭，為了節(jié)約系統(tǒng)的資源锄奢，不可能把互聯(lián)網(wǎng)上的所有網(wǎng)頁都下載下來以后再去做特定主題網(wǎng)頁的篩選，那么就需要爬蟲在抓取階段就能夠動(dòng)態(tài)的識(shí)別某個(gè)網(wǎng)址是否與主題相關(guān)剧腻，并盡量不去抓取無關(guān)頁面拘央，從而去節(jié)省資源。
通用搜索引擎的話恕酸，主要就是說增量型爬蟲了堪滨。
搜索引擎的通用爬蟲架構(gòu)
1、在爬蟲開始抓取時(shí)蕊温，互聯(lián)網(wǎng)那么大袱箱，它不知道從何處開始抓取遏乔，所以需要給爬蟲一些起始url，比如那些流量非常大的網(wǎng)站发笔，hao123這種盟萨，上面有好多優(yōu)質(zhì)網(wǎng)站的鏈接，讓爬蟲從hao123這些網(wǎng)站開始爬取了讨，感覺比較靠譜哈捻激！這些起始url也叫做種子url。
2前计、爬蟲中一個(gè)最重要的部分就是待抓取url隊(duì)列胞谭，因?yàn)樗鼪Q定了爬蟲是否停止抓取，因?yàn)楫?dāng)隊(duì)列為空的時(shí)候男杈，也就是沒有url可供爬蟲使用了丈屹，所以爬蟲抓取任務(wù)就完成了！
3伶棒、爬蟲從待抓取url隊(duì)列中獲得即將抓取的url旺垒，然后DNS域名解析得到網(wǎng)站主機(jī)的實(shí)際網(wǎng)絡(luò)地址，這個(gè)時(shí)候爬蟲就要用這個(gè)地址去進(jìn)行正兒八經(jīng)的抓取數(shù)據(jù)操作了肤无，也就是下載網(wǎng)頁先蒋。
4、下載完網(wǎng)頁之后宛渐，要把這個(gè)網(wǎng)頁進(jìn)行存儲(chǔ)竞漾，就是存儲(chǔ)到網(wǎng)頁庫(kù)中，然后還要把該網(wǎng)頁的url地址加入到已抓取url隊(duì)列中皇忿，這個(gè)隊(duì)列主要是為了防止同一個(gè)url的網(wǎng)頁重復(fù)下載畴蹭，起到一個(gè)去重作用。
5鳍烁、其實(shí)最重要的一步就是從剛剛下載的網(wǎng)頁中抽取出在該網(wǎng)頁中出現(xiàn)的所有url叨襟，然后把這些url加入到待抓取的url隊(duì)列中，以保證爬蟲下一次的抓取幔荒。
其實(shí)很好理解糊闽，我如果要認(rèn)識(shí)世界上的所有人，那么一開始我會(huì)首先選擇一個(gè)社交能力很強(qiáng)爹梁，人緣好的人進(jìn)行交往右犹，在這里就是hao123，通過hao123我認(rèn)識(shí)了一點(diǎn)資訊姚垃，百度念链，京東，淘寶網(wǎng)等好朋友，一點(diǎn)資訊這些大網(wǎng)站就是從hao123這個(gè)網(wǎng)頁中抽取出來的掂墓，下一步我就要通過一點(diǎn)資訊谦纱，百度等人來認(rèn)識(shí)更多的人來擴(kuò)大我的交際圈，那么此時(shí)就需要把一點(diǎn)資訊等url加入到待抓取url隊(duì)列中去完成這個(gè)任務(wù)君编，然后一直重復(fù)這個(gè)流程跨嘉，直到你認(rèn)識(shí)了所有人，當(dāng)你認(rèn)識(shí)了所有人之后吃嘿，這個(gè)隊(duì)列就變空了祠乃，你的目標(biāo)已經(jīng)完成了！
再來扯點(diǎn)淡吧兑燥！說說爬蟲的特性亮瓷，怎么才算是好的爬蟲？
1降瞳、高性能：互聯(lián)網(wǎng)太大了寺庄，網(wǎng)頁太多了，怎么才能在短時(shí)間下載完這些網(wǎng)頁力崇？就是說下載要快。對(duì)于url隊(duì)列也要優(yōu)化赢织，網(wǎng)站那么多亮靴，url數(shù)量浩如煙海，需要設(shè)計(jì)高效的數(shù)據(jù)結(jié)構(gòu)來實(shí)現(xiàn)隊(duì)列于置。
2茧吊、可擴(kuò)展性：就是你的爬蟲系統(tǒng)對(duì)分布式是不是很友好，能不能實(shí)現(xiàn)動(dòng)態(tài)添加機(jī)器和下架機(jī)器八毯。目前實(shí)用的大型爬蟲系統(tǒng)一定是分布式運(yùn)行的搓侄，就是有多臺(tái)機(jī)器專門做抓取，每臺(tái)服務(wù)器部署多個(gè)爬蟲话速，每個(gè)爬蟲多線程運(yùn)行讶踪，通過多種方式增加并發(fā)性，上邊說的是所有抓取服務(wù)器在同一個(gè)數(shù)據(jù)中心的情況泊交。甚至說大型的搜索引擎在全球有不同的數(shù)據(jù)中心乳讥，在歐洲的數(shù)據(jù)中心專門負(fù)責(zé)抓取英國(guó)，法國(guó)等國(guó)家的網(wǎng)頁廓俭，在亞洲的數(shù)據(jù)中心專門負(fù)責(zé)抓取中國(guó)云石，日本等國(guó)家的網(wǎng)頁，因?yàn)樵L問本地的網(wǎng)頁比訪問遠(yuǎn)程網(wǎng)頁速度快研乒，所以不同地域數(shù)據(jù)中心分別抓取性能會(huì)更好汹忠。
3、健壯性：也就是你的爬蟲程序不會(huì)輕易崩潰，要能處理多種異常情況宽菜。
4谣膳、友好性：要保護(hù)被抓網(wǎng)站的部分私密性，也要減小被抓網(wǎng)站的壓力赋焕。你說你抓取人家的網(wǎng)站参歹，本來就是有點(diǎn)厚臉皮的事情，你還把別人的后臺(tái)鏈接等私密性東西抓出來公之于眾隆判，要不要點(diǎn)逼臉犬庇？人家的網(wǎng)站本來運(yùn)行的好好的，你用那么多機(jī)器去訪問人家網(wǎng)站侨嘀，不停的搞臭挽，不停的搞，最后形成DDOS分布式拒絕服務(wù)攻擊了咬腕，人家網(wǎng)站被你搞掛了欢峰，你心里能不能有點(diǎn)逼數(shù)？哈哈涨共，來點(diǎn)粗口的更加容易理解纽帖！
保護(hù)網(wǎng)站的私密性，主要是靠道德來約束的举反，體現(xiàn)在網(wǎng)站有一個(gè)robots.txt文件懊直，這個(gè)文件告訴所有搜索引擎，搜索引擎A可以抓取我的哪些內(nèi)容火鼻，不能抓取哪些內(nèi)容室囊，搜索引擎B可以抓取我的哪些內(nèi)容，不能抓取哪些內(nèi)容魁索。融撞。。
就拿簡(jiǎn)書來看一下吧粗蔚，訪問http://www.reibang.com/robots.txt
User-agent是指定搜索引擎尝偎，*代表所有的搜索引擎。
Disallow代表禁止抓取的內(nèi)容支鸡，一般是后臺(tái)目錄冬念。
再來一個(gè)內(nèi)容更加清晰的robots.txt
這些內(nèi)容其實(shí)都是網(wǎng)站自己寫的，任何一個(gè)搜索引擎都可以無視這些內(nèi)容牧挣，對(duì)網(wǎng)站進(jìn)行肆意的抓取急前。不過在道德層面的話，做人瀑构，不裆针，做搜索引擎也是要臉面的刨摩，所以一個(gè)友好的爬蟲要訪問被抓網(wǎng)站的robots.txt先看一下，訪問別人要有禮貌世吨，看看網(wǎng)站主人對(duì)你的待客之道是什么澡刹？如果人家都不歡迎你，你還賴著耘婚，我靠罢浇，要不要臉面了？當(dāng)然沐祷，你是的確可以賴著不走的嚷闭，畢竟腿長(zhǎng)在你自己身上！
抓取策略
1赖临、廣度優(yōu)先遍歷策略
我們大學(xué)學(xué)的數(shù)據(jù)結(jié)構(gòu)中關(guān)于二叉樹的遍歷你是不是還記得胞锰？
分為廣度優(yōu)先遍歷和深度優(yōu)先遍歷，廣度優(yōu)先就是把現(xiàn)在的幾個(gè)頁面都訪問完兢榨，然后再依次訪問這幾個(gè)頁面的子頁面（抽取出來的鏈接）嗅榕；而深度優(yōu)先遍歷則是一個(gè)頁面干到底，訪問一個(gè)頁面吵聪，直接再訪問這個(gè)頁面的子頁面凌那，然后訪問子頁面的子頁面，如此種種吟逝。案怯。。
這個(gè)策略直接看圖已經(jīng)很清楚了澎办，不再解釋了。
2金砍、非完全PageRank策略
這個(gè)方法是在PageRank上改的局蚀，因?yàn)镻ageRank方法需要所有的網(wǎng)頁數(shù)據(jù)才能進(jìn)行計(jì)算，也就是要對(duì)網(wǎng)頁進(jìn)行PageRank恕稠，那么就需要全網(wǎng)的網(wǎng)頁數(shù)據(jù)琅绅，顯然達(dá)不到這個(gè)要求，爬蟲的目的就是去爬取全網(wǎng)數(shù)據(jù)鹅巍，如果得到全網(wǎng)數(shù)據(jù)了千扶，還要爬蟲干雞毛搜囱。所以就產(chǎn)生了這種非完全的計(jì)算網(wǎng)頁鏈接關(guān)系排名的方法捅儒。
不可能每下載一個(gè)網(wǎng)頁就重新計(jì)算一下PageRank值缕减，所以一般是攢夠K個(gè)網(wǎng)頁才重新計(jì)算排名装畅，所以在下次重新計(jì)算排名之前获雕，那么新抽取出來的網(wǎng)頁鏈接怎么辦梳码，它們關(guān)于排名沒有任何數(shù)據(jù)鞍寤蟆必搞？所以會(huì)給這些新網(wǎng)頁一個(gè)臨時(shí)PageRank值，具體就是將所有入鏈該網(wǎng)頁的PageRank值進(jìn)行匯總充當(dāng)它的臨時(shí)PageRank值括饶。
全網(wǎng)的網(wǎng)頁是P1-P9株茶，我們現(xiàn)在已經(jīng)下載了P1-P3，待下載url隊(duì)列里邊是P4-P6图焰，那么我們要用PageRank計(jì)算的就是在P4启盛，P5，P6中技羔，應(yīng)該優(yōu)先下載誰僵闯？主要是利用P1-P6的數(shù)據(jù)計(jì)算PageRank，P7-P9的數(shù)據(jù)不用堕阔，因?yàn)閷儆谖粗墓鞒АＳ?jì)算后的結(jié)果是P5優(yōu)先下載，然后把P5中的鏈接抽出來超陆，就是P8了牺弹，此時(shí)賦予P8一個(gè)臨時(shí)的PageRank值，如果P8的值大于P4时呀，P6张漂，那么就優(yōu)先下載P8。
這個(gè)算法主要是計(jì)算出網(wǎng)頁的排名從而確定下載的優(yōu)先級(jí)谨娜，算法看起來很麻煩航攒，而廣度優(yōu)先遍歷就很簡(jiǎn)單啊，簡(jiǎn)單暴力趴梢，但是效果未必就比PageRank差澳蟆！
3坞靶、大站優(yōu)先策略
這個(gè)就更好理解了憔狞，大網(wǎng)站肯定比小網(wǎng)站下載優(yōu)先了！通過在url隊(duì)列中判斷url所對(duì)應(yīng)網(wǎng)站的知名度來確定下載順序彰阴。效果比廣度優(yōu)先遍歷好瘾敢！
4、OCIP策略（Online Page Importance Computation）
在線頁面重要性計(jì)算尿这，核心思想就是給互聯(lián)網(wǎng)的每一個(gè)網(wǎng)頁賦予一定的“金錢”簇抵，每當(dāng)下載某個(gè)頁面P后，P就將自己的所有金錢p平均分給頁面中包含的鏈接頁面射众，然后把自己的金錢清空碟摆。在url待下載隊(duì)列中，通過比較每個(gè)url的金錢多少來進(jìn)行排序叨橱，優(yōu)先下載金錢多的網(wǎng)頁焦履。效果還是很不錯(cuò)的拓劝，比廣度優(yōu)先遍歷好！
網(wǎng)頁更新策略
上面說了嘉裤，我們主要是講增量型爬蟲郑临，那么就需要對(duì)網(wǎng)頁的信息進(jìn)行定期更新，從而保證搜索的質(zhì)量屑宠。
1厢洞、歷史參考策略
過去頻繁更新的網(wǎng)頁，那么將來也會(huì)頻繁更新典奉。
2躺翻、用戶體驗(yàn)策略
注重用戶體驗(yàn)，搜索的結(jié)果有好多頁卫玖，用戶一般傾向于只看前3頁公你，所以后面的內(nèi)容不用更新的太著急，只要注重前3頁的更新就可以假瞬！
3陕靠、聚類抽樣策略
前兩種方法都是注重網(wǎng)頁的歷史數(shù)據(jù)，聚類是不需要?dú)v史數(shù)據(jù)的脱茉，物以類聚嘛剪芥！我們只需要找到某一類網(wǎng)頁的特征，那么用這一類網(wǎng)頁中的代表性網(wǎng)頁更新行為來代表該網(wǎng)頁的行為就可以琴许，如果代表性網(wǎng)頁頻繁更新税肪，那么該網(wǎng)頁也頻繁更新！
暗網(wǎng)抓取
又看到一個(gè)新鮮的概念榜田，比較好奇吧益兄？暗網(wǎng)是什么？
暗網(wǎng)就是搜索引擎的爬蟲抓不到的網(wǎng)頁區(qū)域箭券，而且這個(gè)區(qū)域很大很大偏塞，你平常能訪問到的區(qū)域（SurfaceWeb）跟暗網(wǎng)（DeepWeb）相比只是冰山一角，看一下百度暗網(wǎng)的結(jié)果多么可怕：
哈哈邦鲫，別害怕，作為一個(gè)技術(shù)人神汹，不要被這些表面性的東西所迷惑庆捺，要從技術(shù)上進(jìn)行分析，為什么搜索引擎訪問不到暗網(wǎng)的這部分網(wǎng)頁資源屁魏。
我們看完了上面關(guān)于搜索引擎爬蟲抓取的原理滔以，想必已經(jīng)知道了搜索引擎爬蟲是依賴于網(wǎng)頁中的鏈接關(guān)系來發(fā)現(xiàn)新的頁面，只要爬蟲不停的爬取氓拼，不斷的抽取出鏈接你画，只要時(shí)間足夠長(zhǎng)抵碟，按道理來說不會(huì)有漏網(wǎng)之魚的，因?yàn)橐粋€(gè)網(wǎng)站總是要與其他網(wǎng)站有所聯(lián)系的坏匪，除非你真的是一個(gè)信息孤島拟逮！那么為什么暗網(wǎng)的區(qū)域還那么大，這么多的網(wǎng)頁資源無法進(jìn)行抓取到适滓，難道都是信息孤島嗎敦迄？當(dāng)然不是，但是你要知道不是所有網(wǎng)站的網(wǎng)頁內(nèi)容都是靜態(tài)的凭迹，有些網(wǎng)頁是靠用戶輸入然后查詢數(shù)據(jù)庫(kù)才顯示數(shù)據(jù)的罚屋！
舉個(gè)例子來說一下，就說12306吧嗅绸，我們?cè)L問它的主頁時(shí)脾猛，就得到下面的網(wǎng)頁，搜索引擎只能做到下載它的首頁鱼鸠。
但是如果我們現(xiàn)在要查詢車票呢猛拴？比如查詢從北京到上海的車票，顯示下面的網(wǎng)頁結(jié)果瞧柔，這個(gè)網(wǎng)頁搜索引擎怎么去抓绕崤？因?yàn)檫@個(gè)網(wǎng)頁的產(chǎn)生是依賴我們手動(dòng)輸入出發(fā)城市和目的地城市的造锅，不同的輸入撼唾，結(jié)果就不同，這個(gè)不是靜態(tài)的網(wǎng)頁資源哥蔚，搜索引擎的爬蟲無法抓取倒谷，所以就產(chǎn)生很大的暗網(wǎng)區(qū)域了！
現(xiàn)在的很多商業(yè)搜索引擎都在努力的進(jìn)行暗網(wǎng)挖掘糙箍，把數(shù)據(jù)從數(shù)據(jù)庫(kù)中抓出來渤愁，增加信息的覆蓋程度。比如百度的阿拉丁計(jì)劃深夯。
難點(diǎn)主要有：
1抖格、對(duì)數(shù)據(jù)庫(kù)的查詢組合太多，比如12306咕晋，出發(fā)城市和目的地城市那么多雹拄，還有日期，一一組合的話掌呜，效率會(huì)很低滓玖。解決方法是用谷歌提出的富含信息查詢模板，就相當(dāng)于你在12306查詢車票時(shí)候质蕉，只輸入出發(fā)城市势篡，不輸入目的地城市翩肌，這個(gè)屬于一維模板，因?yàn)橹惶盍艘环N信息禁悠。怎么評(píng)價(jià)這個(gè)模板是不是富含信息的呢念祭？主要在出發(fā)城市這個(gè)屬性里，填入北京绷蹲，上海各種城市棒卷，比較一下返回的信息是否差異性很大，這里顯然是差異性很大的祝钢，所以這個(gè)模板就是富含信息的模板比规，否則就不是富含信息的模板，利用富含信息的模板來抓取比較重要的內(nèi)容拦英。但是查詢模板本身可能數(shù)量也會(huì)很大蜒什，所以可以用Google的ISIT算法來減小提交查詢的數(shù)量。思想是從一維模板開始試探疤估，如果是富含信息的模板灾常，就轉(zhuǎn)到二維模板繼續(xù)試探，然后三維铃拇，四維......（存在的情況下）钞瀑，這樣可以找到絕大多數(shù)的富含信息的查詢模板。減少查詢次數(shù)慷荔，提高效率雕什。
2、文本框問題显晶，比如你要爬取的系統(tǒng)也是一個(gè)搜索引擎呢贷岸？比如你要抓取百度的數(shù)據(jù)庫(kù)，我靠磷雇，搜索引擎的數(shù)據(jù)庫(kù)可大啊偿警，怎么才能把百度的數(shù)據(jù)庫(kù)內(nèi)容都抓出來呢？我們知道訪問百度無非就是輸入搜索查詢?cè)~就行了唯笙，那么我們需要一直輸入各種查詢?cè)~來抓對(duì)應(yīng)的數(shù)據(jù)螟蒸，所以這個(gè)也很難！
對(duì)于這種帶文本輸入框的崩掘，我們需要讓爬蟲自動(dòng)填寫文本框七嫌，但是爬蟲一開始也不知道自動(dòng)填寫啥內(nèi)容啊呢堰？怎么辦？老辦法凡泣，還是人為的先給他來點(diǎn)種子枉疼，比如用小團(tuán)圓皮假，許三觀賣血記等種子來作為初始的輸入條件，下載查詢出來的頁面骂维，然后從頁面抽取關(guān)鍵詞惹资，比如抽取出了張愛玲，小說等關(guān)鍵詞航闺，然后迭代查詢褪测，并下載相應(yīng)的頁面。
分布式爬蟲
最后來說一下爬蟲的分布式潦刃。
大型的分布式爬蟲分為三個(gè)等級(jí)：分布式數(shù)據(jù)中心侮措、分布式抓取服務(wù)器、分布式爬蟲程序乖杠。
同一數(shù)據(jù)中心的抓取服務(wù)器之間的分布式架構(gòu)有兩種：
主從式分布爬蟲
對(duì)等式分布爬蟲
主從式分布爬蟲
master/slave中的master是url服務(wù)器分扎，主要負(fù)責(zé)維護(hù)url待下載隊(duì)列和對(duì)所有slave的url分發(fā)，還需要考慮分發(fā)任務(wù)的負(fù)載均衡問題胧洒。而slave就是負(fù)責(zé)具體的下載任務(wù)畏吓。所以整個(gè)爬蟲的系統(tǒng)瓶頸就在url服務(wù)器上。
對(duì)等式分布爬蟲
這種情況下卫漫，每個(gè)服務(wù)器之間的關(guān)系都是對(duì)等的菲饼，沒有url服務(wù)器了，每個(gè)服務(wù)器都要負(fù)責(zé)url隊(duì)列的維護(hù)工作和自己的下載任務(wù)列赎，但是沒有了url服務(wù)器宏悦，就會(huì)出現(xiàn)問題，就是服務(wù)器的任務(wù)分工問題粥谬。
解決辦法是哈希取模肛根，比如有3臺(tái)服務(wù)器，當(dāng)接到www.google.com的網(wǎng)址時(shí)漏策，計(jì)算網(wǎng)址的哈希值派哲，并對(duì)3取模，發(fā)現(xiàn)取模后是1掺喻，那么就讓服務(wù)器1下載它芭届。當(dāng)有www.baidu.com網(wǎng)址出現(xiàn)時(shí)，哈希后取模得到2感耙，那么就讓服務(wù)器2下載它褂乍。如此，就可以把任務(wù)大致均分到三個(gè)服務(wù)器上即硼。
但是逃片，如果需要對(duì)爬蟲系統(tǒng)進(jìn)行擴(kuò)展呢？比如加臺(tái)機(jī)器來增加抓取能力只酥。因?yàn)楝F(xiàn)在只有3臺(tái)機(jī)器褥实，所以取模時(shí)是按照3計(jì)算的呀狼，現(xiàn)在多了一臺(tái)，那么應(yīng)該對(duì)4取模了损离，那么之前比如服務(wù)器2負(fù)責(zé)的抓取任務(wù)現(xiàn)在可能就不屬于它了哥艇，加了一臺(tái)機(jī)器完全把現(xiàn)有的系統(tǒng)抓取任務(wù)搞亂了。
一致性哈希算法
如下圖所示僻澎，對(duì)網(wǎng)址進(jìn)行哈希貌踏，映射到0 - 2的32次方，大量的網(wǎng)址會(huì)被均勻的分布到各個(gè)位置窟勃，只需要讓每臺(tái)機(jī)器負(fù)責(zé)一個(gè)氛圍的網(wǎng)址進(jìn)行下載就行了祖乳。當(dāng)加機(jī)器時(shí)，只需要給它劃定范圍就行拳恋，不會(huì)對(duì)其他服務(wù)器的抓取url造成太大影響凡资。當(dāng)出現(xiàn)服務(wù)器宕機(jī)時(shí)，將會(huì)被轉(zhuǎn)發(fā)給宕機(jī)主機(jī)順時(shí)針下一個(gè)機(jī)器處理谬运。
