信息檢索復(fù)習(xí)（10）——Web搜索

Web搜索結(jié)構(gòu)
采集器（爬蟲）必須提供的功能特點
1. 魯棒性
  Web中有些服務(wù)器會制造采集器陷阱莲祸，這些陷阱實際上是web頁面的生成器，它能在某個域下生成無數(shù)網(wǎng)頁椭迎，從而使采集器陷入到一個無線的采集循環(huán)中去锐帜。采集器必須要能從這類陷阱中跳出來。當(dāng)然畜号，這些陷阱不一定是惡意的缴阎，有時可能是網(wǎng)頁設(shè)計疏忽導(dǎo)致的。
2. 禮貌性
  Web服務(wù)器具有一些隱式或顯式的政策來控制采集器訪問它們的頻率简软。設(shè)計采集器時必須要遵守這些代表禮貌性的訪問策略蛮拔。（遵守robots.txt ，只訪問允許的網(wǎng)站）
采集器應(yīng)該提供的功能特點
- 分布式
- （規(guī)模）可擴(kuò)展性
- 性能和效率
- 質(zhì)量
- 新鮮度
- （功能）可擴(kuò)展性
采集器的架構(gòu)
1. 待采集URL池
2. DNS解析模塊
3. 抓取模塊
4. 分析模塊
5. URL 去重模塊
URL采集池
- 支持優(yōu)先級處理并遵循禮貌性訪問原則
- 兩個主要子模塊：F個前端隊列集合痹升，B個后端隊列集合
- 滿足先進(jìn)先出原則
- 前端隊列主要實現(xiàn)優(yōu)先級訪問功能建炫，而后端隊列實現(xiàn)禮貌性訪問功能
- 首先，優(yōu)先級分配器會基于URL的抓取歷史賦給該URL一個整數(shù)i表示其優(yōu)先級疼蛾，其中i的取值在1到F之間肛跌。比如給一篇變化更頻繁的文檔分配更高的優(yōu)先級。
  B個后端隊列中的每個隊列維持下列固定情況：（1）當(dāng)采集正在進(jìn)行時，隊列不會為空（2）隊列只包含來自單個主機(jī)的URL衍慎。使用一個輔助表T來維護(hù)從主機(jī)到后端隊列的映射转唉。當(dāng)某個后端隊列為空并從前端隊列重新填充時，T必須進(jìn)行相應(yīng)的更新稳捆。
  維護(hù)一個堆隊列赠法，其中的每個元素對應(yīng)一個后端隊列，元素值為該隊列對應(yīng)的主機(jī)重新訪問的最早時間te乔夯。
  某個采集線程在請求URL池的一個URL時砖织，會從上述堆中取出其根節(jié)點，并且等待相應(yīng)時間te驯嘱。然后镶苞，從根節(jié)點對應(yīng)的后端隊列j中取出隊列首部的URLu，并指令u的抓取操作鞠评。采集u后茂蚓，條用線程會檢查j是否為空。如果為空剃幌，則選擇一個前端隊列并去除該隊列的首部URLv聋涨。在選擇前端隊列時會傾向于高優(yōu)先級隊列（通常有一個隨機(jī)過程來實現(xiàn)），即保證高優(yōu)先級URL能更快流入到后端隊列中负乡。對于URLv牍白，我們會檢查在某個后端隊列中是否已包含了來自同一主機(jī)的URL。如果存在抖棘，那么v就會加入該隊列中茂腥，這樣我們就需要重新回到前端隊列來尋找另外一個候選URL插入到現(xiàn)在為空的隊列j中。該過程不斷繼續(xù)指導(dǎo)j不再空切省。任何情況下最岗，對隊列j，線程都會基于其中上次采集的URL屬性在隊中插入一個新的最早訪問時間te朝捆。
Web網(wǎng)頁的重復(fù)問題
- 檢測重復(fù)最簡單的方法：為每個網(wǎng)頁計算出一個指紋般渡，它是整個網(wǎng)頁文本的一個很精煉的摘要。
- 對于Web的近似重復(fù)的現(xiàn)象：搭疊技術(shù)（shingling）

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者