淺析搜索引擎蜘蛛工作原理

在SEO工作中拜马,有的時候我們很少關(guān)心搜索引擎蜘蛛是如何工作的考抄,雖然细疚,它是一個相對復(fù)雜的工作系統(tǒng),但對于SEO人員而言川梅,我們有必要進行詳盡的了解疯兼,它有利于指導(dǎo)我們有效的工作。

那么贫途,搜索引擎蜘蛛是如何工作的吧彪,又該如何引蜘蛛呢?

根據(jù)以往的工作經(jīng)驗潮饱,小編將通過如下內(nèi)容,解讀主流搜索引擎诫给,百度蜘蛛是如何工作的:

1香拉、常見蜘蛛抓取的策略:

①深度優(yōu)先遍歷策略

簡單理解,深度優(yōu)先遍歷策略主要是指建立一個起點中狂,按照這個起點的順序凫碌,順序抓取鏈條上,沒有被抓取的每個節(jié)點胃榕。但有的時候盛险,面對“無限循環(huán)”節(jié)點的時候,這一策略便顯得捉禁見肘勋又。

②寬度優(yōu)先遍歷策略

寬度優(yōu)先便利策略苦掘,是早期搜索引擎常用的一種抓取策略,主要流程是提取整個頁面中的URL楔壤,其中未被抓取的URL鹤啡,就被放入待抓取列隊,以此循環(huán)蹲嚣。

③PR優(yōu)先策略

RP優(yōu)先策略是一個非常注明的鏈接分析方法递瑰,它用于衡量網(wǎng)頁的重要性祟牲,通常它會計算一個頁面上URL的PR,按照從高到低的順序進行抓取抖部。

由于PR值的計算说贝,需要不斷的迭代更新,通常這里所采用的都是非完全PageRank策略慎颗。

④反鏈策略

反鏈策略乡恕,并沒有一個明確的官方文檔說明,這里小編認為哗总,它主要是基于反鏈的數(shù)量以及種子頁面的權(quán)威度几颜,二者進行加權(quán)評估后,按照優(yōu)先順序抓取讯屈。

⑤社會化媒體分享策略

社會化媒體分析策略蛋哭,主要是指一個URL在社交媒體中的流行度,它的轉(zhuǎn)載量涮母,評論谆趾,轉(zhuǎn)發(fā)量,綜合指標的評估叛本。

言外之意沪蓬,如果你的URL最先沒有在百度網(wǎng)址提交,而是出現(xiàn)在社交媒體中来候,比如:頭條文章跷叉,也是很有可能被百度抓取的。

2营搅、一般蜘蛛抓取的流程:

對于搜索引擎而言云挟,常見的抓取流程包括:種子頁URL提取->整理新的待抓取URL集合->合并更新鏈接(包括已經(jīng)抓取過的鏈接)->解析頁面內(nèi)容->進入鏈接總庫(索引庫)

其中,在解析頁面內(nèi)容转质,進入索引庫的時候园欣,它需要經(jīng)過多層復(fù)雜的系統(tǒng)計算,評估目標URL的質(zhì)量休蟹,從而決定是否進入低質(zhì)量庫沸枯。

3、如何引蜘蛛爬行頁面:

對于合理引導(dǎo)蜘蛛爬行頁面赂弓,具體常見的操作是:

①內(nèi)容更新頻率

理論上绑榴,如果你的頁面更新頻率相對較高,那么搜索引擎自然爬蟲就是頻繁來訪盈魁,目的是抓取更多潛在的優(yōu)質(zhì)內(nèi)容彭沼。

②內(nèi)容更新質(zhì)量

言外之意,如果你長期頻繁更新低質(zhì)量內(nèi)容备埃,是不可取的姓惑,特別是百度爬蟲而言褐奴,如果你定期輸出高質(zhì)量且具有稀缺性的內(nèi)容(獨特的視角)你會發(fā)現(xiàn)蜘蛛的來訪頻率很高,并且經(jīng)過一定周期的信任度累積于毙,很容易達到“秒收錄”

③網(wǎng)站頁面穩(wěn)定

服務(wù)器的連通率是決定敦冬,搜索引擎蜘蛛是否能夠順利抓取的主要因素,如果你的網(wǎng)站經(jīng)常產(chǎn)生延遲唯沮,識別對抓取與索引產(chǎn)生重要影響脖旱。

④整站目標權(quán)重

這是一個綜合性指標的考慮,通常而言介蛉,高權(quán)重的站點萌庆,更受搜索引擎的親睞,蜘蛛抓取的也相對頻繁币旧,但這個評級践险,并不是咱們SEO專員,簡單通過站長工具查詢的結(jié)果吹菱,而是百度自身巍虫,一個非常私密的評估體系。

www.zmcms.com.cn

以上內(nèi)容由摯夢科技建站整理提供鳍刷,如有相關(guān)疑問可以聯(lián)系我們或者下方評論占遥。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市输瓜,隨后出現(xiàn)的幾起案子瓦胎,更是在濱河造成了極大的恐慌,老刑警劉巖尤揣,帶你破解...
    沈念sama閱讀 206,968評論 6 482
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件搔啊,死亡現(xiàn)場離奇詭異,居然都是意外死亡芹缔,警方通過查閱死者的電腦和手機坯癣,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,601評論 2 382
  • 文/潘曉璐 我一進店門瓶盛,熙熙樓的掌柜王于貴愁眉苦臉地迎上來最欠,“玉大人,你說我怎么就攤上這事惩猫≈ビ玻” “怎么了?”我有些...
    開封第一講書人閱讀 153,220評論 0 344
  • 文/不壞的土叔 我叫張陵轧房,是天一觀的道長拌阴。 經(jīng)常有香客問我,道長奶镶,這世上最難降的妖魔是什么迟赃? 我笑而不...
    開封第一講書人閱讀 55,416評論 1 279
  • 正文 為了忘掉前任陪拘,我火速辦了婚禮,結(jié)果婚禮上纤壁,老公的妹妹穿的比我還像新娘左刽。我一直安慰自己,他們只是感情好酌媒,可當我...
    茶點故事閱讀 64,425評論 5 374
  • 文/花漫 我一把揭開白布欠痴。 她就那樣靜靜地躺著,像睡著了一般秒咨。 火紅的嫁衣襯著肌膚如雪喇辽。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,144評論 1 285
  • 那天雨席,我揣著相機與錄音菩咨,去河邊找鬼。 笑死舅世,一個胖子當著我的面吹牛旦委,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播雏亚,決...
    沈念sama閱讀 38,432評論 3 401
  • 文/蒼蘭香墨 我猛地睜開眼缨硝,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了罢低?” 一聲冷哼從身側(cè)響起查辩,我...
    開封第一講書人閱讀 37,088評論 0 261
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎网持,沒想到半個月后宜岛,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 43,586評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡功舀,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,028評論 2 325
  • 正文 我和宋清朗相戀三年萍倡,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片辟汰。...
    茶點故事閱讀 38,137評論 1 334
  • 序言:一個原本活蹦亂跳的男人離奇死亡列敲,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出帖汞,到底是詐尸還是另有隱情戴而,我是刑警寧澤,帶...
    沈念sama閱讀 33,783評論 4 324
  • 正文 年R本政府宣布翩蘸,位于F島的核電站所意,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜扶踊,卻給世界環(huán)境...
    茶點故事閱讀 39,343評論 3 307
  • 文/蒙蒙 一泄鹏、第九天 我趴在偏房一處隱蔽的房頂上張望寂拆。 院中可真熱鬧昔逗,春花似錦、人聲如沸涮瞻。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,333評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至杂抽,卻和暖如春诈唬,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背缩麸。 一陣腳步聲響...
    開封第一講書人閱讀 31,559評論 1 262
  • 我被黑心中介騙來泰國打工铸磅, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人杭朱。 一個月前我還...
    沈念sama閱讀 45,595評論 2 355
  • 正文 我出身青樓阅仔,卻偏偏與公主長得像,于是被迫代替她去往敵國和親弧械。 傳聞我的和親對象是個殘疾皇子八酒,可洞房花燭夜當晚...
    茶點故事閱讀 42,901評論 2 345

推薦閱讀更多精彩內(nèi)容