爬蟲識(shí)別網(wǎng)站收集和整理了 yandexbot 所有的 user-agent摔笤，方便大家識(shí)別 yandexbot。
yandexbot user-agent 列表
Mozilla/5.0 (compatible; YandexAccessibilityBot/3.0; +http://yandex.com/bots)
說明：YandexAccessibilityBot 下載頁面以檢查用戶的可訪問性哆料。它每秒最多向站點(diǎn)發(fā)送 3 個(gè)請(qǐng)求抖部。機(jī)器人會(huì)忽略Yandex.Webmaster 界面中的設(shè)置。
是否遵守 robots.txt 協(xié)議：否
Mozilla/5.0 (compatible; YandexAdNet/1.0; +http://yandex.com/bots)
說明：Yandex 廣告機(jī)器人
是否遵守 robots.txt 協(xié)議：是
Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; +http://yandex.com/bots)
說明：索引帖子評(píng)論的博客搜索機(jī)器人。
是否遵守 robots.txt 協(xié)議：是
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
說明：yandex 搜索引擎主要索引機(jī)器人
是否遵守 robots.txt 協(xié)議：是
Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots)
說明：檢測站點(diǎn)鏡像機(jī)器人
是否遵守 robots.txt 協(xié)議：是
Mozilla/5.0 (compatible; YandexCalendar/1.0; +http://yandex.com/bots)
說明：Yandex.Calendar 機(jī)器人厘肮。根據(jù)用戶的請(qǐng)求下載日歷文件毅弧。這些文件通常位于禁止索引的目錄中。
是否遵守 robots.txt 協(xié)議：否
Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)
說明：下載有關(guān) Yandex Advertising 網(wǎng)絡(luò)合作伙伴網(wǎng)站內(nèi)容的信息喜爷，以識(shí)別其主題類別以匹配相關(guān)廣告冗疮。
是否遵守 robots.txt 協(xié)議：否
Mozilla/5.0 (compatible; YandexDirectDyn/1.0; +http://yandex.com/bots
說明：生成動(dòng)態(tài) banner
是否遵守 robots.txt 協(xié)議：否
Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots)
說明：下載站點(diǎn)的圖標(biāo)文件以顯示在搜索結(jié)果中。
是否遵守 robots.txt 協(xié)議：否
Mozilla/5.0 (compatible; YaDirectFetcher/1.0; Dyatel; +http://yandex.com/bots)
說明：下載廣告的目標(biāo)頁面以檢查其可用性和主題檩帐。這是在搜索結(jié)果和合作伙伴網(wǎng)站上放置廣告所必需的术幔。
是否遵守 robots.txt 協(xié)議：否，器人不使用 robots.txt 文件并忽略為其設(shè)置的指令湃密。
Mozilla/5.0 (compatible; YandexForDomain/1.0; +http://yandex.com/bots)
說明：Yandex.Mail 域機(jī)器人诅挑，用于驗(yàn)證域所有權(quán)。
是否遵守 robots.txt 協(xié)議：是
Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)
說明：Yandex 圖片索引機(jī)器人泛源。
是否遵守 robots.txt 協(xié)議：是
Mozilla/5.0 (compatible; YandexImageResizer/2.0; +http://yandex.com/bots)
說明：移動(dòng)設(shè)備機(jī)器人拔妥。
是否遵守 robots.txt 協(xié)議：是
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexBot/3.0; +http://yandex.com/bots)
說明： Ynadex 搜索引擎索引機(jī)器人。
是否遵守 robots.txt 協(xié)議：是
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexMobileBot/3.0; +http://yandex.com/bots)
說明：定義布局適合移動(dòng)設(shè)備的頁面达箍。
是否遵守 robots.txt 協(xié)議：否
Mozilla/5.0 (compatible; YandexMarket/1.0; +http://yandex.com/bots)
說明：Yandex.Market 機(jī)器人没龙。
是否遵守 robots.txt 協(xié)議：是
Mozilla/5.0 (compatible; YandexMarket/2.0; +http://yandex.com/bots)
說明：Yandex.Market 機(jī)器人。
是否遵守 robots.txt 協(xié)議：否
Mozilla/5.0 (compatible; YandexMedia/3.0; +http://yandex.com/bots)
說明：索引多媒體數(shù)據(jù)。
是否遵守 robots.txt 協(xié)議：是
Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots yabs01)
說明：Yandex.Metrica 機(jī)器人硬纤。下載并緩存 CSS 樣式以在 Webvisor 中呈現(xiàn)網(wǎng)站頁面解滓。
是否遵守 robots.txt 協(xié)議：否，機(jī)器人不使用 robots.txt 文件并忽略為其設(shè)置的指令筝家。
Mozilla/5.0 (compatible; YandexMobileScreenShotBot/1.0; +http://yandex.com/bots)
說明：截取移動(dòng)頁面的屏幕截圖洼裤。
是否遵守 robots.txt 協(xié)議：否
Mozilla/5.0 (compatible; YandexNews/4.0; +http://yandex.com/bots)
說明：Yandex.News 機(jī)器人。
是否遵守 robots.txt 協(xié)議：是
Mozilla/5.0 (compatible; YandexOntoDB/1.0; +http://yandex.com/bots)
說明：對(duì)象響應(yīng)爬蟲
是否遵守 robots.txt 協(xié)議：是
Mozilla/5.0 (compatible; YandexOntoDBAPI/1.0; +http://yandex.com/bots)
說明：下載動(dòng)態(tài)數(shù)據(jù)的對(duì)象響應(yīng)機(jī)器人溪王。
是否遵守 robots.txt 協(xié)議：否
Mozilla/5.0 (compatible; YandexPagechecker/1.0; +http://yandex.com/bots)
說明：通過結(jié)構(gòu)化數(shù)據(jù)驗(yàn)證器訪問驗(yàn)證微標(biāo)記的頁面腮鞍。
是否遵守 robots.txt 協(xié)議：是
Mozilla/5.0 (compatible; YandexPartner/3.0; +http://yandex.com/bots)
說明：下載有關(guān) Yandex 合作伙伴網(wǎng)站內(nèi)容的信息。
是否遵守 robots.txt 協(xié)議：否
Mozilla/5.0 (compatible; YandexRCA/1.0; +http://yandex.com/bots)
說明：收集數(shù)據(jù)以生成預(yù)覽在扰。例如缕减，向?qū)ьA(yù)覽。
是否遵守 robots.txt 協(xié)議：否
Mozilla/5.0 (compatible; YandexSearchShop/1.0; +http://yandex.com/bots)
說明：按用戶要求下載 YML 文件中的產(chǎn)品目錄芒珠。這些文件通常放置在禁止索引的目錄中桥狡。
是否遵守 robots.txt 協(xié)議：否
Mozilla/5.0 (compatible; YandexSitelinks; Dyatel; +http://yandex.com/bots)
說明：檢查用作附加鏈接的頁面的可用性。
是否遵守 robots.txt 協(xié)議：是
Mozilla/5.0 (compatible; YandexSpravBot/1.0; +http://yandex.com/bots)
說明：Yandex.Business 爬蟲皱卓。
是否遵守 robots.txt 協(xié)議：是
Mozilla/5.0 (compatible; YandexTracker/1.0; +http://yandex.com/bots)
說明：Yandex.Tracker 爬蟲裹芝。
是否遵守 robots.txt 協(xié)議：否
Mozilla/5.0 (compatible; YandexTurbo/1.0; +http://yandex.com/bots)
說明：抓取為生成 Turbo 頁面而創(chuàng)建的 RSS 提要。它每秒最多向站點(diǎn)發(fā)送 3 個(gè)請(qǐng)求娜汁。機(jī)器人會(huì)忽略 Yandex.Webmaster 界面和 Crawl-delay 指令中的設(shè)置嫂易。
是否遵守 robots.txt 協(xié)議：是
Mozilla/5.0 (compatible; YandexVertis/3.0; +http://yandex.com/bots)
說明：垂直搜索機(jī)器人。
是否遵守 robots.txt 協(xié)議：是
Mozilla/5.0 (compatible; YandexVerticals/1.0; +http://yandex.com/bots)
說明：Yandex.Verticals 機(jī)器人：Auto.ru掐禁、Yanex.Realty怜械、Yandex.Rabota、Yandex.Reviews傅事。
是否遵守 robots.txt 協(xié)議：是
Mozilla/5.0 (compatible; YandexVideo/3.0; +http://yandex.com/bots)
說明：Yandex.Video 索引爬蟲缕允，顯示的視頻剪輯。
是否遵守 robots.txt 協(xié)議：是
Mozilla/5.0 (compatible; YandexVideoParser/1.0; +http://yandex.com/bots)
說明：Yandex.Video 索引爬蟲蹭越，顯示的視頻剪輯障本。
是否遵守 robots.txt 協(xié)議：否
Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots)
說明：Yandex.Webmaster 機(jī)器人
是否遵守 robots.txt 協(xié)議：是
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z* Safari/537.36 (compatible; YandexScreenshotBot/3.0; +http://yandex.com/bots)
說明：截取頁面的屏幕截圖洋幻。
是否遵守 robots.txt 協(xié)議：是
* WXYZ 字符的組合是 Chrome 瀏覽器的用戶代理版本的占位符党饮。例如：101.0.4951.54亮垫。
總結(jié)
這篇文章收集和整理了所有 Yandex 爬蟲的 User-agent 列表诫隅，由于 Yandex 業(yè)務(wù)繁雜，所以存在各種各樣的爬蟲榆浓，我們?cè)谶\(yùn)營網(wǎng)站的時(shí)候肠缔，如果不確定是不是 Yandex 的爬蟲鸯两，我們可以看看上面的 User-agent 與您日志中的 User-agent 是否符合忿项。
爬蟲識(shí)別是一個(gè)專門識(shí)別互聯(lián)網(wǎng)上各種爬蟲的網(wǎng)站蓉冈，使您免受偽造爬蟲和惡意爬蟲的侵?jǐn)_脆栋。
