亞馬遜robots協(xié)議解析

1.?robots協(xié)議

Robots協(xié)議（也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等）的全稱是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”（Robots Exclusion Protocol）郑象，網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取精耐，哪些頁面不能抓取。robots.txt文件是一個(gè)文本文件，使用任何一個(gè)常見的文本編輯器桃熄，就可以創(chuàng)建和編輯它。robots.txt是一個(gè)協(xié)議型奥，而不是一個(gè)命令瞳收。robots.txt是搜索引擎中訪問網(wǎng)站的時(shí)候要查看的第一個(gè)文件。robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的厢汹。

————robots協(xié)議百度百科

2.亞馬遜的robots文件

亞馬遜robots.txt

User-agent: * ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? #針對(duì)所有爬蟲


Disallow: /buycar? ? ? ? ? ? ? ? ? ? ? ? ?

Disallow: /cart

Disallow: /checkout

Disallow: /class

Disallow: /com

Disallow: /common

Disallow: /css

Disallow: /dll

Disallow: /doc

#禁止訪問爬取buycar螟深、cart、checkout烫葬、class界弧、com、common搭综、css垢箕、dll、doc這些目錄


Disallow: /dp/e-mail-friend/

Disallow: /dp/manual-submit/

Disallow: /dp/product-availability/

Disallow: /dp/rate-this-item/

Disallow: /dp/shipping/

Disallow: /dp/twister-update/

#禁止訪問爬取dp目錄下指定的e-mail-friend设凹、manual-submit舰讹、product-availability、rate-this-item闪朱、shipping月匣、twister-update目錄（應(yīng)該是給商品評(píng)分、提交等頁面信息）


Disallow: /gp/aws/ssop

Disallow: /gp/cart

Disallow: /gp/css/homepage.html

Disallow: /gp/customer-reviews/common/du

Disallow: /gp/flex

Disallow: /gp/gfix

Disallow: /gp/history

Disallow: /gp/item-dispatch

Disallow: /gp/music/clipserve

Disallow: /gp/music/wma-pop-up

Disallow: /gp/offer-listing

Disallow: /gp/product/e-mail-friend

Disallow: /gp/product/product-availability

Disallow: /gp/product/rate-this-item

Disallow: /gp/recsradio

Disallow: /gp/slredirect

Disallow: /gp/twitter/

Disallow: /gp/vote

Disallow: /gp/voting/

Disallow: /gp/yourstore

#禁止訪問爬取gp目錄下指定文件（顧客評(píng)論奋姿、歷史瀏覽锄开、商品目錄下的評(píng)分、郵件称诗、分享至Twitter等）


Disallow: /inc

Disallow: /js

Disallow: /lib

#禁止訪問爬取inc萍悴、js、lib目錄


Disallow: /mn/bookLookInsideApp

Disallow: /mn/checkInitApp

Disallow: /mn/checkoutAlertMsgApp

Disallow: /mn/checkoutredirectApp

Disallow: /mn/giftCardApp

Disallow: /mn/loginApplication

Disallow: /mn/loyaltyApp

Disallow: /mn/orderAddrApp

Disallow: /mn/orderCfmApp

Disallow: /mn/orderDetailApp

Disallow: /mn/orderFailApp

Disallow: /mn/orderHistoryApp

Disallow: /mn/orderModifyApp

Disallow: /mn/orderSummaryApp

Disallow: /mn/paymentRedriveApp

Disallow: /mn/recommendReviewApp

Disallow: /mn/releaseReviewApp

Disallow: /mn/reviewVoteApplication

Disallow: /mn/selectPaymentMethodApp

Disallow: /mn/selectShippingOpptionApplication

Disallow: /mn/shipmentTraceApp

Disallow: /mn/shoppingCartApplication

Disallow: /mn/tellFriend

Disallow: /mn/thankYouApplication

Disallow: /mn/virtualAccountApp

Disallow: /mn/yourAccountApp

#禁止訪問爬取mn目錄下的指定文件（登錄賬戶、注銷賬戶癣诱、選擇支付方式计维、訂單詳情、失敗訂單撕予、歷史訂單鲫惶、全部訂單、選擇物流实抡、物流追蹤等）


Disallow: /paper

Disallow: /xml

Disallow: /youraccount

Disallow: /ap/signin

Disallow: /gp/registry/wishlist/

Disallow: /wishlist/

#禁止訪問爬取用戶賬戶欠母、登錄、心愿單等目錄


Allow: /wishlist/universal*

Allow: /wishlist/vendor-button*

Allow: /wishlist/get-button*

#允許訪問wishlist目錄下的指定文件


Disallow: /gp/wishlist/

Allow: /gp/wishlist/universal*

Allow: /gp/wishlist/vendor-button*

Allow: /gp/wishlist/ipad-install*

#禁止訪問gp目錄下的wishlist中除了三個(gè)指定文件外的其他所有文件


Disallow: /registry/wishlist/

Disallow:/gp/help/contact-us/general-questions.html*?type&email&skip=true

Disallow:/gp/help/customer/accessibility?ie=UTF8&initialIssue=forgotpw&skip=true

Disallow: /gp/registry/search.html

Disallow: /gp/orc/rml/

Disallow: /gp/digital/fiona/manage

Disallow: /gp/entity-alert/external

Disallow: /gp/customer-reviews/dynamic/sims-box

Disallow: /review/dynamic/sims-box

Disallow: /gp/redirect.html

Disallow: /gp/customer-media/upload/

Disallow: /gp/customer-media/actions/delete/

Disallow: /gp/customer-media/actions/edit-caption/

Disallow: /gp/dmusic/

Disallow: /registry

Disallow: /*/wishlist

Disallow: /gp/registry

Disallow: /gp/aag

Disallow: /gp/socialmedia/giveaways

Disallow: /gp/aw/so.html

Disallow: /gp/pdp/profile/

#禁止訪問以上指定目錄文件


Disallow: /gp/help/customer/display.html*nodeId=200843370

Disallow: /gp/help/customer/display.html*nodeId=200877580

Disallow: /gp/help/customer/display.html*nodeId=200877590

Disallow: /gp/help/customer/display.html*nodeId=200879080

Disallow: /gp/help/customer/display.html*nodeId=200879100

Disallow: /gp/help/customer/display.html*nodeId=200879120

Disallow: /gp/help/customer/display.html*nodeId=200879160

Disallow: /gp/help/customer/display.html*nodeId=200879140

Disallow: /gp/help/customer/display.html*nodeId=200877610

Disallow: /gp/help/customer/display.html*nodeId=200878960

Disallow: /gp/help/customer/display.html*nodeId=200878980

Disallow: /gp/help/customer/display.html*nodeId=200879000

Disallow: /gp/help/customer/display.html*nodeId=200879040

Disallow: /gp/help/customer/display.html*nodeId=200879020

Disallow: /gp/help/customer/display.html*nodeId=200877630

Disallow: /gp/help/customer/display.html*nodeId=200879200

Disallow: /gp/help/customer/display.html*nodeId=200879220

Disallow: /gp/help/customer/display.html*nodeId=200879240

Disallow: /gp/help/customer/display.html*nodeId=200879280

Disallow: /gp/help/customer/display.html*nodeId=200879260

Disallow: /gp/help/customer/display.html*nodeId=200877650

Disallow: /gp/help/customer/display.html*nodeId=200879320

Disallow: /gp/help/customer/display.html*nodeId=200879340

Disallow: /gp/help/customer/display.html*nodeId=200879360

Disallow: /gp/help/customer/display.html*nodeId=200879400

Disallow: /gp/help/customer/display.html*nodeId=200879380

Disallow: /gp/help/customer/display.html*nodeId=200877560

Disallow: /gp/help/customer/display.html*nodeId=200843460

Disallow: /gp/help/customer/display.html*nodeId=200843440

Disallow: /gp/help/customer/display.html*nodeId=200899270

Disallow: /gp/help/customer/display.html*nodeId=200879440

Disallow: /gp/help/customer/display.html*nodeId=200899330

Disallow: /gp/help/customer/display.html*nodeId=200899350

Disallow: /gp/help/customer/display.html*nodeId=200899390

Disallow: /gp/help/customer/display.html*nodeId=200899410

Disallow: /gp/help/customer/display.html*nodeId=200899430

Disallow: /gp/help/customer/display.html*nodeId=200899220

Disallow: /gp/help/customer/display.html*nodeId=200899450

Disallow: /gp/help/customer/display.html*nodeId=200899670

Disallow: /gp/help/customer/display.html*nodeId=200899530

Disallow: /gp/help/customer/display.html*nodeId=200899470

Disallow: /gp/help/customer/display.html*nodeId=200899550

Disallow: /gp/help/customer/display.html*nodeId=200899570

Disallow: /gp/help/customer/display.html*nodeId=200899510

Disallow: /gp/help/customer/display.html*nodeId=200899610

Disallow: /gp/help/customer/display.html*nodeId=200899630

Disallow: /gp/help/customer/display.html*nodeId=200899650

Disallow: /gp/help/customer/display.html*nodeId=200879180

Disallow: /gp/help/customer/display.html*nodeId=200879060

Disallow: /gp/help/customer/display.html*nodeId=200879300

Disallow: /gp/help/customer/display.html*nodeId=200879420

Disallow: /gp/help/customer/display.html*nodeId=200899290

Disallow: /gp/help/customer/display.html*nodeId=200899310

Disallow: /gp/help/customer/display.html*nodeId=200843380

Disallow: /gp/help/customer/display.html*nodeId=200843420

Disallow: /gp/help/customer/display.html*nodeId=200899230

Disallow: /gp/help/customer/display.html*nodeId=200899250

Disallow: /gp/help//display.html*nodeId=200899370

#禁止訪問爬取gp/help下的指定文件（感覺像是聯(lián)系亞馬遜客服時(shí)特定問題的自動(dòng)回復(fù)）


Disallow: /reviews/iframe

Disallow:/gp/help/reports/infringement/jquery/handle-notice-submit.html

Disallow: /gp/help/customer/handler/handle-email-submit.html

Disallow: /ss/customer-reviews/lighthouse/

Disallow: /gp/aw/ol/

#禁止訪問爬取以上目錄文件

亞馬遜的robots協(xié)議相當(dāng)詳細(xì)吆寨，禁止了相當(dāng)多有關(guān)顧客赏淌、商品等的訪問，在此robots.txt中啄清，僅允許訪問部分wishlist指定文件六水，個(gè)人猜測(cè)是通過這些允許爬取的文件，通過瀏覽器辣卒，從瀏覽器向用戶推送相關(guān)商品信息缩擂，引導(dǎo)用戶訪問。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 人面猴
    序言：七十年代末添寺，一起剝皮案震驚了整個(gè)濱河市，隨后出現(xiàn)的幾起案子懈费，更是在濱河造成了極大的恐慌计露，老刑警劉巖，帶你破解...
    沈念sama閱讀 206,723評(píng)論 6贊 481
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件憎乙，死亡現(xiàn)場(chǎng)離奇詭異票罐，居然都是意外死亡，警方通過查閱死者的電腦和手機(jī)泞边，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,485評(píng)論 2贊 382
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進(jìn)店門该押，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人阵谚，你說我怎么就攤上這事蚕礼。” “怎么了梢什？”我有些...
    開封第一講書人閱讀 152,998評(píng)論 0贊 344
  • 道士緝兇錄：失蹤的賣姜人
    文/不壞的土叔 我叫張陵奠蹬，是天一觀的道長(zhǎng)。 經(jīng)常有香客問我嗡午，道長(zhǎng)囤躁，這世上最難降的妖魔是什么？ 我笑而不...
    開封第一講書人閱讀 55,323評(píng)論 1贊 279
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任，我火速辦了婚禮狸演，結(jié)果婚禮上言蛇，老公的妹妹穿的比我還像新娘。我一直安慰自己宵距，他們只是感情好腊尚，可當(dāng)我...
    茶點(diǎn)故事閱讀 64,355評(píng)論 5贊 374
  • 惡毒庶女頂嫁案：這布局不是一般人想出來的
    文/花漫 我一把揭開白布。 她就那樣靜靜地躺著消玄，像睡著了一般跟伏。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上翩瓜，一...
    開封第一講書人閱讀 49,079評(píng)論 1贊 285
  • 城市分裂傳說
    那天受扳，我揣著相機(jī)與錄音，去河邊找鬼兔跌。 笑死勘高，一個(gè)胖子當(dāng)著我的面吹牛，可吹牛的內(nèi)容都是我干的坟桅。 我是一名探鬼主播华望，決...
    沈念sama閱讀 38,389評(píng)論 3贊 400
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開眼，長(zhǎng)吁一口氣：“原來是場(chǎng)噩夢(mèng)啊……” “哼仅乓！你這毒婦竟也來了赖舟？” 一聲冷哼從身側(cè)響起，我...
    開封第一講書人閱讀 37,019評(píng)論 0贊 259
  • 萬榮殺人案實(shí)錄
    序言：老撾萬榮一對(duì)情侶失蹤夸楣，失蹤者是張志新（化名）和其女友劉穎宾抓，沒想到半個(gè)月后，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體豫喧，經(jīng)...
    沈念sama閱讀 43,519評(píng)論 1贊 300
  • ?護(hù)林員之死
    正文 獨(dú)居荒郊野嶺守林人離奇死亡石洗，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,971評(píng)論 2贊 325
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了紧显。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片讲衫。...
    茶點(diǎn)故事閱讀 38,100評(píng)論 1贊 333
  • 活死人
    序言：一個(gè)原本活蹦亂跳的男人離奇死亡，死狀恐怖孵班，靈堂內(nèi)的尸體忽然破棺而出涉兽，到底是詐尸還是另有隱情，我是刑警寧澤重父，帶...
    沈念sama閱讀 33,738評(píng)論 4贊 324
  • ?日本核電站爆炸內(nèi)幕
    正文 年R本政府宣布花椭，位于F島的核電站，受9級(jí)特大地震影響房午，放射性物質(zhì)發(fā)生泄漏矿辽。R本人自食惡果不足惜，卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,293評(píng)論 3贊 307
  • 男人毒藥：我在死后第九天來索命
    文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望袋倔。 院中可真熱鬧雕蔽，春花似錦、人聲如沸宾娜。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,289評(píng)論 0贊 19
  • 一樁弒父案，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽前塔。三九已至嚣艇，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間华弓，已是汗流浹背食零。 一陣腳步聲響...
    開封第一講書人閱讀 31,517評(píng)論 1贊 262
  • 情欲美人皮
    我被黑心中介騙來泰國打工， 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留寂屏，地道東北人贰谣。 一個(gè)月前我還...
    沈念sama閱讀 45,547評(píng)論 2贊 354
  • 代替公主和親
    正文 我出身青樓，卻偏偏與公主長(zhǎng)得像迁霎，于是被迫代替她去往敵國和親吱抚。 傳聞我的和親對(duì)象是個(gè)殘疾皇子，可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,834評(píng)論 2贊 345

推薦閱讀更多精彩內(nèi)容