一严沥、robots協(xié)議
robots協(xié)議垃帅，也稱爬蟲協(xié)議，網(wǎng)站會(huì)在 robots.txt 文件中聲明哪些內(nèi)容可以爬取椭符，哪些內(nèi)容不能爬取荔燎。robots.txt 放在網(wǎng)站根目錄下。舉例來說销钝，當(dāng)robots訪問一個(gè)網(wǎng)站（比如https://www.xxx.com）時(shí)有咨，首先會(huì)檢查該網(wǎng)站中是否存在https://www.xxx.com/robots.txt這個(gè)文件，如果機(jī)器人找到這個(gè)文件蒸健，它就會(huì)根據(jù)這個(gè)文件的內(nèi)容座享，來確定它訪問權(quán)限的范圍婉商。此外，并不是所有的網(wǎng)站都會(huì)有robots.txt文件渣叛。
文件主要內(nèi)容如下：
User-agent: #引擎爬蟲名稱丈秩，其中*表示是一個(gè)通配符，表示所有的搜索引擎種類
Disallow： #表示禁止搜索引擎爬取的內(nèi)容
allow: #表示允許爬取的內(nèi)容
文件部分語(yǔ)法：
/admin/ #表示admin目錄下的內(nèi)容
/admin #表示包含admin及admin目錄下的內(nèi)容
$ #結(jié)束符 (所有以他結(jié)尾的都能夠進(jìn)行匹配)
* #匹配符 （匹配零或任意多個(gè)字符）
二淳衙、亞馬遜robots協(xié)議
1蘑秽、國(guó)內(nèi)亞馬遜 https://www.amazon.cn/robots.txt
亞馬遜（中國(guó)）robots協(xié)議中對(duì)所有搜索引擎的爬蟲規(guī)定都相同，它只有一個(gè)user-agent滤祖，并且允許爬取的內(nèi)容只有心愿單里的以下六項(xiàng)筷狼，大概能猜出是通用心愿單目錄下的信息和供應(yīng)商家的信息；不能抓取其他的比如幫助匠童、搜索等內(nèi)容埂材。
可以推測(cè)，當(dāng)用戶在瀏覽其他網(wǎng)頁(yè)時(shí)汤求，廣告內(nèi)容有可能會(huì)出現(xiàn)跟心愿單內(nèi)商品相似的商品信息俏险。
User-agent: *
Allow: /wishlist/universal*
Allow: /wishlist/vendor-button*
Allow: /wishlist/get-button*
Allow: /gp/wishlist/universal*
Allow: /gp/wishlist/vendor-button*
Allow: /gp/wishlist/ipad-install*
而不允許爬取的部分，我能看懂的有四個(gè)部分扬绪，第一個(gè)是它的頁(yè)面設(shè)計(jì)竖独，即它的CSS和JS目錄文件；第二個(gè)是產(chǎn)品信息挤牛；第三個(gè)是用戶信息莹痢，包括用戶的訂單信息、登錄信息等墓赴；第四個(gè)是幫助信息竞膳。猜測(cè)其中一部分原因應(yīng)該是保護(hù)用戶的隱私和網(wǎng)頁(yè)技術(shù)等。
Disallow: /css #網(wǎng)頁(yè)技術(shù)文件
Disallow: /gp/help/contact-us/general-questions.html*?type&email&skip=true #幫助
Disallow: /mn/loginApplication #登錄信息
Disallow: /gp/product/rate-this-item #產(chǎn)品信息
2诫硕、美國(guó)亞馬遜 https://www.amazon.com/robots.txt
相比國(guó)內(nèi)的亞馬遜網(wǎng)站坦辟，國(guó)際亞馬遜網(wǎng)站robots協(xié)議內(nèi)多了兩個(gè)爬蟲。
User-agent: *
User-agent: Googlebot
User-agent: EtaoSpider
它禁止了一淘網(wǎng)所有的爬取權(quán)限章办，猜測(cè)可能是因?yàn)橥簧唐凡煌瑖?guó)家會(huì)出現(xiàn)比較大的價(jià)格差異而出現(xiàn)干擾锉走；
對(duì)于通用的引擎爬蟲，相比國(guó)內(nèi)的網(wǎng)站藕届，它添加了會(huì)員的音樂服務(wù)等四個(gè)權(quán)限：
Allow: /gp/dmusic/promotions/PrimeMusic
Allow: /gp/dmusic/promotions/AmazonMusicUnlimited
Allow: /gp/offer-listing/B000
Allow: /gp/offer-listing/9000
另外挪蹭，它還給谷歌單獨(dú)添加了一個(gè) /gp/aag/main?*seller=ABVFEJU8LS620目錄的權(quán)限。
