<center>淘寶與騰訊的robots.txt解析#
淘寶的robots.txt
User-agent: Baiduspider
Allow: /article
Allow: /oshtml
Allow: /wenzhang
Disallow: /product/
Disallow: /
允許Baiduspider爬尋article、oshtml患雏、wenzhang整個目錄懒浮，禁止爬尋product目錄下面的目錄儿惫。其它禁止訪問骚烧。User-Agent: Googlebot
Allow: /article
Allow: /oshtml
Allow: /product
Allow: /spu
Allow: /dianpu
Allow: /wenzhang
Allow: /oversea
Disallow: /
允許Googlebot爬尋article嫩挤、oshtml血筑、product绘沉、spu、dianpu豺总、wenzhang车伞、oversea整個目錄。其它禁止訪問喻喳。User-agent: Bingbot
Allow: /article
Allow: /oshtml
Allow: /product
Allow: /spu
Allow: /dianpu
Allow: /wenzhang
Allow: /oversea
Disallow: /
允許Bingbot爬尋article另玖、oshtml、product表伦、spu谦去、dianpu、wenzhang蹦哼、oversea整個目錄鳄哭。其它禁止訪問。User-Agent: 360Spider
Allow: /article
Allow: /oshtml
Allow: /wenzhang
Disallow: /
允許360Spider爬尋article纲熏、oshtml妆丘、wenzhang整個目錄锄俄。其它禁止訪問。User-Agent: Yisouspider
Allow: /article
Allow: /oshtml
Allow: /wenzhang
Disallow: /
允許Yisouspider 爬尋article飘痛、oshtml珊膜、wenzhang整個目錄。其它禁止訪問宣脉。User-Agent: Sogouspider
Allow: /article
Allow: /oshtml
Allow: /product
Allow: /wenzhang
Disallow: /
允許Sogouspider爬尋article车柠、oshtml、product塑猖、wenzhang整個目錄竹祷。其它禁止訪問。User-Agent: Yahoo! Slurp
Allow: /product
Allow: /spu
Allow: /dianpu
Allow: /wenzhang
Allow: /oversea
Disallow: /
允許Yahoo! Slurp爬尋product羊苟、spu塑陵、dianpu、wenzhang蜡励、oversea整個目錄令花。其它禁止訪問。User-Agent: *
Disallow: /
禁止所有搜索引擎訪問網(wǎng)站的任何部分<p>
騰訊的robots.txt
- User-agent: *
Disallow:
允許所有的robot訪問
