robots.txt分析

robots.txt簡介

介紹

robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件。robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的窖壕。當(dāng)一個搜索蜘蛛訪問一個站點時毁葱,它會首先檢查該站點根目錄下是否存在robots.txt垫言,如果存在,搜索機(jī)器人就會按照該文件中的內(nèi)容來確定訪問的范圍倾剿;如果該文件不存在筷频,所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護(hù)的頁面。

原則

1前痘、搜索技術(shù)應(yīng)服務(wù)于人類凛捏,同時尊重信息提供者的意愿,并維護(hù)其隱私權(quán)芹缔;

2坯癣、網(wǎng)站有義務(wù)保護(hù)其使用者的個人信息和隱私不被侵犯。

寫法

User-agent: * 這里的*代表的所有的搜索引擎種類最欠,*是一個通配符

Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄

Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄

Disallow: /ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄

Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)示罗。

Disallow: /*?* 禁止訪問網(wǎng)站中所有包含問號 (?) 的網(wǎng)址

Disallow: /.jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片

Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。

Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄

Allow: /tmp 這里定義是允許爬尋tmp的整個目錄

Allow: .htm$ 僅允許訪問以".htm"為后綴的URL窒所。

Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片

Sitemap: 網(wǎng)站地圖 告訴爬蟲這個頁面是網(wǎng)站地圖

位置

robots.txt文件應(yīng)該放置在網(wǎng)站根目錄下鹉勒。舉例來說帆锋,當(dāng)spider訪問一個網(wǎng)站時吵取,首先會檢查該網(wǎng)站中是否存在robots.txt這個文件,如果 Spider找到這個文件锯厢,它就會根據(jù)這個文件的內(nèi)容皮官,來確定它訪問權(quán)限的范圍。

淘寶robots.txt分析

User-agent:? Baiduspider
Allow:? /article
Allow:? /oshtml
Allow:? /wenzhang
Disallow:? /product/
Disallow:? /

User-Agent:? Googlebot
Allow:? /article
Allow:? /oshtml
Allow:? /product
Allow:? /spu
Allow:? /dianpu
Allow:? /wenzhang
Allow:? /oversea
Disallow:? /

User-agent:? Bingbot
Allow:? /article
Allow:? /oshtml
Allow:? /product
Allow:? /spu
Allow:? /dianpu
Allow:? /wenzhang
Allow:? /oversea
Disallow:? /

User-Agent:? 360Spider
Allow:? /article
Allow:? /oshtml
Allow:? /wenzhang
Disallow:? /

User-Agent:? Yisouspider
Allow:? /article
Allow:? /oshtml
Allow:? /wenzhang
Disallow:? /

User-Agent:? Sogouspider
Allow:? /article
Allow:? /oshtml
Allow:? /product
Allow:? /wenzhang
Disallow:? /

User-Agent:? Yahoo!? Slurp
Allow:? /product
Allow:? /spu
Allow:? /dianpu
Allow:? /wenzhang
Allow:? /oversea
Disallow:? /

User-Agent:? *
Disallow:? /

分析:淘寶僅允許百度实辑、Google捺氢、Bing、360剪撬、易搜摄乒、搜狗、Yahoo的蜘蛛訪問残黑,其中Allow:后表示允許訪問馍佑,而Disallow:后表示禁止訪問。淘寶以前是禁止百度訪問的梨水,但近年來對百度蜘蛛開放了訪問權(quán)限拭荤,但仍禁止爬取產(chǎn)品信息。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末疫诽,一起剝皮案震驚了整個濱河市舅世,隨后出現(xiàn)的幾起案子旦委,更是在濱河造成了極大的恐慌,老刑警劉巖雏亚,帶你破解...
    沈念sama閱讀 222,807評論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件缨硝,死亡現(xiàn)場離奇詭異,居然都是意外死亡罢低,警方通過查閱死者的電腦和手機(jī)追葡,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,284評論 3 399
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來奕短,“玉大人宜肉,你說我怎么就攤上這事◆岜” “怎么了谬返?”我有些...
    開封第一講書人閱讀 169,589評論 0 363
  • 文/不壞的土叔 我叫張陵,是天一觀的道長日杈。 經(jīng)常有香客問我遣铝,道長,這世上最難降的妖魔是什么莉擒? 我笑而不...
    開封第一講書人閱讀 60,188評論 1 300
  • 正文 為了忘掉前任酿炸,我火速辦了婚禮,結(jié)果婚禮上涨冀,老公的妹妹穿的比我還像新娘填硕。我一直安慰自己,他們只是感情好鹿鳖,可當(dāng)我...
    茶點故事閱讀 69,185評論 6 398
  • 文/花漫 我一把揭開白布扁眯。 她就那樣靜靜地躺著,像睡著了一般翅帜。 火紅的嫁衣襯著肌膚如雪姻檀。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,785評論 1 314
  • 那天涝滴,我揣著相機(jī)與錄音绣版,去河邊找鬼。 笑死歼疮,一個胖子當(dāng)著我的面吹牛杂抽,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播腋妙,決...
    沈念sama閱讀 41,220評論 3 423
  • 文/蒼蘭香墨 我猛地睜開眼默怨,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了骤素?” 一聲冷哼從身側(cè)響起匙睹,我...
    開封第一講書人閱讀 40,167評論 0 277
  • 序言:老撾萬榮一對情侶失蹤愚屁,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后痕檬,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體霎槐,經(jīng)...
    沈念sama閱讀 46,698評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,767評論 3 343
  • 正文 我和宋清朗相戀三年梦谜,在試婚紗的時候發(fā)現(xiàn)自己被綠了丘跌。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,912評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡唁桩,死狀恐怖闭树,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情荒澡,我是刑警寧澤报辱,帶...
    沈念sama閱讀 36,572評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站单山,受9級特大地震影響碍现,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜米奸,卻給世界環(huán)境...
    茶點故事閱讀 42,254評論 3 336
  • 文/蒙蒙 一昼接、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧悴晰,春花似錦慢睡、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,746評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽钻弄。三九已至佃却,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間窘俺,已是汗流浹背饲帅。 一陣腳步聲響...
    開封第一講書人閱讀 33,859評論 1 274
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留瘤泪,地道東北人灶泵。 一個月前我還...
    沈念sama閱讀 49,359評論 3 379
  • 正文 我出身青樓,卻偏偏與公主長得像对途,于是被迫代替她去往敵國和親赦邻。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,922評論 2 361

推薦閱讀更多精彩內(nèi)容