很多時(shí)候平委，我們都不會去把百度蜘蛛去屏蔽掉，但是也有需要去屏蔽一些不必要的抓取熟菲，比如一些大型的網(wǎng)站門戶網(wǎng)昏苏，有登錄頁面或者是注冊頁面，還有一些不想讓百度蜘蛛抓取文件都可以利用robots協(xié)議來完成俊犯，那么重慶SEO鵬鵬就講解哈屏蔽百度蜘蛛的具體方法。
一伤哺、robots協(xié)議
robots協(xié)議相信大家都不陌生燕侠，首先既然要用到robots協(xié)議，那么我們就要先創(chuàng)建一個(gè)記事本立莉，把記事本重命名為robots绢彤，然后我們寫下robots協(xié)議具體如下：
User-agent: BadBot
Disallow: /
然后保存后通過FTP工具上傳到網(wǎng)站根目錄即可。
二蜓耻、robots Meta標(biāo)簽
robots?Meta標(biāo)簽也可以屏蔽百度蜘蛛抓取茫舶，這種方法與robots類似，但是還是部分搜索引擎不支持刹淌，robots?Meta用來對某幾個(gè)頁面單獨(dú)設(shè)置時(shí)使用饶氏。其代碼是寫在“<head></head>”之間，如下所示：
<head>
<meta?name=”robots”?content=”index,follow”?/>
</head>
三有勾、.htaccess屏蔽
如果說使用robots協(xié)議無法全部屏蔽你的網(wǎng)站疹启，那么你可以在你的網(wǎng)站根目錄下找到.htaccess屏蔽代碼如下：
方法1：
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC]
RewriteRule .* – [F]
方法2：
SetEnvIfNoCase User-Agent “^Baiduspider” bad_bot
<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>
總結(jié):百度蜘蛛屏蔽方法有許多，以上方法可參考蔼卡，重慶SEO鵬鵬覺得還是以robots協(xié)議較好喊崖，所以其他方法及時(shí)可以用，但是也不建議去做雇逞，因?yàn)橐徊叫⌒母沐e(cuò)了荤懂，就會導(dǎo)致麻煩不斷！
本文來源：http://www.pengpengseo.com/
