我們?cè)诰W(wǎng)站運(yùn)營(yíng)的時(shí)候旗笔，最大的問(wèn)題就是：我們自己花費(fèi)幾個(gè)小時(shí)甚至是幾天辛辛苦苦創(chuàng)作作的內(nèi)容倒脓，被爬蟲只需要 1s 就抓去了。為了保衛(wèi)我們創(chuàng)作的成果，也為了網(wǎng)站的穩(wěn)定運(yùn)行撵儿，我們需要對(duì)爬蟲說(shuō)：No，我們?cè)诜磁老x的過(guò)程中最重要的就是如何識(shí)別爬蟲疾瓮。
為了識(shí)別識(shí)別爬蟲，常用的有以下幾個(gè)方法：
真人檢測(cè)
所謂的真人檢測(cè)也就是出現(xiàn)一個(gè)驗(yàn)證碼飒箭，讓你輸入驗(yàn)證碼的內(nèi)容狼电，這些驗(yàn)證碼對(duì)于人類來(lái)說(shuō)很容易識(shí)別，但是對(duì)于機(jī)器來(lái)說(shuō)卻很難識(shí)別弦蹂，例如這種驗(yàn)證碼：
這種驗(yàn)證碼只有人類很輕易識(shí)別肩碟，爬蟲卻很難識(shí)別。
滑塊類驗(yàn)證碼
這里驗(yàn)證碼對(duì)于人類來(lái)說(shuō)也很友好凸椿，我們只需要將滑塊移到一個(gè)陰影的位置削祈，例如下面這種：
這類驗(yàn)證碼對(duì)于人來(lái)來(lái)說(shuō)輕而易舉，但是對(duì)于爬蟲來(lái)說(shuō)有一定難度，但是也是可以破解的髓抑。
這些在一些特殊場(chǎng)合的確是可以防止爬蟲對(duì)于你創(chuàng)作內(nèi)容的抓取咙崎，但是你成功的防止了惡意爬蟲，也成功的防止了搜索引擎爬蟲來(lái)抓取你的內(nèi)容启昧。
我們?yōu)槭裁匆试S搜索引擎爬蟲來(lái)抓取我們的內(nèi)容叙凡？
這個(gè)主要是由于搜索引擎可以給我?guī)?lái)流量，有了流量我們就可以想辦法變現(xiàn)密末，有沒有嗅到金錢的味道。
例如我們?cè)诎俣人阉鳎?a target="_blank">爬蟲識(shí)別跛璧，并點(diǎn)擊了我的網(wǎng)站严里，就有訪客訪問(wèn)網(wǎng)站，就給網(wǎng)站帶來(lái)了流量追城。
那百度怎么知道我們網(wǎng)站上有什么內(nèi)容呢刹碾？
百度搜索引擎每天有成千上萬(wàn)的爬蟲在互聯(lián)網(wǎng)上抓取內(nèi)容，并將百度爬蟲抓取的內(nèi)容存入自己的索引之中座柱，在根據(jù)一定的算法為每個(gè)網(wǎng)頁(yè)排名迷帜，之后用戶搜索相應(yīng)的關(guān)鍵詞之后，有可能會(huì)到達(dá)你網(wǎng)站色洞，就會(huì)給你帶來(lái)流量戏锹。
這就是為什么我們不能屏蔽搜索引擎爬蟲的原因了，如果你像屏蔽其他爬蟲一樣屏蔽搜索引擎爬蟲火诸，那么搜索引擎爬蟲將無(wú)法抓取你網(wǎng)站的內(nèi)容锦针，就不會(huì)在搜索結(jié)果中展示你的網(wǎng)站，也不會(huì)為你帶來(lái)任何流量置蜀。
那現(xiàn)在有一個(gè)問(wèn)題就是奈搜，我們既要屏蔽一些惡意爬蟲，又不能屏蔽搜索引擎爬蟲盯荤，我真的好難呀馋吗！
為了解決這個(gè)問(wèn)題，我們可以使用爬蟲識(shí)別這個(gè)網(wǎng)站來(lái)解決上面的問(wèn)題秋秤。
首先我們需要根據(jù) User-agent 先過(guò)濾掉一部分惡意爬蟲宏粤，搜索引擎的 User-agent 我們可以在這里查看：搜索引擎爬蟲
這里收集和整理了市面上大部分搜索引擎的 User-agent 與 IP 地址，例如下面是百度蜘蛛的 User-agent：
通過(guò)比對(duì) User-agent 我們可以初步判斷是不是搜索引擎的爬蟲航缀，但是 User-agent 是可以輕易偽造的商架，所以我們還需要配合 IP 來(lái)識(shí)別爬蟲是否是真實(shí)的。
我們只需要到爬蟲 IP 查詢輸入 IP 就可以知道這個(gè)是不是偽造爬蟲了芥玉。
總結(jié)
這篇文章首先從驗(yàn)證碼開始如何防止爬蟲抓取我們網(wǎng)站蛇摸，但是我們又不能屏蔽所有爬蟲抓取我們網(wǎng)站，我們?nèi)绾瓮ㄟ^(guò) User-agent 與 IP 結(jié)合的方式判斷是搜索引擎爬蟲灿巧，并讓其抓取我們網(wǎng)站赶袄。
