你期待已久的Python網(wǎng)絡(luò)數(shù)據(jù)爬蟲教程來了鳄炉。本文為你演示如何從網(wǎng)頁里找到感興趣的鏈接和說明文字杜耙，抓取并存儲到Excel。
需求
我在公眾號后臺拂盯，經(jīng)秤优可以收到讀者的留言。
很多留言谈竿，是讀者的疑問团驱。只要有時間，我都會抽空嘗試解答空凸。
但是有的留言嚎花，乍看起來就不明所以了。
例如下面這個：
一分鐘后呀洲，他可能覺得不妥（大概因為想起來紊选，我用簡體字寫文章），于是又用簡體發(fā)了一遍道逗。
我恍然大悟兵罢。
這位讀者以為我的公眾號設(shè)置了關(guān)鍵詞推送對應(yīng)文章功能。所以看了我的其他數(shù)據(jù)科學(xué)教程后滓窍，想看“爬蟲”專題卖词。
不好意思，當(dāng)時我還沒有寫爬蟲文章吏夯。
而且此蜈，我的公眾號暫時也沒有設(shè)置這種關(guān)鍵詞推送。
主要是因為我懶锦亦。
這樣的消息接收得多了舶替，我也能體察到讀者的需求令境。不止一個讀者表達(dá)出對爬蟲教程的興趣杠园。
之前提過，目前主流而合法的網(wǎng)絡(luò)數(shù)據(jù)收集方法舔庶，主要分為3類：
開放數(shù)據(jù)集下載抛蚁；
API讀瘸滦选；
爬蟲瞧甩。
前兩種方法钉跷，我都已經(jīng)做過一些介紹，這次說說爬蟲肚逸。
概念
許多讀者對爬蟲的定義爷辙，有些混淆。咱們有必要辨析一下朦促。
維基百科是這么說的：
網(wǎng)絡(luò)爬蟲（英語：web crawler）膝晾，也叫網(wǎng)絡(luò)蜘蛛（spider），是一種用來自動瀏覽萬維網(wǎng)的網(wǎng)絡(luò)機(jī)器人务冕。其目的一般為編纂網(wǎng)絡(luò)索引血当。
這問題就來了，你又不打算做搜索引擎禀忆，為什么對網(wǎng)絡(luò)爬蟲那么熱心呢臊旭？
其實，許多人口中所說的爬蟲（web crawler）箩退，跟另外一種功能“網(wǎng)頁抓取”（web scraping）搞混了离熏。
維基百科上，對于后者這樣解釋：
Web scraping, web harvesting, or web data extraction is data scraping used for extracting data from websites. Web scraping software may access the World Wide Web directly using the Hypertext Transfer Protocol, or through a web browser.
看到?jīng)]有戴涝，即便你用瀏覽器手動拷貝數(shù)據(jù)下來撤奸，也叫做網(wǎng)頁抓取（web scraping）喊括。是不是立刻覺得自己強(qiáng)大了很多胧瓜？
但是，這定義還沒完：
While web scraping can be done manually by a software user, the term typically refers to automate processes implemented using a bot or web crawler.
也就是說郑什，用爬蟲（或者機(jī)器人）自動替你完成網(wǎng)頁抓取工作府喳，才是你真正想要的。
數(shù)據(jù)抓下來干什么呢蘑拯？
一般是先存儲起來钝满，放到數(shù)據(jù)庫或者電子表格中，以備檢索或者進(jìn)一步分析使用申窘。
所以弯蚜，你真正想要的功能是這樣的：
找到鏈接，獲得Web頁面剃法，抓取指定信息碎捺，存儲。
這個過程有可能會往復(fù)循環(huán)，甚至是滾雪球收厨。
你希望用自動化的方式來完成它晋柱。
了解了這一點，你就不要老盯著爬蟲不放了诵叁。爬蟲研制出來雁竞，其實是為了給搜索引擎編制索引數(shù)據(jù)庫使用的。你為了抓取點兒數(shù)據(jù)拿來使用拧额，已經(jīng)是大炮轟蚊子了碑诉。
要真正掌握爬蟲，你需要具備不少基礎(chǔ)知識侥锦。例如HTML, CSS, Javascript, 數(shù)據(jù)結(jié)構(gòu)……
這也是為什么我一直猶豫著沒有寫爬蟲教程的原因联贩。
不過這兩天，看到王爍主編的一段話捎拯，很有啟發(fā)：
我喜歡講一個另類二八定律泪幌，就是付出兩成努力，了解一件事的八成署照。
既然我們的目標(biāo)很明確祸泪，就是要從網(wǎng)頁抓取數(shù)據(jù)。那么你需要掌握的最重要能力建芙，是拿到一個網(wǎng)頁鏈接后没隘，如何從中快捷有效地抓取自己想要的信息。
掌握了它禁荸，你還不能說自己已經(jīng)學(xué)會了爬蟲右蒲。
但有了這個基礎(chǔ)，你就能比之前更輕松獲取數(shù)據(jù)了赶熟。特別是對“文科生”的很多應(yīng)用場景來說瑰妄，非常有用。這就是賦能映砖。
而且间坐，再進(jìn)一步深入理解爬蟲的工作原理，也變得輕松許多邑退。
這也算“另類二八定律”的一個應(yīng)用吧竹宋。
Python語言的重要特色之一，就是可以利用強(qiáng)大的軟件工具包（許多都是第三方提供）地技。你只需要編寫簡單的程序蜈七，就能自動解析網(wǎng)頁，抓取數(shù)據(jù)莫矗。
本文給你演示這一過程飒硅。
目標(biāo)
要抓取網(wǎng)頁數(shù)據(jù)砂缩，我們先制訂一個小目標(biāo)。
目標(biāo)不能太復(fù)雜狡相。但是完成它梯轻，應(yīng)該對你理解抓仁晨摹（Web Scraping）有幫助尽棕。
就選擇我最近發(fā)布的一篇簡書文章作為抓取對象好了。題目叫做《如何用《玉樹芝蘭》入門數(shù)據(jù)科學(xué)彬伦？》滔悉。
這篇文章里，我把之前的發(fā)布的數(shù)據(jù)科學(xué)系列文章做了重新組織和串講单绑。
文中包含很多之前教程的標(biāo)題和對應(yīng)鏈接回官。例如下圖紅色邊框圈起來的部分。
假設(shè)你對文中提到教程都很感興趣搂橙，希望獲得這些文章的鏈接歉提，并且存儲到Excel里，就像下面這個樣子：
你需要把非結(jié)構(gòu)化的分散信息（自然語言文本中的鏈接）区转，專門提取整理苔巨，并且存儲下來。
該怎么辦呢废离？
即便不會編程侄泽，你也可以全文通讀，逐個去找這些文章鏈接蜻韭，手動把文章標(biāo)題悼尾、鏈接都分別拷貝下來，存到Excel表里面肖方。
但是闺魏，這種手工采集方法沒有效率。
我們用Python俯画。
環(huán)境
要裝Python舷胜，比較省事的辦法是安裝Anaconda套裝。
請到這個網(wǎng)址下載Anaconda的最新版本活翩。
請選擇左側(cè)的 Python 3.6 版本下載安裝烹骨。
如果你需要具體的步驟指導(dǎo)，或者想知道Windows平臺如何安裝并運(yùn)行Anaconda命令材泄，請參考我為你準(zhǔn)備的視頻教程沮焕。
安裝好Anaconda之后，請到這個網(wǎng)址下載本教程配套的壓縮包拉宗。
下載后解壓峦树，你會在生成的目錄（下稱“演示目錄”）里面看到以下三個文件辣辫。
打開終端，用cd命令進(jìn)入該演示目錄魁巩。如果你不了解具體使用方法急灭，也可以參考視頻教程。
我們需要安裝一些環(huán)境依賴包谷遂。
首先執(zhí)行：
pip install pipenv
這里安裝的，是一個優(yōu)秀的 Python 軟件包管理工具 pipenv 肾扰。
安裝后畴嘶，請執(zhí)行：
pipenv install
看到演示目錄下兩個Pipfile開頭的文件了嗎？它們就是 pipenv 的設(shè)置文檔集晚。
pipenv 工具會依照它們窗悯，自動為我們安裝所需要的全部依賴軟件包。
上圖里面有個綠色的進(jìn)度條偷拔，提示所需安裝軟件數(shù)量和實際進(jìn)度蒋院。
裝好后，根據(jù)提示我們執(zhí)行：
pipenv shell
此處請確認(rèn)你的電腦上已經(jīng)安裝了 Google Chrome 瀏覽器莲绰。
我們執(zhí)行：
jupyter notebook
默認(rèn)瀏覽器（Google Chrome）會開啟欺旧，并啟動 Jupyter 筆記本界面：
你可以直接點擊文件列表中的第一項ipynb文件，可以看到本教程的全部示例代碼钉蒲。
你可以一邊看教程的講解切端，一邊依次執(zhí)行這些代碼。
但是顷啼，我建議的方法踏枣，是回到主界面下，新建一個新的空白 Python 3 筆記本钙蒙。
請跟著教程茵瀑，一個個字符輸入相應(yīng)的內(nèi)容。這可以幫助你更為深刻地理解代碼的含義躬厌，更高效地把技能內(nèi)化马昨。
準(zhǔn)備工作結(jié)束，下面我們開始正式輸入代碼扛施。
代碼
讀入網(wǎng)頁加以解析抓取鸿捧，需要用到的軟件包是 requests_html 。我們此處并不需要這個軟件包的全部功能疙渣，只讀入其中的 HTMLSession 就可以匙奴。
from requests_html import HTMLSession
然后，我們建立一個會話（session）妄荔，即讓Python作為一個客戶端泼菌，和遠(yuǎn)端服務(wù)器交談谍肤。
session = HTMLSession()
前面說了，我們打算采集信息的網(wǎng)頁哗伯，是《如何用《玉樹芝蘭》入門數(shù)據(jù)科學(xué)荒揣？》一文。
我們找到它的網(wǎng)址焊刹，存儲到url變量名中系任。
url = ‘http://www.reibang.com/p/85f4624485b9’
下面的語句，利用 session 的 get 功能伴澄，把這個鏈接對應(yīng)的網(wǎng)頁整個兒取回來赋除。
r = session.get(url)
網(wǎng)頁里面都有什么內(nèi)容呢阱缓？
我們告訴Python非凌，請把服務(wù)器傳回來的內(nèi)容當(dāng)作HTML文件類型處理。我不想要看HTML里面那些亂七八糟的格式描述符荆针，只看文字部分敞嗡。
于是我們執(zhí)行：
print(r.html.text)
這就是獲得的結(jié)果了：
我們心里有數(shù)了。取回來的網(wǎng)頁信息是正確的航背，內(nèi)容是完整的喉悴。
好了，我們來看看怎么趨近自己的目標(biāo)吧玖媚。
我們先用簡單粗暴的方法箕肃，嘗試獲得網(wǎng)頁中包含的全部鏈接。
把返回的內(nèi)容作為HTML文件類型今魔，我們查看 links 屬性：
r.html.links
這是返回的結(jié)果：
這么多鏈接吧紫瘛！
很興奮吧错森？
不過削咆，你發(fā)現(xiàn)沒有席镀？這里許多鏈接，看似都不完全。例如第一條結(jié)果掏导，只有：
‘/’
這是什么東西？是不是鏈接抓取錯誤翱源印纤子？
不是，這種看著不像鏈接的東西睡蟋，叫做相對鏈接踏幻。它是某個鏈接，相對于我們采集的網(wǎng)頁所在域名（http://www.reibang.com）的路徑薄湿。
這就好像我們在國內(nèi)郵寄快遞包裹叫倍，填單子的時候一般會寫“XX省XX市……”偷卧，前面不需要加上國家名稱。只有國際快遞吆倦，才需要寫上國名听诸。
但是如果我們希望獲得全部可以直接訪問的鏈接，怎么辦呢蚕泽？
很容易晌梨，也只需要一條 Python 語句。
r.html.absolute_links
這里须妻，我們要的是“絕對”鏈接仔蝌，于是我們就會獲得下面的結(jié)果：
這回看著是不是就舒服多了？
我們的任務(wù)已經(jīng)完成了吧荒吏？鏈接不是都在這里嗎敛惊？
鏈接確實都在這里了，可是跟我們的目標(biāo)是不是有區(qū)別呢绰更？
檢查一下瞧挤，確實有。
我們不光要找到鏈接儡湾，還得找到鏈接對應(yīng)的描述文字呢特恬，結(jié)果里包含嗎？
沒有徐钠。
結(jié)果列表中的鏈接癌刽，都是我們需要的嗎？
不是尝丐∠园荩看長度，我們就能感覺出許多鏈接并不是文中描述其他數(shù)據(jù)科學(xué)文章的網(wǎng)址摊崭。
這種簡單粗暴直接羅列HTML文件中所有鏈接的方法讼油，對本任務(wù)行不通。
那么我們該怎么辦呢簸？
我們得學(xué)會跟 Python 說清楚我們要找的東西矮台。這是網(wǎng)頁抓取的關(guān)鍵。
想想看根时，如果你想讓助手（人類）幫你做這事兒瘦赫，怎么辦？
你會告訴他：
“尋找正文中全部可以點擊的藍(lán)色文字鏈接蛤迎，拷貝文字到Excel表格确虱，然后右鍵復(fù)制對應(yīng)的鏈接，也拷貝到Excel表格替裆。每個鏈接在Excel占一行校辩，文字和鏈接各占一個單元格窘问。”
雖然這個操作執(zhí)行起來麻煩宜咒，但是助手聽懂后惠赫，就能幫你執(zhí)行。
同樣的描述故黑，你試試說給電腦聽……不好意思儿咱，它不理解。
因為你和助手看到的網(wǎng)頁场晶，是這個樣子的混埠。
電腦看到的網(wǎng)頁，是這個樣子的诗轻。
為了讓你看得清楚源代碼钳宪，瀏覽器還特意對不同類型的數(shù)據(jù)用了顏色區(qū)分，對行做了編號概耻。
數(shù)據(jù)顯示給電腦時使套，上述輔助可視功能是沒有的罐呼。它只能看見一串串字符鞠柄。
那可怎么辦？
仔細(xì)觀察嫉柴，你會發(fā)現(xiàn)這些HTML源代碼里面厌杜，文字、圖片鏈接內(nèi)容前后计螺，都會有一些被尖括號括起來的部分夯尽，這就叫做“標(biāo)記”。
所謂HTML登馒，就是一種標(biāo)記語言（超文本標(biāo)記語言匙握，HyperText Markup Language）。
標(biāo)記的作用是什么陈轿？它可以把整個的文件分解出層次來圈纺。
（圖片來源：https://goo.gl/kWCqS6）
如同你要發(fā)送包裹給某個人，可以按照“省-市-區(qū)-街道-小區(qū)-門牌”這樣的結(jié)構(gòu)來寫地址麦射，快遞員也可以根據(jù)這個地址找到收件人蛾娶。
同樣，我們對網(wǎng)頁中某些特定內(nèi)容感興趣潜秋，可以依據(jù)這些標(biāo)記的結(jié)構(gòu)蛔琅，順藤摸瓜找出來。
這是不是意味著峻呛，你必須先學(xué)會HTML和CSS罗售，才能進(jìn)行網(wǎng)頁內(nèi)容抓取呢辜窑？
不是的，我們可以借助工具寨躁，幫你顯著簡化任務(wù)復(fù)雜度谬擦。
這個工具，Google Chrome瀏覽器自帶朽缎。
我們在樣例文章頁面上惨远，點擊鼠標(biāo)右鍵，在出現(xiàn)的菜單里面選擇“檢查”话肖。
這時北秽，屏幕下方就會出現(xiàn)一個分欄。
我們點擊這個分欄左上角（上圖紅色標(biāo)出）的按鈕最筒。然后把鼠標(biāo)懸停在第一個文內(nèi)鏈接（《玉樹芝蘭》）上面贺氓，點擊一下。
此時床蜘，你會發(fā)現(xiàn)下方分欄里面辙培，內(nèi)容也發(fā)生了變化。這個鏈接對應(yīng)的源代碼被放在分欄區(qū)域正中邢锯，高亮顯示扬蕊。
確認(rèn)該區(qū)域就是我們要找的鏈接和文字描述后，我們鼠標(biāo)右鍵選擇高亮區(qū)域丹擎，并且在彈出的菜單中尾抑，選擇 Copy -> Copy selector。
找一個文本編輯器蒂培，執(zhí)行粘貼再愈，就可以看見我們究竟復(fù)制下來了什么內(nèi)容。
body > div.note > div.post > div.article > div.show-content > div > p:nth-child(4) > a
這一長串的標(biāo)記护戳，為電腦指出了：請你先找到 body 標(biāo)記翎冲，進(jìn)入它管轄的這個區(qū)域后去找 div.note 標(biāo)記，然后找……最后找到 a 標(biāo)記媳荒，這里就是要找的內(nèi)容了抗悍。
回到咱們的 Jupyter Notebook 中，用剛才獲得的標(biāo)記路徑肺樟，定義變量sel檐春。
sel = ‘body > div.note > div.post > div.article > div.show-content > div > p:nth-child(4) > a’
我們讓 Python 從返回內(nèi)容中，查找 sel 對應(yīng)的位置么伯，把結(jié)果存到 results 變量中疟暖。
results = r.html.find(sel)
我們看看 results 里面都有什么。
results
這是結(jié)果：
[]
results 是個列表，只包含一項俐巴。這一項包含一個網(wǎng)址骨望，就是我們要找的第一個鏈接（《玉樹芝蘭》）對應(yīng)的網(wǎng)址。
可是文字描述“《玉樹芝蘭》”哪里去了欣舵？
別著急擎鸠，我們讓 Python 顯示 results 結(jié)果數(shù)據(jù)對應(yīng)的文本。
results[0].text
這是輸出結(jié)果：
‘玉樹芝蘭’
我們把鏈接也提取出來：
results[0].absolute_links
顯示的結(jié)果卻是一個集合缘圈。
{‘http://www.reibang.com/nb/130182’}
我們不想要集合劣光，只想要其中的鏈接字符串。所以我們先把它轉(zhuǎn)換成列表糟把，然后從中提取第一項绢涡，即網(wǎng)址鏈接。
list(results[0].absolute_links)[0]
這次遣疯，終于獲得我們想要的結(jié)果了：
‘http://www.reibang.com/nb/130182’
有了處理這第一個鏈接的經(jīng)驗雄可，你信心大增，是吧缠犀？
其他鏈接数苫，也無非是找到標(biāo)記路徑，然后照貓畫虎嘛辨液。
可是虐急，如果每找一個鏈接，都需要手動輸入上面這若干條語句室梅，那也太麻煩了戏仓。
這里就是編程的技巧了。重復(fù)逐條運(yùn)行的語句亡鼠，如果工作順利，我們就要嘗試把它們歸并起來敷待，做個簡單的函數(shù)间涵。
對這個函數(shù)，只需給定一個選擇路徑（sel）榜揖，它就把找到的所有描述文本和鏈接路徑都返回給我們勾哩。
def get_text_link_from_sel(sel):
mylist = []
try:
results = r.html.find(sel)
for result in results:
mytext = result.text
mylink = list(result.absolute_links)[0]
mylist.append((mytext, mylink))
return mylist
except:
return None
我們測試一下這個函數(shù)。
還是用剛才的標(biāo)記路徑（sel）不變举哟，試試看思劳。
print(get_text_link_from_sel(sel))
輸出結(jié)果如下：
[(‘玉樹芝蘭’, ‘http://www.reibang.com/nb/130182’)]
沒問題，對吧妨猩？
好潜叛，我們試試看第二個鏈接。
我們還是用剛才的方法，使用下面分欄左上角的按鈕點擊第二個鏈接威兜。
下方出現(xiàn)的高亮內(nèi)容就發(fā)生了變化：
我們還是用鼠標(biāo)右鍵點擊高亮部分销斟，拷貝出 selector。
然后我們直接把獲得的標(biāo)記路徑寫到 Jupyter Notebook 里面椒舵。
sel = ‘body > div.note > div.post > div.article > div.show-content > div > p:nth-child(6) > a’
用我們剛才編制的函數(shù)蚂踊，看看輸出結(jié)果是什么？
print(get_text_link_from_sel(sel))
輸出如下：
[(‘如何用Python做詞云笔宿？’, ‘http://www.reibang.com/p/e4b24a734ccc’)]
檢驗完畢犁钟，函數(shù)沒有問題。
下一步做什么泼橘？
你還打算去找第三個鏈接特纤，仿照剛才的方法做？
那你還不如全文手動摘取信息算了侥加，更省事兒一些捧存。
我們要想辦法把這個過程自動化。
對比一下剛剛兩次我們找到的標(biāo)記路徑：
body > div.note > div.post > div.article > div.show-content > div > p:nth-child(4) > a
以及：
body > div.note > div.post > div.article > div.show-content > div > p:nth-child(6) > a
發(fā)現(xiàn)什么規(guī)律沒有担败？
對昔穴，路徑上其他的標(biāo)記全都是一樣的，唯獨倒數(shù)第二個標(biāo)記（”p”）后冒號后內(nèi)容有區(qū)別提前。
這就是我們自動化的關(guān)鍵了吗货。
上述兩個標(biāo)記路徑里面，因為指定了在第幾個“子”(nth-child)文本段（paragraph,也就是”p”代表的含義）去找”a”這個標(biāo)記狈网，因此只返回來單一結(jié)果宙搬。
如果我們不限定”p”的具體位置信息呢？
我們試試看拓哺，這次保留標(biāo)記路徑里面其他全部信息勇垛，只修改”p”這一點。
sel = ‘body > div.note > div.post > div.article > div.show-content > div > p > a’
再次運(yùn)行我們的函數(shù)：
print(get_text_link_from_sel(sel))
這是輸出結(jié)果：
好了士鸥，我們要找的內(nèi)容闲孤，全都在這兒了。
但是烤礁，我們的工作還沒完讼积。
我們還得把采集到的信息輸出到Excel中保存起來。
還記得我們常用的數(shù)據(jù)框工具 Pandas 嗎脚仔？又該讓它大顯神通了勤众。
import pandas as pd
只需要這一行命令，我們就能把剛才的列表變成數(shù)據(jù)框：
df = pd.DataFrame(get_text_link_from_sel(sel))
讓我們看看數(shù)據(jù)框內(nèi)容：
df
內(nèi)容沒問題鲤脏，不過我們對表頭不大滿意们颜，得更換為更有意義的列名稱：
df.columns = [‘text’, ‘link’]
再看看數(shù)據(jù)框內(nèi)容：
df
好了吕朵，下面就可以把抓取的內(nèi)容輸出到Excel中了。
Pandas內(nèi)置的命令掌桩，就可以把數(shù)據(jù)框變成csv格式边锁，這種格式可以用Excel直接打開查看。
df.to_csv(‘output.csv’, encoding=’gbk’, index=False)
注意這里需要指定encoding（編碼）為gbk波岛，否則默認(rèn)的utf-8編碼在Excel中查看的時候茅坛，有可能是亂碼。
我們看看最終生成的csv文件吧则拷。
很有成就感贡蓖，是不是？
小結(jié)
本文為你展示了用Python自動網(wǎng)頁抓取的基礎(chǔ)技能煌茬。希望閱讀并動手實踐后斥铺，你能掌握以下知識點：
網(wǎng)頁抓取與網(wǎng)絡(luò)爬蟲之間的聯(lián)系與區(qū)別；
如何用 pipenv 快速構(gòu)建指定的 Python 開發(fā)環(huán)境坛善，自動安裝好依賴軟件包晾蜘；
如何用 Google Chrome 的內(nèi)置檢查功能，快速定位感興趣內(nèi)容的標(biāo)記路徑眠屎；
如何用 requests-html 包來解析網(wǎng)頁剔交，查詢獲得需要的內(nèi)容元素；
如何用 Pandas 數(shù)據(jù)框工具整理數(shù)據(jù)改衩，并且輸出到 Excel岖常。
或許，你覺得這篇文章過于淺白葫督，不能滿足你的要求竭鞍。
文中只展示了如何從一個網(wǎng)頁抓取信息，可你要處理的網(wǎng)頁成千上萬啊橄镜。
別著急偎快。
本質(zhì)上說，抓取一個網(wǎng)頁蛉鹿，和抓取10000個網(wǎng)頁滨砍，在流程上是一樣的。
而且妖异，從咱們的例子里，你是不是已經(jīng)嘗試了抓取鏈接领追？
有了鏈接作為基礎(chǔ)他膳，你就可以滾雪球，讓Python爬蟲“爬”到解析出來的鏈接上绒窑，做進(jìn)一步的處理棕孙。
將來，你可能還要應(yīng)對實踐場景中的一些棘手問題：
如何把抓取的功能擴(kuò)展到某一范內(nèi)內(nèi)的所有網(wǎng)頁？
如何爬取Javascript動態(tài)網(wǎng)頁蟀俊？
假設(shè)你爬取的網(wǎng)站對每個IP的訪問頻率做出限定钦铺，怎么辦？
……
這些問題的解決辦法肢预，我希望在今后的教程里面矛洞，一一和你分享。
需要注意的是烫映，網(wǎng)絡(luò)爬蟲抓取數(shù)據(jù)沼本，雖然功能強(qiáng)大，但學(xué)習(xí)與實踐起來有一定門檻锭沟。
當(dāng)你面臨數(shù)據(jù)獲取任務(wù)時抽兆，應(yīng)該先檢查一下這個清單：
有沒有別人已經(jīng)整理好的數(shù)據(jù)集合可以直接下載？
網(wǎng)站有沒有對你需要的數(shù)據(jù)提供API訪問與獲取方式族淮？
有沒有人針對你的需求辫红，編好了定制爬蟲，供你直接調(diào)用祝辣？
如果答案是都沒有贴妻，才需要你自己編寫腳本，調(diào)動爬蟲來抓取较幌。
為了鞏固學(xué)習(xí)的知識揍瑟，請你換一個其他網(wǎng)頁，以咱們的代碼作為基礎(chǔ)修改后乍炉，抓取其中你感興趣的內(nèi)容绢片。
如果能把你抓取的過程記錄下來，在評論區(qū)將記錄鏈接分享給大家岛琼，就更好了底循。
因為刻意練習(xí)是掌握實踐技能的最好方式，而教是最好的學(xué)槐瑞。
祝順利熙涤！
思考
本文主要內(nèi)容講解完畢。
這里給你提一個疑問困檩，供你思考：
我們解析并且存儲的鏈接祠挫，其實是有重復(fù)的：
這并不是我們的代碼有誤，而是在《如何用《玉樹芝蘭》入門數(shù)據(jù)科學(xué)悼沿？》一文里等舔，本來就多次引用過一些文章，所以重復(fù)的鏈接就都被抓取出來了糟趾。
但是你存儲的時候慌植，也許不希望保留重復(fù)鏈接甚牲。
這種情況下，你該如何修改代碼蝶柿，才能保證抓取和保存的鏈接沒有重復(fù)呢丈钙？
我把這一部分內(nèi)容，放到了文末的付費(fèi)閱讀區(qū)域交汤。如果你愿意支持我的數(shù)據(jù)科學(xué)系列教程寫作雏赦，順便核對一下你的代碼是不是比我的更高效，只需支付2塊錢（推廣期價格）蜻展，閱讀該部分內(nèi)容喉誊。
討論
你對Python爬蟲感興趣嗎？在哪些數(shù)據(jù)采集任務(wù)上使用過它纵顾？有沒有其他更高效的方式伍茄，來達(dá)成數(shù)據(jù)采集目的？歡迎留言施逾，把你的經(jīng)驗和思考分享給大家敷矫，我們一起交流討論。
如果你對我的文章感興趣汉额，歡迎點贊曹仗，并且微信關(guān)注和置頂我的公眾號“玉樹芝蘭”(nkwangshuyi)。
如果本文可能對你身邊的親友有幫助蠕搜，也歡迎你把本文通過微博或朋友圈分享給他們怎茫。讓他們一起參與到我們的討論中來。
作者：王樹義
鏈接：http://www.reibang.com/p/ba02079ecd2f
來源：簡書
著作權(quán)歸作者所有妓灌。商業(yè)轉(zhuǎn)載請聯(lián)系作者獲得授權(quán)轨蛤，非商業(yè)轉(zhuǎn)載請注明出處。
