這是簡易數(shù)據(jù)分析系列的第 5 篇文章痛倚。
原文首發(fā)于博客園：Web Scraper 翻頁——控制鏈接批量抓取數(shù)據(jù)
上篇文章我們爬取了豆瓣電影 TOP250 前 25 個電影的數(shù)據(jù)酿箭，今天我們就要在原來的 Web Scraper 配置上做一些小改動，讓爬蟲把 250 條電影數(shù)據(jù)全部爬取下來。
前面我們同時說了踏烙，爬蟲的本質(zhì)就是找規(guī)律踢涌，當(dāng)初這些程序員設(shè)計(jì)網(wǎng)頁時，肯定會依循一些規(guī)則攘残，當(dāng)我們找到規(guī)律時拙友，就可以預(yù)測他們的行為，達(dá)到我們的目的肯腕。
今天我們就找找豆瓣網(wǎng)站的規(guī)律献宫，想辦法抓取全部數(shù)據(jù)。今天的規(guī)律就從常常被人忽略的網(wǎng)址鏈接開始实撒。
1.鏈接分析
我們先看看第一頁的豆瓣網(wǎng)址鏈接：
-
https://movie.douban.com這個很明顯就是個豆瓣的電影網(wǎng)址姊途，沒啥好說的 -
top250這個一看就是網(wǎng)頁的內(nèi)容，豆瓣排名前 250 的電影知态，也沒啥好說的 -
?后面有個start=0&filter=捷兰，根據(jù)英語提示來看，好像是說篩選（filter）负敏，從 0 開始（start）
再看看第二頁的網(wǎng)址鏈接贡茅，前面都一樣，只有后面的參數(shù)變了其做，變成了 start=25顶考，從 25 開始；
我們再看看第三頁的鏈接妖泄，參數(shù)變成了 start=50驹沿，從 50 開始；
分析 3 個鏈接我們很容易得出規(guī)律：
start=0蹈胡，表示從排名第 1 的電影算起渊季，展示 1-25 的電影
start=25朋蔫，表示從排名第 26 的電影算起，展示 26-50 的電影
start=50却汉，表示從排名第 51 的電影算起驯妄，展示 51-75 的電影
…...
start=225，表示從排名第 226 的電影算起合砂，展示 226-250 的電影
規(guī)律找到了就好辦了青扔，只要技術(shù)提供支持就行。隨著深入學(xué)習(xí)既穆，你會發(fā)現(xiàn) Web Scraper 的操作并不是難點(diǎn)赎懦，最需要思考的其實(shí)還是這個找規(guī)律。
2.Web Scraper 控制鏈接參數(shù)翻頁
Web Scraper 針對這種通過超鏈接數(shù)字分頁獲取分頁數(shù)據(jù)的網(wǎng)頁幻工，提供了非常便捷的操作励两，那就是范圍指定器。
比如說你想抓取的網(wǎng)頁鏈接是這樣的：
http://example.com/page/1http://example.com/page/2http://example.com/page/3
你就可以寫成 http://example.com/page/[1-3]囊颅，把鏈接改成這樣当悔，Web Scraper 就會自動抓取這三個網(wǎng)頁的內(nèi)容。
當(dāng)然踢代，你也可以寫成 http://example.com/page/[1-100]盲憎，這樣就可以抓取前 100 個網(wǎng)頁。
那么像我們之前分析的豆瓣網(wǎng)頁呢胳挎？它不是從 1 到 100 遞增的饼疙，而是 0 -> 25 -> 50 -> 75 這樣每隔 25 跳的，這種怎么辦慕爬？
http://example.com/page/0http://example.com/page/25http://example.com/page/50
其實(shí)也很簡單窑眯，這種情況可以用 [0-100:25] 表示，每隔 25 是一個網(wǎng)頁医窿，100/25=4磅甩，爬取前 4 個網(wǎng)頁，放在豆瓣電影的情景下姥卢，我們只要把鏈接改成下面的樣子就行了卷要；
https://movie.douban.com/top250?start=[0-225:25]&filter=
這樣 Web Scraper 就會抓取 TOP250 的所有網(wǎng)頁了。
3.抓取數(shù)據(jù)
解決了鏈接的問題独榴，接下來就是如何在 Web Scraper 里修改鏈接了僧叉，很簡單，就點(diǎn)擊兩下鼠標(biāo)：
1.點(diǎn)擊 Stiemaps棺榔，在新的面板里點(diǎn)擊 ID 為 top250 的這列數(shù)據(jù)彪标；
2.進(jìn)入新的面板后，找到 Stiemap top250 這個 Tab掷豺，點(diǎn)擊捞烟，再點(diǎn)擊下拉菜單里的 Edit metadata；
3.修改原來的網(wǎng)址当船，圖中的紅框是不同之處：
修改好了超鏈接题画，我們重新抓取網(wǎng)頁就好了。操作和上文一樣德频，我這里就簡單復(fù)述一下：
- 點(diǎn)擊
Sitemap top250下拉菜單里的Scrape按鈕 - 新的操作面板的兩個輸入框都輸入 2000
- 點(diǎn)擊
Start scraping藍(lán)色按鈕開始抓取數(shù)據(jù) - 抓取結(jié)束后點(diǎn)擊面板上的
refresh藍(lán)色按鈕苍息，檢測我們抓取的數(shù)據(jù)
如果你操作到這里并抓取成功的話，你會發(fā)現(xiàn)數(shù)據(jù)是全部抓取下來了壹置，但是順序都是亂的竞思。
我們這里先不管順序問題，因?yàn)檫@個屬于數(shù)據(jù)清洗的內(nèi)容了钞护，我們現(xiàn)在的專題是數(shù)據(jù)抓取盖喷。先把相關(guān)的知識點(diǎn)講完，再攻克下一個知識點(diǎn)难咕，才是更合理的學(xué)習(xí)方式课梳。
這期講了通過修改超鏈接的方式抓取了 250 個電影的名字。下一期我們說一些簡單輕松的內(nèi)容換換腦子余佃，講講 Web Scraper 如何導(dǎo)入別人寫好的爬蟲文件暮刃，導(dǎo)出自己寫好的爬蟲軟件。
