一漓糙、背景與目的

數(shù)字化營銷時(shí)代铣缠，快速掌握了解數(shù)據(jù)是一項(xiàng)基本技能，本文主要講解里面Web Scraper工具如何爬取公開數(shù)據(jù)，比如爬取京東的店鋪售賣商品情況數(shù)據(jù)攘残，以便我們更好地了解競(jìng)品對(duì)手的產(chǎn)品情況和定價(jià)情況等拙友，從而采取有效針對(duì)性的手段應(yīng)對(duì)，同時(shí)對(duì)于個(gè)人也是一項(xiàng)數(shù)據(jù)收集技能的提升歼郭。

二遗契、工具介紹和安裝

1> 介紹

Web?Scraper是一款可以從網(wǎng)頁中提取數(shù)據(jù)的chrome網(wǎng)頁數(shù)據(jù)提取插件,是一款非常好用的爬蟲工具。

2> 安裝

步驟一：安裝Chrome瀏覽器的桌面版病曾。

步驟二：:在webscraper.io下載谷歌Chrome瀏覽器插件牍蜂，完全免費(fèi)。

步驟三：安裝完Web Scraper可以在Chrome右上角找到圖標(biāo)泰涂。

步驟四：Windows操作系統(tǒng)鲫竞，按F12鍵，Chrome開發(fā)者工具會(huì)彈出逼蒙，Web Scraper在菜單項(xiàng)的最右邊从绘，至此安裝工作結(jié)束。

三是牢、實(shí)戰(zhàn)爬取操作

1> 選取爬取平臺(tái)的鏈接

步驟一：獲取爬取鏈接：打開京東首頁僵井，搜索手機(jī)之后，我們看到全部商品分類的選項(xiàng)驳棱，然后我們選取手機(jī)通訊->手機(jī)->品牌HUAWEI批什，進(jìn)入相應(yīng)頁面后，選取第二頁商品列表社搅，之后得到如下鏈接驻债。

https://list.jd.com/list.html?cat=9987,653,655&ev=exbrand_8557&page=2&sort=sort_rank_asc&trans=1&JL=6_0_0&ms=9#J_main

步驟二：分析鏈接：上面URL中加粗的參數(shù)sort、trans形葬、JL和ms并沒有用合呐，有用的是cat、ev和page參數(shù)笙以，其中cat代表品類合砂，ev代表華為品牌，page代表商品列表頁數(shù)

步驟三：定義取值鏈接和爬取頁數(shù)：根據(jù)上邊分析和之前查看頁數(shù)源织，獲得總頁數(shù)42頁翩伪，故工具抽取鏈接如下（循環(huán)遍歷抽取1~42頁數(shù)據(jù)）。

https://list.jd.com/list.html?cat=9987,653,655&ev=exbrand_8557&page=[1-42]

2> 爬取配置

步驟一：創(chuàng)建爬取網(wǎng)站項(xiàng)目谈息，定義爬取網(wǎng)站地址

在Web Scraper選項(xiàng)下邊選取Create new sitemap缘屹，具體參數(shù)如下

sitemap name ：huawei_mobile

Start URL：https://list.jd.com/list.html?cat=9987,653,655&ev=exbrand_8557&page=[1-42]

創(chuàng)建完成后，進(jìn)入Add new selector藍(lán)色按鈕的界面侠仇，此時(shí)我們的位置為_root轻姿，這里面selector就是CSS里面的CSS選擇器犁珠，然后我們依次添加selector，圈選商品和商品項(xiàng)互亮。

步驟二：創(chuàng)建商品選擇器犁享，圈選爬取商品

a> 點(diǎn)擊按鈕：CSS Selector的作用是在HTML中定位，我們點(diǎn)擊藍(lán)色按鈕Add new selector豹休，進(jìn)入頁面元素選取狀態(tài)炊昆。

b> 頁面商品圈選：

鼠標(biāo)定位某一個(gè)商品，此時(shí)商品處于藍(lán)色框選區(qū)域威根，具體如圖所示

然后鼠標(biāo)雙擊凤巨，在Done Selecting！處獲取圈選商品頁面HTML元素洛搀，點(diǎn)擊此藍(lán)色按鈕敢茁，具體獲取元素為：li.gl-item:nth-of-type(1) div.gl-i-wrap

點(diǎn)擊Element preview按鈕時(shí)，該塊商品區(qū)域會(huì)再次高亮留美。

我們此時(shí)需要選取所有商品彰檬，則需要調(diào)整剛才所選取元素，根據(jù)如下HTML Element則調(diào)整為#plist > ul > li

備注：此處應(yīng)用了頁面Copy Selector的插件谎砾，可以在HTML Element右鍵復(fù)制

當(dāng)我們?cè)俅螁⒂?i>Element preview時(shí)逢倍，就能看到所有商品區(qū)域都高亮了。

點(diǎn)擊藍(lán)色按鈕Save selector保存,item的選擇器創(chuàng)建成功

步驟三：創(chuàng)建商品項(xiàng)選擇器棺榔，圈選商品項(xiàng)

依次在item選擇器下創(chuàng)建商品屬性項(xiàng)瓶堕，分別為商品名稱（product name）隘道、商品價(jià)格（price）症歇、商品評(píng)論數(shù)（comment_cnt）和店鋪（shop)，具體如下圖所示：

此時(shí)如需預(yù)覽數(shù)據(jù)谭梗，可以將之前sitemap里面的頁數(shù)page=[1-42]調(diào)整為page=2忘晤，data preview具體如下：

步驟四：數(shù)據(jù)爬取

選取Scrape進(jìn)行數(shù)據(jù)爬取，啟動(dòng)爬取

步驟五：結(jié)果導(dǎo)出

csv版本導(dǎo)出

四激捏、總結(jié)

webscraper優(yōu)缺點(diǎn)總結(jié)

優(yōu)點(diǎn)：免費(fèi)设塔、操作系統(tǒng)無限制（依賴于瀏覽器）、操作簡便远舅，容易上手（無技術(shù)背景人可配置操作）闰蛔、功能強(qiáng)大（支持靜態(tài)和動(dòng)態(tài)數(shù)據(jù)抓取）

缺點(diǎn)：不支持iframe的爬韧及亍（比如地圖嵌入之類序六，經(jīng)銷商地圖）、不支持爬取數(shù)據(jù)的過濾蚤吹、其他的以后碰到在說吧例诀，O(∩_∩)O哈哈~

適用人群：

技術(shù)人員

商業(yè)分析人員

咨詢?nèi)藛T

歡迎使用Ｋ婵佟！７蓖俊９八！Ｈ幼铩１印！２绞啤Ｑ踱！；荡瘛Ｖ迅А！＞蠓Ｍ！