4種Python爬蟲(1. PC網(wǎng)頁(yè)苛谷,如,萊美)

拍腦袋決策法已經(jīng)成為了過(guò)去格郁,現(xiàn)在無(wú)論大小公司都開始從上到下的借助數(shù)據(jù)做為理性決策的武器腹殿。爬蟲(Spider)做為一種小型的自動(dòng)化數(shù)據(jù)收集腳本,在今天大數(shù)據(jù)導(dǎo)向的商業(yè)模式廣泛應(yīng)用例书。而Python語(yǔ)法簡(jiǎn)單锣尉,有著豐富的第三方庫(kù)的支持,成為了開發(fā)爬蟲的一個(gè)方便快捷的選擇雾叭。

目錄:
1. PC網(wǎng)頁(yè)爬蟲
2. H5網(wǎng)頁(yè)爬蟲
3. 微信小程序爬蟲
4. 手機(jī)APP爬蟲

趁著疫情學(xué)習(xí)了下Python悟耘,初步窺探了一下爬蟲,把這一個(gè)月學(xué)習(xí)實(shí)驗(yàn)的成果做個(gè)小結(jié)织狐。

經(jīng)常爬取數(shù)據(jù)可能包括以下4個(gè)來(lái)源:

  1. PC版網(wǎng)頁(yè)暂幼,包含靜態(tài)網(wǎng)頁(yè)、動(dòng)態(tài)網(wǎng)頁(yè)移迫;
  2. 手機(jī)H5網(wǎng)頁(yè)旺嬉,如,很多微信公眾號(hào)通過(guò)底部菜單鏈接的都是這類H5網(wǎng)頁(yè)厨埋;
  3. 微信小程序邪媳,很多輕量級(jí)的應(yīng)用都通過(guò)微信小程序與用戶交互;
  4. 手機(jī)APP,部分應(yīng)用只在其Android/iOS APP中提供完整的功能(數(shù)據(jù))雨效;
    以上4種場(chǎng)景的爬取難度逐級(jí)遞增迅涮,下面逐一給出簡(jiǎn)單的爬取方案,分別針對(duì)健身領(lǐng)域的萊美徽龟、超猩叮姑、樂(lè)刻的數(shù)據(jù)進(jìn)行爬取。

一据悔、PC版網(wǎng)頁(yè)爬蟲

1. 目標(biāo)場(chǎng)景

我選擇了萊美官網(wǎng)為案例传透,爬取該網(wǎng)站上可供查詢的認(rèn)證教練、認(rèn)證俱樂(lè)部信息极颓。
http://www.lesmills.com.cn/

2. 場(chǎng)景分析

在瀏覽器中分析各個(gè)數(shù)據(jù)頁(yè)的URL:

  1. 教練員列表:https://www.lesmills.com.cn/search/index.asp?page=12&Group=2
  1. 認(rèn)證詳情:https://www.lesmills.com.cn/search/clubs5037756.html

所有查詢都不需要用戶登錄朱盐,真的是很厚道的網(wǎng)站。

3. 方案思路

  1. 使用requests庫(kù)菠隆,可以直接抓取html代碼兵琳;
  2. 使用BeautifulSoap(bs4)庫(kù),解析html浸赫、提取數(shù)據(jù)闰围;
  3. 根據(jù)解析到的鏈接,繼續(xù)請(qǐng)求二級(jí)詳情頁(yè)既峡;

4. 關(guān)鍵代碼

import requests
from bs4 import BeautifulSoup

# 分頁(yè)請(qǐng)求HTML
for nPageCount in range(startPage, endPage + 1):
    # 構(gòu)造查詢
    sourceURL = "https://www.lesmills.com.cn/search/index.asp"
    pars = {'Group': 2, 'page': nPageCount}  # URL參數(shù),Group=2 教練員碧查,page查詢分頁(yè)
    response = requests.get(sourceURL, params=pars, timeout=5)

    # 提取教練信息
    bsPage = BeautifulSoup(html, 'html.parser')
    bsTable = bsPage.find_all("article", class_="topic-article-list__item")

    # 具體html解析略运敢,參考源代碼

5. 爬取結(jié)果

腳本執(zhí)行錄屏

教練基本信息

教練認(rèn)證項(xiàng)目信息

部分?jǐn)?shù)據(jù)分析結(jié)果

有些網(wǎng)頁(yè)用以上方法時(shí),從response中得不到完整的html忠售,只能看到一些js文件传惠。這類網(wǎng)頁(yè)就需要使用我們以下第二種方法了。


二稻扬、手機(jī)H5網(wǎng)頁(yè)爬蟲

請(qǐng)點(diǎn)擊:<下一頁(yè)>

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末卦方,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子泰佳,更是在濱河造成了極大的恐慌盼砍,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,311評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件逝她,死亡現(xiàn)場(chǎng)離奇詭異浇坐,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)黔宛,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,339評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門近刘,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人,你說(shuō)我怎么就攤上這事觉渴〗榻伲” “怎么了?”我有些...
    開封第一講書人閱讀 152,671評(píng)論 0 342
  • 文/不壞的土叔 我叫張陵案淋,是天一觀的道長(zhǎng)蜕猫。 經(jīng)常有香客問(wèn)我,道長(zhǎng)哎迄,這世上最難降的妖魔是什么回右? 我笑而不...
    開封第一講書人閱讀 55,252評(píng)論 1 279
  • 正文 為了忘掉前任,我火速辦了婚禮漱挚,結(jié)果婚禮上翔烁,老公的妹妹穿的比我還像新娘。我一直安慰自己旨涝,他們只是感情好蹬屹,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,253評(píng)論 5 371
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著白华,像睡著了一般慨默。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上弧腥,一...
    開封第一講書人閱讀 49,031評(píng)論 1 285
  • 那天厦取,我揣著相機(jī)與錄音,去河邊找鬼管搪。 笑死虾攻,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的更鲁。 我是一名探鬼主播霎箍,決...
    沈念sama閱讀 38,340評(píng)論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼澡为!你這毒婦竟也來(lái)了漂坏?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 36,973評(píng)論 0 259
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤媒至,失蹤者是張志新(化名)和其女友劉穎顶别,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體塘慕,經(jīng)...
    沈念sama閱讀 43,466評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡筋夏,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,937評(píng)論 2 323
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了图呢。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片条篷。...
    茶點(diǎn)故事閱讀 38,039評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡骗随,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出赴叹,到底是詐尸還是另有隱情鸿染,我是刑警寧澤,帶...
    沈念sama閱讀 33,701評(píng)論 4 323
  • 正文 年R本政府宣布乞巧,位于F島的核電站涨椒,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏绽媒。R本人自食惡果不足惜蚕冬,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,254評(píng)論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望是辕。 院中可真熱鬧囤热,春花似錦、人聲如沸获三。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,259評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)疙教。三九已至棺聊,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間贞谓,已是汗流浹背限佩。 一陣腳步聲響...
    開封第一講書人閱讀 31,485評(píng)論 1 262
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留经宏,地道東北人犀暑。 一個(gè)月前我還...
    沈念sama閱讀 45,497評(píng)論 2 354
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像烁兰,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子徊都,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,786評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容