BeautifulSoup
是Python
非常好用的一個庫蔫仙,可以用它來方便地解析網(wǎng)頁內(nèi)容,獲取我們需要的數(shù)據(jù),幾乎是Python
爬蟲居家旅行必備的庫够坐,這個系列的文章會記錄下用BeautifulSoup
獲取簡書數(shù)據(jù)的過程,但不會詳細介紹BeautifulSoup
的用法,有需要的同學(xué)可以參見官方文檔元咙。
第一篇介紹怎么用 BeautifulSoup
獲取簡書作者的基本信息梯影,包括文章數(shù)量、粉絲數(shù)量庶香、獲得的喜歡等光酣,先把需要的庫導(dǎo)進來:
import requests
from bs4 import BeautifulSoup
打開你的簡書主頁地址,復(fù)制到url
:
url = 'http://www.reibang.com/users/65ed1c462691/top_articles'
你會發(fā)現(xiàn)所有用戶主頁的域名都是'http://www.reibang.com/users/
+ ID
這個ID
每個人都不同脉课,接下來我們會用到 requests
救军,當(dāng)然你也可以直接用 Python
的 urlib
來獲取網(wǎng)頁內(nèi)容,我選擇requests是因為它的語法更簡單倘零,用requests 請求數(shù)據(jù)之前先偽裝成瀏覽器唱遭,否則很可能被服務(wù)器拒絕:
header = {'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:36.0) Gecko/20100101 Firefox/36.0'}
response = requests.get(url, headers=header)
html = response.text
然后把得到的 html
傳入到 BeautifulSoup
進行解析,這里用了 Python
自帶的 html.parser
(建議使用lxml
)
soup = BeautifulSoup(html, 'html.parser')
網(wǎng)頁內(nèi)容較多呈驶,我貼一部分上來:
<title>Cescfangs - 簡書</title>
<meta content="authenticity_token" name="csrf-param"/>
...
<div class="user-stats">
<ul class="clearfix">
<li>
<a href="/users/65ed1c462691/subscriptions"><b>11</b><span>關(guān)注</span></a>
</li>
<li>
<a href="/users/65ed1c462691/followers"><b>104</b><span>粉絲</span></a>
</li>
<br>
<li>
<a href="/users/65ed1c462691"><b>19</b><span>文章</span></a>
</li>
<li>
<a><b>15315</b><span>字數(shù)</span></a>
</li>
<li>
<a><b>166</b><span>收獲喜歡</span></a>
</li>
</br></ul>
</div>
</div>
粗略一看拷泽,發(fā)現(xiàn)我們作者的基本信息(文章數(shù)、收到的喜歡等)都包含在<ul class="clearfix">
這個標(biāo)簽內(nèi)袖瞻,讓我們用 BeautifulSoup
找到這個標(biāo)簽:
author_info = soup.find_all('ul', class_='clearfix')
author_info
的內(nèi)容如下:
[<ul class="clearfix">
<li>
<a href="/users/65ed1c462691/subscriptions"><b>11</b><span>關(guān)注</span></a>
</li>
<li>
<a href="/users/65ed1c462691/followers"><b>104</b><span>粉絲</span></a>
</li>
<br>
<li>
<a href="/users/65ed1c462691"><b>19</b><span>文章</span></a>
</li>
<li>
<a><b>15315</b><span>字數(shù)</span></a>
</li>
<li>
<a><b>166</b><span>收獲喜歡</span></a>
</li>
</br></ul>]
返回的結(jié)果是一個可迭代對象司致,其實只有一個元素:
info = author_info[0]
現(xiàn)在變成了這樣:
<ul class="clearfix">
<li>
<a href="/users/65ed1c462691/subscriptions"><b>11</b><span>關(guān)注</span></a>
</li>
<li>
<a href="/users/65ed1c462691/followers"><b>104</b><span>粉絲</span></a>
</li>
<br>
<li>
<a href="/users/65ed1c462691"><b>19</b><span>文章</span></a>
</li>
<li>
<a><b>15315</b><span>字數(shù)</span></a>
</li>
<li>
<a><b>166</b><span>收獲喜歡</span></a>
</li>
</br></ul>
我們獲得了一個新的 BeautifulSoup
標(biāo)簽對象,再觀察我們需要的數(shù)字都在這個對象的 b
標(biāo)簽里聋迎,再把它們找出來:
numbers = info.find_all('b')
numbers
#[<b>11</b>, <b>104</b>, <b>19</b>, <b>15315</b>, <b>166</b>]
嗯嗯脂矫,距離成功很近了,處理一下數(shù)據(jù)霉晕,保留我們需要的數(shù)字就夠了:
number_list = [int(item.string) for item in numbers]
number_list 是這樣子的:
[11, 104, 19, 15315, 166]
好像還漏了作者的名字庭再,名字就藏在 title
標(biāo)簽里,這里用了 find
牺堰,它只返回第一個符合要求的結(jié)果:
name = soup.find('title')
name.string
#'Cescfangs - 簡書'
把不要的后綴去掉:
author_name = name.string[:-5]
author_name
#'Cescfangs'
嘿嘿嘿拄轻,寫個簡單的函數(shù)整合一下我們獲得的數(shù)據(jù):
def author(name, number_list):
author_dict = {}
author_dict['name'] = name
author_dict['following'] = number_list[0]
author_dict['fans'] = number_list[1]
author_dict['articles'] = number_list[2]
author_dict['words'] = number_list[3]
author_dict['likes'] = number_list[4]
return author_dict
試試看:
cesc = author(author_name, number_list)
cesc
'''
{'articles': 19,
'fans': 104,
'following': 11,
'likes': 166,
'name': 'Cescfangs',
'words': 15315}''''
再寫個函數(shù)方便輸出:
def print_author(author_dict):
print(author_dict['name'], '有', author_dict['fans'], '個粉絲,寫了', author_dict['articles'],
'篇文章伟葫,碼了', author_dict['words'], '個字恨搓,\n收割了', author_dict['likes'],
'顆喜歡, 他悄悄關(guān)注了', author_dict['following'], '人~~~')
print_author(cesc)
#Cescfangs 有 104 個粉絲筏养,寫了 19 篇文章斧抱,碼了 15315 個字,
#收割了 166 顆喜歡撼玄, 他悄悄關(guān)注了 11 人~~~
本文的源碼(Jupyter Notebook)戳這里夺姑。