上一篇的筆記中我們學(xué)習(xí)了如何通過 BeautifulSoup 獲取簡(jiǎn)書作者的基本信息，這篇將按照同樣的思路，用BeautifulSoup獲取作者文章的信息（閱讀次數(shù)、評(píng)論數(shù)宵呛、喜歡數(shù)和打賞次數(shù)）。

和之前一樣夕凝，做好準(zhǔn)備工作：

from bs4 import BeautifulSoup
import requests
url = 'http://www.reibang.com/users/65ed1c462691/top_articles'
header = {'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:36.0) Gecko/20100101 Firefox/36.0'}
response = requests.get(url, headers=header)
html = response.text

上面的過程把作者的主頁內(nèi)容存儲(chǔ)在了html中宝穗，接下來就是 BeautifulSoup 登場(chǎng)的時(shí)候了：

soup = BeautifulSoup(html, 'lxml')

我還是挑選重要的東西貼上來：

...
<h4 class="title"><a href="/p/829477353cd3" target="_blank">Python 代碼就該是這種味道</a></h4>
<div class="list-footer">
<a href="/p/829477353cd3" target="_blank">
          閱讀 1817
</a> <a href="/p/829477353cd3#comments" target="_blank">
           · 評(píng)論 36
</a> <span> · 喜歡 82</span>
</div>
</div>
</li>
<li class="have-img">
<a class="wrap-img" href="/p/308fea12c8f8"><img alt="300" src="http://upload-images.jianshu.io/upload_images/1244841-0afbbb345c55bf48.png?imageMogr2/auto-orient/strip%7CimageView2/1/w/300/h/300"/></a>
<div>
<p class="list-top">
<a class="author-name blue-link" href="/users/65ed1c462691" target="_blank">Cescfangs</a>
<em>·</em>
<span class="time" data-shared-at="2016-04-15T18:19:52+08:00"></span>
</p>
<h4 class="title"><a href="/p/308fea12c8f8" target="_blank">PyQt5學(xué)習(xí)筆記（一）： 來創(chuàng)建第一個(gè)PyQt應(yīng)用吧！</a></h4>
<div class="list-footer">
<a href="/p/308fea12c8f8" target="_blank">
          閱讀 398
</a> <a href="/p/308fea12c8f8#comments" target="_blank">
           · 評(píng)論 3
</a> <span> · 喜歡 15</span>
</div>
...

發(fā)現(xiàn)了什么码秉？所有文章的題目都是在<h4>標(biāo)簽里逮矛，而文章的數(shù)據(jù)信息都是在<div class="list-footer">標(biāo)簽里，我們先把文章題目找出來：

h4 = soup.find_all('h4')

結(jié)果是這樣子的：

[<h4 class="title"><a href="/p/829477353cd3" target="_blank">Python 代碼就該是這種味道</a></h4>,
 <h4 class="title"><a href="/p/308fea12c8f8" target="_blank">PyQt5學(xué)習(xí)筆記（一）： 來創(chuàng)建第一個(gè)PyQt應(yīng)用吧转砖！</a></h4>,
 <h4 class="title"><a href="/p/7fbecf5255f0" target="_blank">Python-matplotlib：快速入門教程</a></h4>,
 <h4 class="title"><a href="/p/09994c9d8489" target="_blank">混合編程：用 C 語言來擴(kuò)展 Python 大法吧须鼎！</a></h4>,
 <h4 class="title"><a href="/p/d0e4f2f6e72e" target="_blank"> PyQt5學(xué)習(xí)筆記（八）：工具欄、菜單欄府蔗、狀態(tài)欄整合</a></h4>,
 <h4 class="title"><a href="/p/8fc44cea9bd8" target="_blank">PyQt5學(xué)習(xí)筆記（五）：彈出對(duì)話框請(qǐng)求確認(rèn)</a></h4>,
 <h4 class="title"><a href="/p/cd190dbf0435" target="_blank">可能會(huì)有用的Clion技巧—— Mac篇</a></h4>,
 <h4 class="title"><a href="/p/c0b42c36aff4" target="_blank">PyQt5學(xué)習(xí)筆記（六）：創(chuàng)建菜單欄</a></h4>,
 <h4 class="title"><a href="/p/55aec1eaa35e" target="_blank">PyQt5學(xué)習(xí)筆記（四）：退出按鈕</a></h4>]

通過列表推導(dǎo)簡(jiǎn)單處理一下數(shù)據(jù)：

h4_title = [item.string for item in h4]
h4_title

'''
['Python 代碼就該是這種味道',
 'PyQt5學(xué)習(xí)筆記（一）： 來創(chuàng)建第一個(gè)PyQt應(yīng)用吧晋控！',
 'Python-matplotlib：快速入門教程',
 '混合編程：用 C 語言來擴(kuò)展 Python 大法吧！',
 ' PyQt5學(xué)習(xí)筆記（八）：工具欄姓赤、菜單欄赡译、狀態(tài)欄整合',
 'PyQt5學(xué)習(xí)筆記（五）：彈出對(duì)話框請(qǐng)求確認(rèn)',
 '可能會(huì)有用的Clion技巧—— Mac篇',
 'PyQt5學(xué)習(xí)筆記（六）：創(chuàng)建菜單欄',
 'PyQt5學(xué)習(xí)筆記（四）：退出按鈕']
 '''

文章的題目已經(jīng)提取好了，接下來去尋找所有的<div class="list-footer">標(biāo)簽不铆，和上面的方法一樣：

list_footer = soup.find_all('div', class_='list-footer')
list_footer
''''內(nèi)容稍多蝌焚，貼一部分
[<div class="list-footer">
 <a href="/p/829477353cd3" target="_blank">
           閱讀 1817
 </a> <a href="/p/829477353cd3#comments" target="_blank">
            · 評(píng)論 36
 </a> <span> · 喜歡 82</span>
 </div>, <div class="list-footer">
 <a href="/p/308fea12c8f8" target="_blank">
           閱讀 398
 </a> <a href="/p/308fea12c8f8#comments" target="_blank">
            · 評(píng)論 3
 </a> <span> · 喜歡 15</span>
 </div>, <div class="list-footer">
 <a href="/p/7fbecf5255f0" target="_blank">
           閱讀 361
 </a> <a href="/p/7fbecf5255f0#comments" target="_blank">
            · 評(píng)論 4
 </a> <span> · 喜歡 13</span>
 </div>, <div class="list-footer">
 <a href="/p/09994c9d8489" target="_blank">
           閱讀 274
 </a> <a href="/p/09994c9d8489#comments" target="_blank">
            · 評(píng)論 3
 </a> <span> · 喜歡 10</span>
 <span> · 打賞 1</span>
 </div>,
 ...]''''

情況比之前的稍微復(fù)雜一點(diǎn)，閱讀和評(píng)論在<a>標(biāo)簽里狂男，而喜歡和打賞卻在<span>標(biāo)簽里综看，還好BeautifulSoup的find_all可以添加多個(gè)參數(shù)：

list_footer_list = [item.find_all(['a','span']) for item in list_footer]
list_footer_list
'''
[[<a href="/p/829477353cd3" target="_blank">
            閱讀 1817
  </a>, <a href="/p/829477353cd3#comments" target="_blank">
             · 評(píng)論 36
  </a>, <span> · 喜歡 82</span>], [<a href="/p/308fea12c8f8" target="_blank">
            閱讀 398
  </a>, <a href="/p/308fea12c8f8#comments" target="_blank">
             · 評(píng)論 3
  </a>, <span> · 喜歡 15</span>], [<a href="/p/7fbecf5255f0" target="_blank">
            閱讀 361
  </a>, <a href="/p/7fbecf5255f0#comments" target="_blank">
             · 評(píng)論 4
  </a>, <span> · 喜歡 13</span>], [<a href="/p/09994c9d8489" target="_blank">
            閱讀 274
  </a>, <a href="/p/09994c9d8489#comments" target="_blank">
             · 評(píng)論 3
  </a>, <span> · 喜歡 10</span>, <span> · 打賞 1</span>], [<a href="/p/d0e4f2f6e72e" target="_blank">
            閱讀 167
  </a>,
  <a href="/p/d0e4f2f6e72e#comments" target="_blank">
             · 評(píng)論 4
  </a>,
  <span> · 喜歡 6</span>], [<a href="/p/8fc44cea9bd8" target="_blank">
            閱讀 114
  </a>, <a href="/p/8fc44cea9bd8#comments" target="_blank">
             · 評(píng)論 2
  </a>, <span> · 喜歡 5</span>], [<a href="/p/cd190dbf0435" target="_blank">
            閱讀 1057
  </a>, <a href="/p/cd190dbf0435#comments" target="_blank">
             · 評(píng)論 4
  </a>, <span> · 喜歡 5</span>], [<a href="/p/c0b42c36aff4" target="_blank">
            閱讀 133
  </a>, <a href="/p/c0b42c36aff4#comments" target="_blank">
             · 評(píng)論 3
  </a>, <span> · 喜歡 4</span>], [<a href="/p/55aec1eaa35e" target="_blank">
            閱讀 148
  </a>, <a href="/p/55aec1eaa35e#comments" target="_blank">
             · 評(píng)論 4
  </a>, <span> · 喜歡 4</span>]]
'''

BeautifulSoup提供的string屬性可以返回標(biāo)簽的內(nèi)容比如‘閱讀 167’品腹，在此基礎(chǔ)上我們還是需要處理一下字符串岖食，只保留我們想要的數(shù)字，我們先定義一個(gè)函數(shù)去掉字符串里的非數(shù)字內(nèi)容：

def trans2numbers(string):
    return int(''.join(a for a in string.strip() if a.isdigit()))

還需要一個(gè)新的函數(shù)來處理list_footer_list ：

def article_status(article_list):
    result = []
    for item in article_list:
        result.append(trans2numbers(item.string))
    
    return result

有了上面的兩個(gè)函數(shù)舞吭，就可以進(jìn)行列表推導(dǎo)來構(gòu)造新的列表了：

article_status_list = [article_status(item) for item in list_footer_list]
article_status_list
'''
[[1817, 36, 82],
 [398, 3, 15],
 [361, 4, 13],
 [274, 3, 10, 1],
 [167, 4, 6],
 [114, 2, 5],
 [1057, 4, 5],
 [133, 3, 4],
 [148, 4, 4]]
'''

構(gòu)造了一個(gè)二維的列表泡垃，每一個(gè)列表第一個(gè)數(shù)字是閱讀數(shù)量，第二個(gè)是評(píng)論數(shù)羡鸥，第三個(gè)是喜歡的數(shù)量蔑穴，如果文章被打賞的話還會(huì)有一個(gè)打賞的數(shù)字，然后我們把數(shù)字和文章的題目對(duì)應(yīng)起來：

articles = []
for title, status in zip(h4_title, article_status_list):
    articles.append([title, status])
    
articles
'''
[['Python 代碼就該是這種味道', [1819, 36, 82]],
 ['PyQt5學(xué)習(xí)筆記（一）： 來創(chuàng)建第一個(gè)PyQt應(yīng)用吧惧浴！', [400, 3, 15]],
 ['Python-matplotlib：快速入門教程', [362, 4, 13]],
 ['混合編程：用 C 語言來擴(kuò)展 Python 大法吧存和！', [275, 3, 10, 1]],
 [' PyQt5學(xué)習(xí)筆記（八）：工具欄、菜單欄、狀態(tài)欄整合', [169, 4, 6]],
 ['PyQt5學(xué)習(xí)筆記（五）：彈出對(duì)話框請(qǐng)求確認(rèn)', [116, 2, 5]],
 ['可能會(huì)有用的Clion技巧—— Mac篇', [1064, 4, 5]],
 ['PyQt5學(xué)習(xí)筆記（六）：創(chuàng)建菜單欄', [135, 3, 4]],
 ['PyQt5學(xué)習(xí)筆記（四）：退出按鈕', [149, 4, 4]]]
'''

大功告成!!!

不知道細(xì)心如你有沒有發(fā)現(xiàn)以上得到的文章只有九篇捐腿，但是我明明寫了20篇啊啊白菖蟆！嗯嗯茄袖，其實(shí)主頁的內(nèi)容是分次加載的操软，并不會(huì)一次性把你所有的文章加載，而是采用下拉刷新的模式加載第二頁第三頁的內(nèi)容宪祥，解決這個(gè)并不難聂薪，找到其他文章展示頁的地址就行了。