最近看到一篇文章介紹了利用Python爬蟲爬取B站視頻封面的文章本姥，雖然我完全沒看文章，但是只看了一眼這個封面圖就徹底把我吸引了。不過我也對爬蟲這方面比較熟悉了啸如，這么簡單的事情還用看別人的文章教我做事腥寇？當然是自己動手豐衣足食啦成翩！
確定思路
首先自然是先用F12開發(fā)者工具看看這個頁面的樣子了。這一步簡直順利的無懈可擊赦役，一下子就找到了封面圖的地址麻敌，就是下圖紅框所示的地址。在瀏覽器中打開看看掂摔，果然正是這個封面圖术羔。但是話又說回來，這個封面圖是不是小了點乙漓？這就要說道圖片CDN的一個功能了级历，如果大家有用過這類服務的話，一般這種圖片服務都支持按照尺寸加載圖片叭披，也就是這個地址最后的320w_240h寥殖。如果是這樣的話，那么我們把他改成大尺寸的1920*1080趋观，不就是可以得到高清大圖了嗎扛禽？這么一嘗試果然如此，好了皱坛，那么問題就解決了编曼。
解決異步加載
但是實際操作的時候，又遇到了一個問題剩辟。那就是代碼完全正確掐场，但是結果卻一個網(wǎng)頁元素都獲取不到了往扔。這可讓我百思不得其解，百般嘗試之后無奈再回頭看看人家的文章是怎么說的熊户。原來B站的網(wǎng)頁是異步加載的萍膛，如果用爬蟲直接獲取的話，只會得到如下圖所示的空空如也的頁面嚷堡，實際的網(wǎng)頁內容都是通過JavaScript執(zhí)行以后獲得的蝗罗。比較遺憾的是，我嘗試用requests-html的render函數(shù)渲染瀏覽器實際頁面蝌戒，也沒有成功。
這時候就要說回到異步加載了北苟，既然這些信息是異步加載出來的，那么我們看看能否從網(wǎng)頁中找到一些線索友鼻。實際上還真有這么一個東西，就是下圖中search這個請求彩扔，它請求的地址是api開頭的網(wǎng)址妆档，一般都是干返回JSON數(shù)據(jù)的。如果不好找的話虫碉，可以從紅框那里選擇篩選類別來進行更詳細的查找≌岷猓總之，這個請求就是我們要找的東西绞惦，它返回的正是當前頁面的封面圖JSON數(shù)據(jù)，最關鍵的是洋措，它這里的圖片直接就是1920*1080高清大圖济蝉，直接省了不少事情。而且這個請求的參數(shù)直接就包含了頁數(shù)菠发，所以我們只要取到總頁數(shù)王滤，用這個api拉圖片地址就完事了滓鸠。
實際代碼和效果
好了，下面就是最終的代碼了糜俗。代碼按照函數(shù)來組織曲饱，應該非常容易理解，因為我這里使用視頻封面圖的標題來當做文件名扩淀，所以可能會出現(xiàn)不能當做文件名的非法字符。因此我還加了一個函數(shù)專門來去除非法字符驻谆。默認圖片保存路徑是桌面，可以更改到其他位置庆聘。
from requests_html import HTMLSession
userinfo_url = 'https://space.bilibili.com/72956117/video'
save_folder = r'~/Desktop/images'
def get_total_page():
session = HTMLSession()
response = session.get(userinfo_url)
response.html.render()
total_page = response.html.find('span.be-pager-total', first=True).text
return int(total_page[2:-3])
def get_image_urls():
base_url = 'https://api.bilibili.com/x/space/arc/search?mid=72956117&ps=30&tid=0&pn={0}&keyword=&order=pubdate&jsonp=jsonp'
session = HTMLSession()
for i in range(1, get_total_page()+1):
url = base_url.format(i)
response = session.get(url)
for i in response.json()['data']['list']['vlist']:
yield {'name': i['title'], 'url': 'https:'+i["pic"]}
def remove_unvalid_chars(s):
for c in r'''"'<>/\|:*?''':
s = s.replace(c, '')
return s
def download_images():
import pathlib
import requests
import shutil
folder = pathlib.Path(save_folder).expanduser()
if not folder.exists():
folder.mkdir()
for i in get_image_urls():
response = requests.get(i['url'], stream=True)
filename = remove_unvalid_chars(i["name"])+'.jpg'
with open(folder/filename, 'wb') as f:
shutil.copyfileobj(response.raw, f)
print(f'{i["name"]}.jpg下載完成')
download_images()
運行完畢之后就可以得到滿滿一個文件夾的圖片了掏觉，然后就可以一個人找個閑暇時間靜靜的欣賞了区端。
