前言
昨天在寫完 入門級爬蟲之后 莱革，馬上就迫不及待的著手開始寫 B站的圖片爬蟲了峻堰，真的很喜歡這個破站呢 (?￣△￣)?
這里不涉及到 Python 爬蟲的高級技巧，沒有使用框架盅视，沒有考慮反爬機(jī)制捐名，沒有使用異步IO技術(shù)，因?yàn)檫@些闹击，我都不會镶蹋！
分析目標(biāo)
我們選定 B站的 動畫區(qū) 進(jìn)行測試，打開后我們發(fā)現(xiàn)有好多好多圖....
但當(dāng)我們使用 F12 查看這些圖片的時(shí)候赏半，發(fā)現(xiàn)并沒有圖片的地址...
這就是目前大多網(wǎng)站使用的 Ajax 技術(shù)動態(tài)加載數(shù)據(jù)的鍋贺归，可遇到這種情況這么辦呢？別急別急断箫，我們知道這些圖片的地址一定是需要加載的牧氮，而目前常見WEB傳輸數(shù)據(jù)的基本就是方式 XML 和 Json (其實(shí)是我就知道這兩種...)，那好我們?nèi)タ纯凑埱蟮?XML 和 Json 文件瑰枫。
以下省略查找過程....
我們發(fā)現(xiàn) B站的圖片地址是保存在 Json 里面的，ok丹莲，我們保存好這個 json 地址:
https://api.bilibili.com/x/web-interface/dynamic/region?callback=jQuery172071087417824369_1505783866149&jsonp=jsonp&ps=15&rid=24&_=1505783866453
這個是 MAD·AMV 最新動態(tài)的 Json 文件光坝，利用上面相同的方法，我們找到 3D區(qū)甥材、短片·配音區(qū)盯另、綜合區(qū) 以及 右邊排行部分 的相應(yīng) json 地址。
找到 Json 數(shù)據(jù)后洲赵，我們需要開始分析如何才能從中拿到 圖片地址了
好在 Chrome 瀏覽器提供了一個 Preview 功能鸳惯，自動幫我們整理好 數(shù)據(jù)，如下
這樣就很清晰啦叠萍，我們只需要一層層解析拿到 pic 即可芝发。于是我們這樣寫：
json_url = 'https://api.bilibili.com/x/web-interface/dynamic/region?callback=jQuery172071087417824369_1505783866149&jsonp=jsonp&ps=15&rid=24&_=1505783866453'
json = requests.get(json_url).json()
print (json)
我們利用 requests 內(nèi)置的 json 解碼器，很不幸苛谷，報(bào)錯：
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
它提示說：解碼 Json 數(shù)據(jù)的時(shí)候出了問題辅鲸，可能是在 第一行 第一列，咦腹殿？好奇怪独悴，剛才不是用瀏覽器看過結(jié)構(gòu)了嗎例书，沒毛病啊，怎么還在報(bào)錯：Σ( ￣□￣||)
別急別急刻炒，我們先看看原始的 Json 數(shù)據(jù)長啥樣决采？用 瀏覽器打開上面的 json 鏈接就可以了。
（/TДT)/ 前面的那些字母是干嘛的呀坟奥，為什么還有括號笆鞑t。?/p>
所以我們知道了 Json 解析錯誤 的原因啦：后面在處理的時(shí)候把前面的這部分刪掉就好啦筏勒，另外我們也發(fā)現(xiàn)了 archives 這個關(guān)鍵字移迫，我們在上一張圖看見過的哦，有印象嗎管行？啊厨埋，你說沒有呀，沒關(guān)系捐顷，這里你只需要記著它是一個 List 的數(shù)據(jù)類型就好了呀荡陷！
開碼開碼
先看看 解析部分怎么寫：
- 獲取 Json 數(shù)據(jù)
- 解析 Json 數(shù)據(jù)，并保存其中的 所有的圖片鏈接
- 注意去重
#coding:utf-8
__author__ = 'Lanc4r'
import json
import requests
import re
class BiliBiliSpider(object):
def __init__(self):
self._images = []
self._oldImages = [] # 保存已經(jīng)獲取過的 圖片地址
def _getImages(self, url):
content = requests.get(url).text
dic = json.loads(re.match(r'^([a-zA-Z0-9_(]+)(.*)(\))$', content).group(2))
data = dic['data']
# 判斷是 動態(tài)區(qū) 和 還是 評論區(qū)的數(shù)據(jù)
if 'archives' in data:
final = data['archives']
else:
final = data
for i in range(len(final)):
image = final[i]['pic']
if image not in self._oldImages: # 去重
self._images.append(image)
self._oldImages.append(image)
def getResult(self, url):
self._getImages(url)
temp = self._images
self._images = []
return temp
OK迅涮，接下來寫下載器：
- 獲取需要下載的 圖片地址
- 進(jìn)行下載
- 我這里是用數(shù)字作為圖片的名字保存起來的废赞，數(shù)字用一個 count.txt 文件保存，為了好看一點(diǎn)吧...
#coding:utf-8
__author__ = 'Lanc4r'
import requests
class BiliBiliDownloader(object):
def __init__(self):
self._images = []
def addNewImages(self, images):
for image in images:
self._images.append(image)
# 獲取后綴名
def getFinName(self, url):
if url[-4:].find('.') > -1:
fin = url[-4:]
else:
fin = url[-5:]
return fin
def imageDownload(self):
with open('count.txt', 'rb') as f:
temp = int(f.read().decode('utf-8'))
for url in self._images:
name = 'images/' + str(temp) + self.getFinName(url)
print ('Downloading {}...'.format(name))
r = requests.get(url)
with open(name, 'wb') as f:
f.write(r.content)
temp += 1
self._images = []
with open('count.txt', 'wb') as f:
f.write(str(temp).encode('utf-8'))
最后是調(diào)度器：
為了防止被當(dāng)作是 惡意訪問 從而被封 IP叮姑，這里我們選擇犧牲時(shí)間唉地，取巧使用 sleep(x) ，讓其等待一段時(shí)間之后再發(fā)出請求传透。
#coding:utf-8
__author__ 'Lanc4r'
from BiliBiliSpider import BiliBiliSpider
from BiliBiliDownloader import BiliBiliDownloader
import time
class BiliBiliMain(object):
def __init__(self):
self._spider = BiliBiliSpider()
self.downloader = BiliBiliDownloader()
def Crawl(self, url):
images = self._spider.getResult(url)
self.downloader.addNewImages(images)
self.downloader.imageDownload()
if __name__ == '__main__':
# 添加相應(yīng)位置的 json 文件
json_url_MAD = 'https://xxx...'
json_url_MAD_rank = 'https://xxx...'
...
json_url_list = []
json_url_list.append(json_url_MAD)
json_url_list.append(...)
...
bilibili = BiliBiliMain()
# 設(shè)置一個標(biāo)志位耘沼，循環(huán)爬取多少次之后自動退出。
flag = 1
while True:
for url in json_url_list:
bilibili.Crawl(url)
time.sleep(30) # 防止被當(dāng)作是惡意請求朱盐。群嗤。。
time.sleep(100) # 防止被當(dāng)作是惡意請求兵琳。狂秘。。
flag += 1
if flag > 15:
break
運(yùn)行效果：
總結(jié)：
你可能會問我躯肌，呀者春，你這個，根本沒有代理清女、沒有混淆IP防止反爬碧查、也沒有模擬 Ajax 請求動態(tài)抓取云云~
那我可以很負(fù)責(zé)的告訴你，你！走錯地方了忠售！你要找的技術(shù)貼出門右拐４荨（￣へ￣）
關(guān)于取巧
我們恰巧使用的是 B站的 Ajax 技術(shù)，只要哪個視頻有了最新評論(或者是一下其它的條件)稻扬，就會使用 Ajax 將最新的數(shù)據(jù)取出來卦方。就像下面這樣：
所以可能在訪問人數(shù)多的時(shí)候，更新越快泰佳，越有可能獲得更多不同的圖片啦盼砍！
之后你就可以在吃飯的時(shí)候，把它掛起逝她，然后吃飯回來就會發(fā)現(xiàn)有好多好多的圖片浇坐！(=?ω?=)
關(guān)于以后
之后會陸續(xù)的更新自己爬蟲的爬坑過程，希望能夠找到小伙伴一起學(xué)習(xí)呀黔宛！
