前言
好久沒上簡書了崩哩，一是因?yàn)槊ρ睬颍且驗(yàn)楦杏X沒啥可以寫的言沐。剛好這幾天放假，閑下來酣栈，碰巧前段時(shí)間因?yàn)樾枰鉕CR险胰、OpenCV，就開始接觸Python矿筝，然后今天寫點(diǎn)東西起便，鞏固一下。
習(xí)慣了C++窖维、Java這種強(qiáng)類型的語言榆综，不太習(xí)慣這種若類型的動(dòng)態(tài)語言，感覺很多調(diào)用的順序及方法都要死記硬背的樣子铸史，不能像Java一樣鼻疮，看方法名、參數(shù)類型琳轿、返回類型等自己推敲使用方法判沟。但是寫久了也就習(xí)慣了。
想法
前兩年崭篡，因?yàn)殛懠易炫埠濉?yōu)衣庫等小視頻的原因，導(dǎo)致Tumblr成為大家的焦點(diǎn)琉闪，最終導(dǎo)致被和諧迹炼。這對我這種小屌絲的打擊程度不亞于被LPL又止步S聯(lián)賽八強(qiáng)。還好塘偎，我掌握了爬梯子的技巧疗涉，通過梯子拿霉，觀摩了不少小視頻吟秩。但是，我發(fā)現(xiàn)以前看的小視頻慢慢的都變得無法加載等情況绽淘，雖然說那些都是擼過的小視頻涵防，好馬不吃回頭草，但是沪铭，那是我的青春壮池，怎么能這樣忘記他們呢！Ｉ钡 椰憋！
于是，從網(wǎng)上搜了下別人寫好的爬蟲赔退，發(fā)現(xiàn)只能爬取轉(zhuǎn)載或發(fā)表的視頻橙依，不能爬取like視頻证舟，要知道，我都是不轉(zhuǎn)載窗骑，只點(diǎn)like的女责，那怎么辦，那就自己動(dòng)手寫咯创译。
動(dòng)手
代碼其實(shí)不長抵知，而且挺簡單的，沒有考慮太多软族，能用就行刷喜。廢話不說，上代碼互订。
import urllib.request
import urllib.error
import sqlite3
import re
class Tumblr(object):
def __init__(self, like_url, start_page):
# 設(shè)置代理吱肌，ss代理
proxies = {"http": "http://127.0.0.1:1080", "https": "http://127.0.0.1:1080"}
proxy_handler = urllib.request.ProxyHandler(proxies)
opener = urllib.request.build_opener(proxy_handler)
urllib.request.install_opener(opener)
self.__likes_url = like_url
self.__page = start_page
self.__root_dir = 'F:\\Data\\tumblr\\'
def launch(self):
while True:
content = self.__request_likes(self.__page)
frams = self.__get_frame_url(content)
for fram in frams:
target_urls = self.__get_video_url(fram)
for video_url in target_urls:
self.__download_video(video_url)
self.__page = self.__page + 1
def __do_request(self, url_):
req = urllib.request.Request(url_)
res = urllib.request.urlopen(req)
return res.read().decode('utf-8')
def __request_likes(self, page):
print('Request page = %s' % page)
target_url = self.__likes_url.format(page)
return self.__do_request(target_url)
def __get_frame_url(self, content):
reg = r"(?<=iframe src=')\S*(?=')"
pattern = re.compile(reg)
results = pattern.findall(content)
print('Find results = %s' % len(results))
return results
def __get_video_url(self, url_):
reg = r'((?<=<source src=").*(?=" type="video/mp4"))'
pattern = re.compile(reg)
content = self.__do_request(url_)
result = pattern.findall(content)
print('Find video URL = %s' % result)
return result
def __download_video(self, url_):
pattern = re.compile(r'([^/]+$)')
file_name = pattern.findall(url_)[0]
dir_ = self.__root_dir + file_name + '.mp4'
try:
print('Download: %s ' % url_)
self.urlretrieve = urllib.request.urlretrieve(url_, dir_)
except Exception as e:
print(e)
# 啟動(dòng)
#
#url => 如：https://xxx.tumblr.com/likes/page/{} ，/likes/page/{} 是固定的仰禽，不要懂氮墨，xxx是你要爬取的
#page => 頁面，整形吐葵，默認(rèn)從0開始
#
ins = Tumblr(url, page)
ins.launch()
截圖
最后
學(xué)語言就是這樣规揪，用起來，學(xué)的自然快温峭，嘿嘿嘿猛铅。。
