最近一兩年短視頻業(yè)務(wù)風(fēng)生水起，各個(gè)視頻網(wǎng)站都有各自特色的短視頻內(nèi)容。如果有這樣一個(gè)程序，可以把各大視頻網(wǎng)站的熱門(mén)用戶(hù)最新發(fā)布的視頻都下載下來(lái)躬柬，不僅方便自己觀看，還可以將沒(méi)有版權(quán)的視頻發(fā)布在個(gè)人社交網(wǎng)站上抽减，增加自己的人氣允青，豈不美哉？
parker就是這樣一個(gè)項(xiàng)目（項(xiàng)目地址：https://github.com/LiuRoy/parker）卵沉，它采用celery框架定時(shí)爬取用戶(hù)視頻列表颠锉，將最新發(fā)布的視頻通過(guò)you-get異步下載法牲，可以很方便地實(shí)現(xiàn)分布式部署。因?yàn)楦鱾€(gè)網(wǎng)站的頁(yè)面布局和接口更新比較頻繁木柬，為了保證程序的高可用皆串，特意增加了Statsd監(jiān)控，方便及時(shí)發(fā)現(xiàn)出錯(cuò)眉枕。
代碼架構(gòu)
目前parker中只實(shí)現(xiàn)了B站和秒拍的下載恶复，從框架圖可以看出，針對(duì)每一類(lèi)網(wǎng)站速挑，需要實(shí)現(xiàn)兩個(gè)異步接口：從用戶(hù)視頻主頁(yè)解析發(fā)布視頻的播放地址谤牡、根據(jù)播放地址下載視頻。因此增加網(wǎng)站類(lèi)型姥宝，不需要修改原來(lái)的代碼翅萤，只需要添加新的解析和下載接口即可。針對(duì)視頻下載完成之后的后續(xù)操作腊满，我還沒(méi)有實(shí)現(xiàn)套么，大家可以根據(jù)自己的需求自由的去實(shí)現(xiàn)。
在運(yùn)行的時(shí)候碳蛋，celery會(huì)將配置好的優(yōu)質(zhì)用戶(hù)列表定時(shí)發(fā)送到對(duì)應(yīng)網(wǎng)站的解析接口異步執(zhí)行胚泌，篩選出最新發(fā)布的視頻播放地址，交給對(duì)應(yīng)的下載接口異步下載肃弟，下載完成之后再異步調(diào)用后續(xù)操作玷室。因此需要啟動(dòng)一個(gè)celery beat進(jìn)程發(fā)送定時(shí)任務(wù)，以及若干celery異步任務(wù)去執(zhí)行解析和下載操作笤受，對(duì)于比較大的視頻穷缤，下載會(huì)相當(dāng)耗時(shí)，建議根據(jù)任務(wù)列表的多少合理分配異步任務(wù)的個(gè)數(shù)箩兽。
程序運(yùn)行
經(jīng)驗(yàn)證津肛，此程序可以在ubuntu和mac下正常運(yùn)行， 由于本地windows下的celery無(wú)法正常啟動(dòng)汗贫，所以沒(méi)有在windows環(huán)境做過(guò)驗(yàn)證身坐。
依賴(lài)庫(kù)安裝
python版本為3.5，進(jìn)入項(xiàng)目目錄后芳绩，執(zhí)行：
pip install -r requirements.txt
創(chuàng)建數(shù)據(jù)庫(kù)表
提前在數(shù)據(jù)庫(kù)中建好兩張表（sql: https://github.com/LiuRoy/parker/blob/master/spider/models/tables.sql）
參數(shù)配置
config路徑下的logging.yaml掀亥、params.yaml撞反、sites.yaml分別對(duì)應(yīng)日志配置、運(yùn)行參數(shù)配置、熱門(mén)用戶(hù)配置刁愿。
日志配置
debug模式下日志會(huì)直接輸出在標(biāo)準(zhǔn)輸出流，release模式下會(huì)將日志內(nèi)容輸出到文件中撮竿，因此需要配置輸出日志文件。
運(yùn)行配置
- mode debug調(diào)試模式笔呀，此模式下日志指向標(biāo)準(zhǔn)輸出幢踏，并且沒(méi)有監(jiān)控?cái)?shù)據(jù)；release模式下许师，日志輸出到制定文件房蝉，并且有監(jiān)控?cái)?shù)據(jù)。
- broker_url 對(duì)應(yīng)于celery的BROKER_URL微渠，可以配置為redis或者rabbitmq
- mysql_url 數(shù)據(jù)庫(kù)地址搭幻，需要提前建好兩張表
- download_path 視頻下載路徑
- statsd_address 監(jiān)控地址
- video_number_per_page 每次從用戶(hù)視頻主頁(yè)解析出多少條視頻播放地址，因?yàn)榇蟛糠钟脩?hù)每次發(fā)布的視頻個(gè)數(shù)很少逞盆，只需要設(shè)置成一個(gè)很小的值即可檀蹋。在初次運(yùn)行的時(shí)候，也不會(huì)下載大量久遠(yuǎn)的視頻云芦。
- download_timeout 視頻下載的超時(shí)時(shí)間
熱門(mén)用戶(hù)配置
parker會(huì)根據(jù)此配置生成一份celery beat scheduler列表俯逾。
- name 規(guī)則是
<網(wǎng)站類(lèi)型>-<任務(wù)id>，parker會(huì)根據(jù)此作為scheduler任務(wù)名稱(chēng) - url 用戶(hù)的發(fā)布視頻主頁(yè)
- task 對(duì)應(yīng)的celery解析異步任務(wù)
- minute 多少分鐘檢查一次用戶(hù)視頻列表
啟動(dòng)任務(wù)
進(jìn)入項(xiàng)目目錄舅逸，執(zhí)行下面命令啟動(dòng)celery worker
celery -A spider worker
執(zhí)行下面命令啟動(dòng)celery beat定時(shí)任務(wù)
celery -A spider beat
監(jiān)控
強(qiáng)烈安利一個(gè)docker鏡像 https://hub.docker.com/r/samuelebistoletti/docker-statsd-influxdb-grafana/桌肴，一分鐘配好監(jiān)控環(huán)境有木有。之后只需要添加執(zhí)行成功和執(zhí)行異常的打點(diǎn)數(shù)據(jù)堡赔，就可以方便的監(jiān)控程序是否正常運(yùn)行了识脆。
