精美壁紙爬蟲分享

項(xiàng)目地址
如何可以上GitHub就可以進(jìn)去罢屈。

BDWP分享

1bq4MmIJNG4VEn8nnYsADYA?pwd=1732
接在后面鹅士,你懂的

使用方法

下載到本地路徑, 打開cmd到下載路徑腮恩, 然后輸入下面命令。
首先是通過 help 查看主要參數(shù)

>graber_cmd --help
Usage: graber_cmd [OPTIONS]

Options:
  --level TEXT   過程中日志級(jí)別, 默認(rèn)是 INFO
  --size TEXT    下載壁紙大小
  --dir TEXT     下載后保存路徑
  --proxy TEXT   使用的代理地址
  --cur INTEGER  從第幾頁開始下載
  --help         Show this message and exit.

目前還不支持直接走系統(tǒng)的代理慨蓝, 如果需要翻墻才能下載剧防, 那么需要指定代理的使用京革。
否則會(huì)報(bào)錯(cuò):

>graber_cmd
ERROR:graber:不支持操作系統(tǒng)默認(rèn)代理,請(qǐng)通過 --proxy 你的代理地址 正確使用代理功能

在window10中奇唤,打開“代理”或者“更改代理設(shè)置” 設(shè)置頁面幸斥,就能看到【使用代理服務(wù)器】欄位, 下面有具體代理地址和端口咬扇。


proxy_example.png

然后將這個(gè)地址寫入代理參數(shù)--proxy即可甲葬。
比如:

>graber_cmd --proxy 127.0.0.1:63571
INFO:graber:使用代理127.0.0.1:63571
INFO:graber:即將開始下載,將保存到路徑:/temp
INFO:graber:嘗試下載第1張圖片: /w/33954/

技術(shù)要點(diǎn)


import imp

import requests,os,sys

from bs4 import BeautifulSoup

import logging

from typing import Tuple

from urllib3.exceptions import IncompleteRead,ProtocolError,MaxRetryError

from requests.exceptions import ChunkedEncodingError,SSLError

from ssl import SSLEOFError

方法主體

def main():
    argv_size = len(sys.argv)

    if argv_size >= 3:
        size = sys.argv[1]
        dir = sys.argv[2]
        size_list = ['2560x1440', '1600x900', '2560x1600', '1920x1200', '1680x1050', '1440x900', '1280x800']
        if size not in size_list:
            log.error('指定的圖片大小不存在, 請(qǐng)總下列大小中選擇! \r\n {}'.format(str(size_list)))
        elif not os.path.isdir(dir):
            log.error('請(qǐng)輸入正確的保存路徑!')
        else:
            try:
                response = requests.get('https://erowall.com/')
                max_page = get_the_max_page_number(response.content)

                if argv_size > 3:
                    cur_page = int(sys.argv[3])

                    for cur in range(cur_page, max_page):
                        cur_rsp = requests.get('https://erowall.com/dat/page/'+str(cur))
                        log.info("開始第{}頁下載".format(cur))
                        download_each_page(cur_rsp.content, size, dir)
                else:
                    download_each_page(response.content, size, dir)
                    for cur in range(2, max_page):
                        log.info("開始第{}頁下載".format(cur))
                        cur_rsp = requests.get('https://erowall.com/dat/page/'+str(cur))
                        download_each_page(cur_rsp.content, size, dir)   
            except (IncompleteRead, ProtocolError, ChunkedEncodingError) as e:
                log.error("請(qǐng)求異常結(jié)束!")
                return 
            except (MaxRetryError, SSLError, SSLEOFError) as e:
                log.error("不支持代理,請(qǐng)關(guān)閉代理后重試.")
                return

    else:
        log.info("請(qǐng)指定圖片大小和保存路徑, 比如: graber 2560x1440 D:/temp")    

使用方法:
1、下載打包好的:graber.exe
2冗栗、執(zhí)行下面命令 graber 圖片大小 保存地址

graber 2560x1440 D:/temp
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末演顾,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子隅居,更是在濱河造成了極大的恐慌钠至,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,946評(píng)論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件胎源,死亡現(xiàn)場(chǎng)離奇詭異棉钧,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)涕蚤,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,336評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門宪卿,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人万栅,你說我怎么就攤上這事佑钾。” “怎么了烦粒?”我有些...
    開封第一講書人閱讀 169,716評(píng)論 0 364
  • 文/不壞的土叔 我叫張陵休溶,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我扰她,道長(zhǎng)兽掰,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,222評(píng)論 1 300
  • 正文 為了忘掉前任徒役,我火速辦了婚禮孽尽,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘忧勿。我一直安慰自己杉女,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,223評(píng)論 6 398
  • 文/花漫 我一把揭開白布鸳吸。 她就那樣靜靜地躺著宠纯,像睡著了一般。 火紅的嫁衣襯著肌膚如雪层释。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,807評(píng)論 1 314
  • 那天快集,我揣著相機(jī)與錄音贡羔,去河邊找鬼廉白。 笑死,一個(gè)胖子當(dāng)著我的面吹牛乖寒,可吹牛的內(nèi)容都是我干的猴蹂。 我是一名探鬼主播,決...
    沈念sama閱讀 41,235評(píng)論 3 424
  • 文/蒼蘭香墨 我猛地睜開眼楣嘁,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼磅轻!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起逐虚,我...
    開封第一講書人閱讀 40,189評(píng)論 0 277
  • 序言:老撾萬榮一對(duì)情侶失蹤聋溜,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后叭爱,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體撮躁,經(jīng)...
    沈念sama閱讀 46,712評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,775評(píng)論 3 343
  • 正文 我和宋清朗相戀三年买雾,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了把曼。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,926評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡漓穿,死狀恐怖嗤军,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情晃危,我是刑警寧澤叙赚,帶...
    沈念sama閱讀 36,580評(píng)論 5 351
  • 正文 年R本政府宣布,位于F島的核電站山害,受9級(jí)特大地震影響纠俭,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜浪慌,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,259評(píng)論 3 336
  • 文/蒙蒙 一冤荆、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧权纤,春花似錦钓简、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,750評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至古掏,卻和暖如春损话,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背箱残。 一陣腳步聲響...
    開封第一講書人閱讀 33,867評(píng)論 1 274
  • 我被黑心中介騙來泰國(guó)打工赡磅, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留音念,地道東北人果漾。 一個(gè)月前我還...
    沈念sama閱讀 49,368評(píng)論 3 379
  • 正文 我出身青樓奏路,卻偏偏與公主長(zhǎng)得像锣披,于是被迫代替她去往敵國(guó)和親箍邮。 傳聞我的和親對(duì)象是個(gè)殘疾皇子酿炸,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,930評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容