Python爬蟲(8)解決urlretrieve下載不完整問題且避免用時過長

??在這篇博客中:http://blog.csdn.net/Innovation_Z/article/details/51106601 捌肴,作者利用遞歸方法解決了urlretrieve下載文件不完整的方法执泰,其代碼如下:

def auto_down(url,filename):
    try:
        urllib.urlretrieve(url,filename)
    except urllib.ContentTooShortError:
        print 'Network conditions is not good.Reloading.'
        auto_down(url,filename)

??但是經(jīng)筆者測試灵迫,下載文件出現(xiàn)urllib.ContentTooShortError且重新下載文件會存在用時過長的問題飘庄,而且往往會嘗試好幾次,甚至十幾次州叠,偶爾會陷入死循環(huán)后众,這種情況是非常不理想的。為此祟昭,筆者利用socket模塊缕坎,使得每次重新下載的時間變短,且避免陷入死循環(huán)篡悟,從而提高運行效率谜叹。
??以下為代碼:

import socket
import urllib.request
#設(shè)置超時時間為30s
socket.setdefaulttimeout(30)
#解決下載不完全問題且避免陷入死循環(huán)
try:
    urllib.request.urlretrieve(url,image_name)
except socket.timeout:
    count = 1
    while count <= 5:
        try:
            urllib.request.urlretrieve(url,image_name)                                                
            break
        except socket.timeout:
            err_info = 'Reloading for %d time'%count if count == 1 else 'Reloading for %d times'%count
            print(err_info)
            count += 1
    if count > 5:
        print("downloading picture fialed!")



??本次分享到此結(jié)束匾寝,如有不足之處,還請批評指正荷腊!歡迎大家交流~~

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末艳悔,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子女仰,更是在濱河造成了極大的恐慌猜年,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,185評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件董栽,死亡現(xiàn)場離奇詭異码倦,居然都是意外死亡,警方通過查閱死者的電腦和手機锭碳,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,652評論 3 393
  • 文/潘曉璐 我一進店門袁稽,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人擒抛,你說我怎么就攤上這事推汽。” “怎么了歧沪?”我有些...
    開封第一講書人閱讀 163,524評論 0 353
  • 文/不壞的土叔 我叫張陵歹撒,是天一觀的道長。 經(jīng)常有香客問我诊胞,道長暖夭,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,339評論 1 293
  • 正文 為了忘掉前任撵孤,我火速辦了婚禮迈着,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘邪码。我一直安慰自己裕菠,他們只是感情好,可當我...
    茶點故事閱讀 67,387評論 6 391
  • 文/花漫 我一把揭開白布闭专。 她就那樣靜靜地躺著奴潘,像睡著了一般。 火紅的嫁衣襯著肌膚如雪影钉。 梳的紋絲不亂的頭發(fā)上画髓,一...
    開封第一講書人閱讀 51,287評論 1 301
  • 那天,我揣著相機與錄音平委,去河邊找鬼雀扶。 笑死,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的愚墓。 我是一名探鬼主播予权,決...
    沈念sama閱讀 40,130評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼浪册!你這毒婦竟也來了扫腺?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,985評論 0 275
  • 序言:老撾萬榮一對情侶失蹤村象,失蹤者是張志新(化名)和其女友劉穎笆环,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體厚者,經(jīng)...
    沈念sama閱讀 45,420評論 1 313
  • 正文 獨居荒郊野嶺守林人離奇死亡躁劣,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,617評論 3 334
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,779評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡振愿,死狀恐怖遵蚜,靈堂內(nèi)的尸體忽然破棺而出杭棵,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 35,477評論 5 345
  • 正文 年R本政府宣布,位于F島的核電站蒋荚,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏馆蠕。R本人自食惡果不足惜期升,卻給世界環(huán)境...
    茶點故事閱讀 41,088評論 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望互躬。 院中可真熱鬧播赁,春花似錦、人聲如沸吨铸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,716評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽诞吱。三九已至,卻和暖如春竭缝,著一層夾襖步出監(jiān)牢的瞬間房维,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,857評論 1 269
  • 我被黑心中介騙來泰國打工抬纸, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留咙俩,地道東北人。 一個月前我還...
    沈念sama閱讀 47,876評論 2 370
  • 正文 我出身青樓,卻偏偏與公主長得像阿趁,于是被迫代替她去往敵國和親膜蛔。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,700評論 2 354

推薦閱讀更多精彩內(nèi)容

  • 1 前言 作為一名合格的數(shù)據(jù)分析師脖阵,其完整的技術(shù)知識體系必須貫穿數(shù)據(jù)獲取皂股、數(shù)據(jù)存儲、數(shù)據(jù)提取命黔、數(shù)據(jù)分析呜呐、數(shù)據(jù)挖掘、...
    whenif閱讀 18,072評論 45 523
  • 聲明:本文講解的實戰(zhàn)內(nèi)容悍募,均僅用于學習交流蘑辑,請勿用于任何商業(yè)用途! 一坠宴、前言 強烈建議:請在電腦的陪同下洋魂,閱讀本文...
    Bruce_Szh閱讀 12,704評論 6 28
  • 一、前言 這是我第一次寫文章啄踊,作為一個非計算機忧设,編程類專業(yè)的大二學生,我希望能夠給像我這樣的入門的朋友一些幫助颠通,也...
    梅花鹿數(shù)據(jù)閱讀 2,545評論 5 11
  • 今晚你睡得又是很遲址晕,十點多。給你洗澡后交代爸爸看著你顿锰,結(jié)果我一直聽你哭谨垃。不知道你又哪里看不順眼了,還是不高興只有爸...
    楊茗辭閱讀 136評論 1 1
  • 這個是老師發(fā)來的臨摹圖硼控。清新插畫刘陶。步驟如下~ 過段時間將出一個步驟較細耗時較長的彩鉛風景,敬請期待牢撼。???...
    不慌張軒軒w閱讀 795評論 9 18