菜鳥學(xué)Python:多線程的探究

一、背景

最近老愛提及背景這兩個字肩刃,似乎沒有背景就做不了事情祟霍。所以,工作上所有的事情都是有一個出發(fā)點盈包,然后N多人會質(zhì)疑你這個出發(fā)點對不對沸呐,出發(fā)點對了,也繼續(xù)質(zhì)疑你做的方法對不對…

言歸正傳续语,這段代碼的背景是這樣的:有一個很長的文本垂谢,里面均是圖片的url,想將每個圖片的大小從http header上抓出來疮茄,寫入到另外一個文件滥朱。簡單來說就想得到3W多張圖片各張圖片的大小,然后再統(tǒng)計平均值力试。

使用單線程下載徙邻,由于http訪問的時候使用的是TCP三次握手,異常慢畸裳,可以利用多線程進行下載缰犁,親測速度快了接近5倍。

二怖糊、代碼

#!/usr/bin/python
import os,sys,time,urllib2
import threading

def get(url):
  #使用urllib2的庫對url進行訪問
  r=urllib2.urlopen(url)
  #讀取url的頁面
  content=r.read()
  #從header獲得content-length
  a=dict(r.headers).get('content-length', 0)
  output = open('/home/abc/httprequest_new/output.txt', 'a+')
  output.write(a+'\n')
  #print a
  #file(fname,'w').write(content)

def main():
  urllist=open("/home/abc/httprequest.txt", "r")
  for i in urllist:
    url=i
    #name=url.replace('/','_')
    #print url,name
    while threading.activeCount()>300:
      time.sleep(0.1)
    t=threading.Thread(target=get,args=([url,]))
    t.start()


if __name__=='__main__':
  main()

總結(jié)

使用Python的多線程不是很麻煩的事情帅容,步驟:

  1. import threading
  2. t=threading.Thread(target=get,args=([url,]))
  3. t.start()

作為Python初入門者,可以考慮多用這類的方法伍伤。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末并徘,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子扰魂,更是在濱河造成了極大的恐慌麦乞,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,948評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件劝评,死亡現(xiàn)場離奇詭異姐直,居然都是意外死亡,警方通過查閱死者的電腦和手機蒋畜,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,371評論 3 385
  • 文/潘曉璐 我一進店門声畏,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人姻成,你說我怎么就攤上這事砰识。” “怎么了佣渴?”我有些...
    開封第一講書人閱讀 157,490評論 0 348
  • 文/不壞的土叔 我叫張陵辫狼,是天一觀的道長。 經(jīng)常有香客問我辛润,道長膨处,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,521評論 1 284
  • 正文 為了忘掉前任砂竖,我火速辦了婚禮真椿,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘乎澄。我一直安慰自己突硝,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 65,627評論 6 386
  • 文/花漫 我一把揭開白布置济。 她就那樣靜靜地躺著解恰,像睡著了一般锋八。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上护盈,一...
    開封第一講書人閱讀 49,842評論 1 290
  • 那天挟纱,我揣著相機與錄音,去河邊找鬼腐宋。 笑死紊服,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的胸竞。 我是一名探鬼主播欺嗤,決...
    沈念sama閱讀 38,997評論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼卫枝!你這毒婦竟也來了煎饼?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,741評論 0 268
  • 序言:老撾萬榮一對情侶失蹤剃盾,失蹤者是張志新(化名)和其女友劉穎腺占,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體痒谴,經(jīng)...
    沈念sama閱讀 44,203評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡衰伯,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,534評論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了积蔚。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片意鲸。...
    茶點故事閱讀 38,673評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖尽爆,靈堂內(nèi)的尸體忽然破棺而出怎顾,到底是詐尸還是另有隱情,我是刑警寧澤漱贱,帶...
    沈念sama閱讀 34,339評論 4 330
  • 正文 年R本政府宣布槐雾,位于F島的核電站,受9級特大地震影響幅狮,放射性物質(zhì)發(fā)生泄漏募强。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,955評論 3 313
  • 文/蒙蒙 一崇摄、第九天 我趴在偏房一處隱蔽的房頂上張望擎值。 院中可真熱鬧,春花似錦逐抑、人聲如沸鸠儿。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,770評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽进每。三九已至汹粤,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間品追,已是汗流浹背玄括。 一陣腳步聲響...
    開封第一講書人閱讀 32,000評論 1 266
  • 我被黑心中介騙來泰國打工冯丙, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留肉瓦,地道東北人。 一個月前我還...
    沈念sama閱讀 46,394評論 2 360
  • 正文 我出身青樓胃惜,卻偏偏與公主長得像泞莉,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子船殉,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,562評論 2 349

推薦閱讀更多精彩內(nèi)容