python爬蟲之多任務(wù)的了解以及多線程的創(chuàng)建和使用

  1.實(shí)現(xiàn)多任務(wù)的方式
  多線程
  多進(jìn)程
  協(xié)程
  多線程+多進(jìn)程
  為什么你能夠?qū)崿F(xiàn)多任務(wù)?
  并行:同時(shí)發(fā)起,同時(shí)執(zhí)行(4核,4個(gè)任務(wù))
  并發(fā):同時(shí)發(fā)起,單個(gè)執(zhí)行  
  在python語言中,并不能夠正真意義上實(shí)現(xiàn)多線程,因?yàn)镃Python解釋器
  有一個(gè)全局的GIL解釋器鎖,來保證同一時(shí)刻只有一個(gè)線程在執(zhí)行
  線程:是cpu執(zhí)行的一個(gè)基本單元,暫用的資源非常少,并且線程和線程之間的資源
  是共享的,線程是依賴于進(jìn)程而存在的,多線程一般適用于I/O密集型操作,線程的
  執(zhí)行是無序的

  from threading import Thread
  import threading
  import time
  #檢測線程之間的資源共享
  data = []
  def download_image(url,num):
      """下載圖片"""
      global data
      time.sleep(2)
      print(url,num)
      data.append(num)
  def read_data():
      global data
      for i in data:
          print(i)
  if __name__ == '__main__':
      #獲取當(dāng)前線程的名稱threading.currentThread().name
      print('主線程開啟',threading.currentThread().name)
      #創(chuàng)建一個(gè)子線程
      """
      target=None,:線程要執(zhí)行的目標(biāo)函數(shù)
      name=None,:創(chuàng)建線程時(shí),指定線程的名稱
      args=():為目標(biāo)函數(shù),傳遞參數(shù),(tuple元組類型)
      """
      thread_sub1 = Thread(
          target=download_image,
          name='下載線程',
          args=      ('https://ss2.bdstatic.com/70cFvnSh_Q1YnxGkpoWK1HF6hhy/it/u=338874098,844915032&fm=200&gp=0.jpg',1)
)
      thread_sub2 = Thread(
          target=read_data,
          name='讀取線程',
      )
# 是否開啟守護(hù)進(jìn)程(在開啟線程之前設(shè)置)
# daemon:False,在主線程結(jié)束的時(shí)候,會(huì)檢測子線程任務(wù)是否結(jié)束,
#  如果子線程中任務(wù)沒有結(jié)束,則會(huì)讓子線程正常結(jié)束任務(wù)
# daemon:True 在主線程結(jié)束的時(shí)候,會(huì)檢測子線程任務(wù)是否結(jié)束,
# 如果子線程中任務(wù)沒有結(jié)束,則會(huì)讓子線程跟隨主線程一起結(jié)束
#thread_sub1.setDaemon(True)
#thread_sub1.daemon = True
#啟動(dòng)線程
thread_sub1.start()
#join():阻塞,等待子線程中的任務(wù)執(zhí)行完畢后,再回到主線程中繼續(xù)執(zhí)行
thread_sub1.join()
#開啟線程
thread_sub2.start()
thread_sub2.join()
print('主線程結(jié)束',threading.currentThread().name)
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末藻懒,一起剝皮案震驚了整個(gè)濱河市剔猿,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌嬉荆,老刑警劉巖归敬,帶你破解...
    沈念sama閱讀 211,348評論 6 491
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異鄙早,居然都是意外死亡汪茧,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,122評論 2 385
  • 文/潘曉璐 我一進(jìn)店門限番,熙熙樓的掌柜王于貴愁眉苦臉地迎上來舱污,“玉大人,你說我怎么就攤上這事弥虐±┑疲” “怎么了?”我有些...
    開封第一講書人閱讀 156,936評論 0 347
  • 文/不壞的土叔 我叫張陵霜瘪,是天一觀的道長珠插。 經(jīng)常有香客問我,道長颖对,這世上最難降的妖魔是什么捻撑? 我笑而不...
    開封第一講書人閱讀 56,427評論 1 283
  • 正文 為了忘掉前任,我火速辦了婚禮惜互,結(jié)果婚禮上布讹,老公的妹妹穿的比我還像新娘琳拭。我一直安慰自己训堆,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,467評論 6 385
  • 文/花漫 我一把揭開白布白嘁。 她就那樣靜靜地躺著坑鱼,像睡著了一般。 火紅的嫁衣襯著肌膚如雪絮缅。 梳的紋絲不亂的頭發(fā)上鲁沥,一...
    開封第一講書人閱讀 49,785評論 1 290
  • 那天,我揣著相機(jī)與錄音耕魄,去河邊找鬼画恰。 笑死,一個(gè)胖子當(dāng)著我的面吹牛吸奴,可吹牛的內(nèi)容都是我干的允扇。 我是一名探鬼主播缠局,決...
    沈念sama閱讀 38,931評論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼考润!你這毒婦竟也來了狭园?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,696評論 0 266
  • 序言:老撾萬榮一對情侶失蹤糊治,失蹤者是張志新(化名)和其女友劉穎唱矛,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體井辜,經(jīng)...
    沈念sama閱讀 44,141評論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡绎谦,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,483評論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了抑胎。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片燥滑。...
    茶點(diǎn)故事閱讀 38,625評論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖阿逃,靈堂內(nèi)的尸體忽然破棺而出铭拧,到底是詐尸還是另有隱情,我是刑警寧澤恃锉,帶...
    沈念sama閱讀 34,291評論 4 329
  • 正文 年R本政府宣布搀菩,位于F島的核電站,受9級特大地震影響破托,放射性物質(zhì)發(fā)生泄漏肪跋。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,892評論 3 312
  • 文/蒙蒙 一土砂、第九天 我趴在偏房一處隱蔽的房頂上張望州既。 院中可真熱鬧,春花似錦萝映、人聲如沸吴叶。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,741評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽蚌卤。三九已至,卻和暖如春奥秆,著一層夾襖步出監(jiān)牢的瞬間逊彭,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,977評論 1 265
  • 我被黑心中介騙來泰國打工构订, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留侮叮,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 46,324評論 2 360
  • 正文 我出身青樓悼瘾,卻偏偏與公主長得像囊榜,于是被迫代替她去往敵國和親谷异。 傳聞我的和親對象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,492評論 2 348

推薦閱讀更多精彩內(nèi)容

  • 我只是一個(gè)普通的姑娘锦聊,生活在一個(gè)普通的家庭歹嘹,一個(gè)不知名的學(xué)校。 若總被忽視孔庭,又何必作賤了自己尺上;若不被珍惜,又何...
    青春在放縱閱讀 265評論 0 0
  • 總是害怕時(shí)間過得太快圆到,效率不高怎抛。總是會(huì)去想做什么最高效芽淡。什么最重要马绝?也總是在找屬于自己的路,又該如何走呢挣菲?要不斷的...
    元能力閱讀 119評論 0 0
  • 1. 為什么會(huì)把天聊死富稻? ? 缺乏溝通欲望 ? 注意力不集中 ? 聊天對象感缺失 ? 邏輯不清 ? 沒有觀點(diǎn)支撐 ...
    必有回響的echo閱讀 1,110評論 0 0