python多線程爬取

科技在發(fā)展,時(shí)代在進(jìn)步腥椒,我們的CPU也越來(lái)越快阿宅,CPU抱怨,P大點(diǎn)事兒占了我一定的時(shí)間笼蛛,其實(shí)我同時(shí)干多個(gè)活都沒(méi)問(wèn)題的洒放;于是,操作系統(tǒng)就進(jìn)入了多任務(wù)時(shí)代滨砍。我們聽(tīng)著音樂(lè)吃著火鍋的不在是夢(mèng)想往湿。
python提供了兩個(gè)模塊來(lái)實(shí)現(xiàn)多線程thread 和threading ,thread 有一些缺點(diǎn)惋戏,在threading 得到了彌補(bǔ)领追,為了不浪費(fèi)你和時(shí)間,所以我們直接學(xué)習(xí)threading 就可以了响逢。

1.代碼:

#coding: utf-8

import threading
import time

class Foo(threading.Thread):
    def run(self):
        print  '我開(kāi)始聽(tīng)音樂(lè)', '\n'

        time.sleep(1)

        print '我已經(jīng)聽(tīng)完了音樂(lè)', '\n'

def foo():
    print '我開(kāi)始吃火鍋', '\n'

    time.sleep(2)

    print '我已經(jīng)吃完了火鍋', '\n'

t = Foo()
d = threading.Thread(target = foo)
t.start()
# d.setDaemon(True)
d.start()

我們先聽(tīng)了一首音樂(lè)绒窑,通過(guò)Foo類(lèi)來(lái)控制音樂(lè)的播放,音樂(lè)播放需要1秒鐘龄句,sleep()來(lái)控制音樂(lè)播放的時(shí)長(zhǎng)回论。同時(shí)我們又看了一場(chǎng)電影,每一場(chǎng)電影需要2秒鐘分歇。輸出如下圖:

1.png

2. setDaemon(True):守護(hù)線程

我們?cè)跇?biāo)題1的代碼里面進(jìn)行一些修改來(lái)體現(xiàn)出setDaemon的作用

#coding: utf-8

import threading
import time

class Foo(threading.Thread):
    def run(self):
        print  '我開(kāi)始聽(tīng)音樂(lè)', '\n'

        time.sleep(1)

        print '我已經(jīng)聽(tīng)完了音樂(lè)', '\n'

def foo():
    print '我開(kāi)始吃火鍋', '\n'

    time.sleep(2)

    print '我已經(jīng)吃完了火鍋', '\n'

t = Foo()
d = threading.Thread(target = foo)
t.start()
d.setDaemon(True)
d.start()

這里面d給設(shè)置了守護(hù)線程傀蓉,2個(gè)線程同時(shí)開(kāi)始,但是如果其他線程結(jié)束了职抡,那么守護(hù)線程不管有沒(méi)有完成都要結(jié)束葬燎。意思就是我們聽(tīng)著音樂(lè),吃著火鍋缚甩,音樂(lè)聽(tīng)完了谱净,不管我們火鍋有沒(méi)有吃完,就得趕緊撤了擅威。
下圖是輸出結(jié)果:

2.png

3.join()阻塞

繼續(xù)修改我們的代碼

#coding: utf-8

import threading
import time

class Foo(threading.Thread):
    def run(self):
        print  '我開(kāi)始聽(tīng)音樂(lè)', '\n'

        time.sleep(1)

        print '我已經(jīng)聽(tīng)完了音樂(lè)', '\n'

def foo():
    print '我開(kāi)始吃火鍋', '\n'

    time.sleep(2)

    print '我已經(jīng)吃完了火鍋', '\n'

t = Foo()
d = threading.Thread(target = foo)
t.start()
d.setDaemon(True)
d.start()
d.join()

我們將d進(jìn)行阻塞壕探,就是t執(zhí)行完成,你才能執(zhí)行d郊丛,也就是我們必須聽(tīng)完音樂(lè)李请,才能看電影 瞧筛。
下圖是輸出:

3.png

4.queue隊(duì)列

隊(duì)列的意思是將東西放進(jìn)去,可以隨時(shí)取出來(lái)导盅,下面有個(gè)代碼演示:

#coding: utf-8

import Queue

q = Queue.Queue()

for i in range(5):
    q.put(i)

while not q.empty():
    print q.get()

輸出結(jié)果:

4.png

這個(gè)應(yīng)該很容易理解较幌,就不用多解釋。

5.使用過(guò)多線程進(jìn)行網(wǎng)頁(yè)爬取

代碼如下:

#!/usr/bin/env python
# coding: utf-8

#隊(duì)列自己帶鎖白翻,自己阻塞乍炉,線程安全的,不用自己顯式的去編寫(xiě)
import threading
import requests
import urllib
import Queue
from bs4 import BeautifulSoup


class Foo(threading.Thread):
    def __init__(self, queue):
        threading.Thread.__init__(self)
        self.queue = queue

    def run(self):
        while True:
            key = self.queue.get()#取key列表里面的元素
            self.baidu(key)#運(yùn)行函數(shù)baidu滤馍,傳的參數(shù)是key
            self.queue.task_done()#取不到元素的時(shí)候自動(dòng)退出程序

    def baidu(self, keys):
        gjc = urllib.quote(keys)
        url = 'https://www.baidu.com/s?ie=utf-8&mod=1&isid=C72D6237C6C55642&ie=utf-8&f=8&rsv_bp=0&rsv_idx=1&tn=baidu&wd=' + gjc + '&rsv_pq=816a886000062c06&rsv_t=c589dMGIygeVyzfmHXpCrPrWN2S4yWp8ttSNQ77uzbcec5H1cOVF2yiedcs&rqlang=cn&rsv_enter=1&rsv_sug3=7&rsv_sug1=3&rsv_sug7=100&rsv_sug2=0&inputT=89&rsv_sug4=41058&rsv_sid=1424_21119_17001_22072&_ss=1&clist=&hsug=&f4s=1&csor=2&_cr1=28095'
        header = {  'Refer':'https://www.baidu.com/',
                'Host':'www.baidu.com',
                'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.79 Safari/537.36',
                'Cookie':'BAIDUID=75774ED511BF2DECB6C4A142D1F4CCDF:FG=1; PSTM=1499515257; BIDUPSID=DD4A04E2ED6C099A9F40EF86229306AB; FP_UID=616a141a155bdb648b37b61ff16cfdc3; BDRCVFR[yfg8b4Gp7xm]=yiTPYW-i3eTXZFWmv68mvqV; H_PS_645EC=9607I22jkjSFIiy14y6B2VlNt4TQHDqMpVs%2FNy6mdneG1NMGExHCLS0uRrs; BD_CK_SAM=1; PSINO=5; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; BD_HOME=0; H_PS_PSSID=1447_19033_13550_21095_18560_17001_22160; BD_UPN=12314753'
            }

        content = requests.get(url, headers=header).content
        soup = BeautifulSoup(content, 'html.parser')
        keyword = soup.find_all('div', id="rs")
        for i in keyword:
            print i.get_text()

if __name__ == '__main__':
    queue = Queue.Queue()
    key = ['蘋(píng)果8', '小米Mx2', '華為mate10']

    for i in key:
        queue.put(i)#將key加入隊(duì)列里面岛琼,用于run()的調(diào)用

    for item in range(3):
        t = Foo(queue)
        t.setDaemon(True)#守護(hù)進(jìn)程,如果主線程結(jié)束纪蜒,則會(huì)退出
        t.start()

    queue.join()#阻塞衷恭,函數(shù)baidu('蘋(píng)果8')執(zhí)行完成,才會(huì)繼續(xù)進(jìn)行下一次baidu('小米Mx2')

輸出結(jié)果:

5.png

6.python中多線程的優(yōu)缺點(diǎn)

多線程目前僅用于網(wǎng)絡(luò)多線程采集纯续, 以及性能測(cè)試随珠。

其它的語(yǔ)言也有類(lèi)似的情況,線程本身的特點(diǎn)導(dǎo)致線程的適用范圍是受限的猬错。只有CPU過(guò)剩窗看,而其它的任務(wù)很慢,此時(shí)用線程才是有益的倦炒,可以很好平衡等待時(shí)間显沈,提高并發(fā)性能。線程的問(wèn)題主要是線程的安全穩(wěn)定性逢唤。線程無(wú)法強(qiáng)制中止拉讯,同時(shí)線程與主進(jìn)程共享內(nèi)存,可能會(huì)影響主進(jìn)程的內(nèi)存管理鳖藕。在python里線程出問(wèn)題魔慷,可能會(huì)導(dǎo)致主進(jìn)程崩潰。 雖然python里的線程是操作系統(tǒng)的真實(shí)線程著恩。那么怎么解決呢院尔?通過(guò)我們用進(jìn)程方式。子進(jìn)程崩潰后喉誊,會(huì)完全的釋放所有的內(nèi)存和錯(cuò)誤狀態(tài)邀摆。所以進(jìn)程更安全。 另外通過(guò)進(jìn)程伍茄,python可以很好的繞過(guò)GIL栋盹,這個(gè)全局鎖問(wèn)題。但是進(jìn)程也是有局限的敷矫。不要建立超過(guò)CPU總核數(shù)的進(jìn)程贞盯,否則效率也不高音念。簡(jiǎn)單的總結(jié)一下。當(dāng)我們想實(shí)現(xiàn)多任務(wù)處理時(shí)躏敢,首先要想到使用multiprocessing, 但是如果覺(jué)著進(jìn)程太笨重整葡,那么就要考慮使用線程件余。 如果多任務(wù)處理中需要處理的太多了,可以考慮多進(jìn)程遭居,每個(gè)進(jìn)程再采用多線程啼器。如果還處理不要,就要使用輪詢(xún)模式俱萍,比如使用poll event, twisted等方式端壳。如果是GUI方式,則要通過(guò)事件機(jī)制枪蘑,或者是消息機(jī)制處理损谦,GUI使用單線程。所以在python里線程不要盲目用岳颇, 也不要濫用照捡。 但是線程不安全是事實(shí)。如果僅僅是做幾個(gè)后臺(tái)任務(wù)话侧,則可以考慮使用守護(hù)線程做栗精。如果需要做一些危險(xiǎn)操作,可能會(huì)崩潰的瞻鹏,就用子進(jìn)程去做悲立。 如果需要高度穩(wěn)定性,同時(shí)并發(fā)數(shù)又不高的服務(wù)新博。則強(qiáng)烈建議用多進(jìn)程的multiprocessing模塊實(shí)現(xiàn)薪夕。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市叭披,隨后出現(xiàn)的幾起案子寥殖,更是在濱河造成了極大的恐慌,老刑警劉巖涩蜘,帶你破解...
    沈念sama閱讀 211,290評(píng)論 6 491
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件嚼贡,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡同诫,警方通過(guò)查閱死者的電腦和手機(jī)粤策,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,107評(píng)論 2 385
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)误窖,“玉大人叮盘,你說(shuō)我怎么就攤上這事秩贰。” “怎么了柔吼?”我有些...
    開(kāi)封第一講書(shū)人閱讀 156,872評(píng)論 0 347
  • 文/不壞的土叔 我叫張陵毒费,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我愈魏,道長(zhǎng)觅玻,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,415評(píng)論 1 283
  • 正文 為了忘掉前任培漏,我火速辦了婚禮溪厘,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘牌柄。我一直安慰自己畸悬,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,453評(píng)論 6 385
  • 文/花漫 我一把揭開(kāi)白布珊佣。 她就那樣靜靜地躺著蹋宦,像睡著了一般。 火紅的嫁衣襯著肌膚如雪彩扔。 梳的紋絲不亂的頭發(fā)上妆档,一...
    開(kāi)封第一講書(shū)人閱讀 49,784評(píng)論 1 290
  • 那天,我揣著相機(jī)與錄音虫碉,去河邊找鬼贾惦。 笑死,一個(gè)胖子當(dāng)著我的面吹牛敦捧,可吹牛的內(nèi)容都是我干的须板。 我是一名探鬼主播,決...
    沈念sama閱讀 38,927評(píng)論 3 406
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼兢卵,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼习瑰!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起秽荤,我...
    開(kāi)封第一講書(shū)人閱讀 37,691評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤甜奄,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后窃款,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體课兄,經(jīng)...
    沈念sama閱讀 44,137評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,472評(píng)論 2 326
  • 正文 我和宋清朗相戀三年晨继,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了烟阐。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,622評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖蜒茄,靈堂內(nèi)的尸體忽然破棺而出唉擂,到底是詐尸還是另有隱情,我是刑警寧澤檀葛,帶...
    沈念sama閱讀 34,289評(píng)論 4 329
  • 正文 年R本政府宣布玩祟,位于F島的核電站,受9級(jí)特大地震影響屿聋,放射性物質(zhì)發(fā)生泄漏卵凑。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,887評(píng)論 3 312
  • 文/蒙蒙 一胜臊、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧伙判,春花似錦象对、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,741評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至菇曲,卻和暖如春冠绢,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背常潮。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,977評(píng)論 1 265
  • 我被黑心中介騙來(lái)泰國(guó)打工弟胀, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人喊式。 一個(gè)月前我還...
    沈念sama閱讀 46,316評(píng)論 2 360
  • 正文 我出身青樓孵户,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親岔留。 傳聞我的和親對(duì)象是個(gè)殘疾皇子夏哭,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,490評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容

  • 多線程爬取表情包 有一個(gè)網(wǎng)站,叫做“斗圖啦”献联,網(wǎng)址是:https://www.doutula.com/竖配。這里面包含...
    編程小蟬閱讀 1,052評(píng)論 1 7
  • 1、線程和進(jìn)程 計(jì)算機(jī)的核心是CPU里逆,它承擔(dān)了所有的計(jì)算任務(wù)进胯。它就像一座工廠,時(shí)刻在運(yùn)行运悲。 假定工廠的電力有限龄减,一...
    Andone1cc閱讀 492評(píng)論 0 1
  • 線程和進(jìn)程 計(jì)算機(jī),用于計(jì)算的機(jī)器班眯。計(jì)算機(jī)的核心是CPU希停,在現(xiàn)在多核心的電腦很常見(jiàn)了烁巫。為了充分利用cpu核心做計(jì)算...
    人世間閱讀 24,333評(píng)論 3 85
  • 前言:為什么有人說(shuō) Python 的多線程是雞肋,不是真正意義上的多線程宠能? 看到這里亚隙,也許你會(huì)疑惑。這很正常违崇,所以...
    猴哥愛(ài)讀書(shū)閱讀 51,655評(píng)論 6 69
  • 如果只是努力就有用的話阿弃,那其實(shí)一切就太簡(jiǎn)單了。 比如說(shuō)羞延,我告訴你渣淳,你只要拼命努力,你就可以成為馬云伴箩。那我相信這世上...
    魏佳斌閱讀 951評(píng)論 0 1