科技在發(fā)展,時(shí)代在進(jìn)步腥椒,我們的CPU也越來(lái)越快阿宅,CPU抱怨,P大點(diǎn)事兒占了我一定的時(shí)間笼蛛,其實(shí)我同時(shí)干多個(gè)活都沒(méi)問(wèn)題的洒放;于是,操作系統(tǒng)就進(jìn)入了多任務(wù)時(shí)代滨砍。我們聽(tīng)著音樂(lè)吃著火鍋的不在是夢(mèng)想往湿。
python提供了兩個(gè)模塊來(lái)實(shí)現(xiàn)多線程thread 和threading ,thread 有一些缺點(diǎn)惋戏,在threading 得到了彌補(bǔ)领追,為了不浪費(fèi)你和時(shí)間,所以我們直接學(xué)習(xí)threading 就可以了响逢。
1.代碼:
#coding: utf-8
import threading
import time
class Foo(threading.Thread):
def run(self):
print '我開(kāi)始聽(tīng)音樂(lè)', '\n'
time.sleep(1)
print '我已經(jīng)聽(tīng)完了音樂(lè)', '\n'
def foo():
print '我開(kāi)始吃火鍋', '\n'
time.sleep(2)
print '我已經(jīng)吃完了火鍋', '\n'
t = Foo()
d = threading.Thread(target = foo)
t.start()
# d.setDaemon(True)
d.start()
我們先聽(tīng)了一首音樂(lè)绒窑,通過(guò)Foo類(lèi)來(lái)控制音樂(lè)的播放,音樂(lè)播放需要1秒鐘龄句,sleep()來(lái)控制音樂(lè)播放的時(shí)長(zhǎng)回论。同時(shí)我們又看了一場(chǎng)電影,每一場(chǎng)電影需要2秒鐘分歇。輸出如下圖:
2. setDaemon(True):守護(hù)線程
我們?cè)跇?biāo)題1的代碼里面進(jìn)行一些修改來(lái)體現(xiàn)出setDaemon的作用
#coding: utf-8
import threading
import time
class Foo(threading.Thread):
def run(self):
print '我開(kāi)始聽(tīng)音樂(lè)', '\n'
time.sleep(1)
print '我已經(jīng)聽(tīng)完了音樂(lè)', '\n'
def foo():
print '我開(kāi)始吃火鍋', '\n'
time.sleep(2)
print '我已經(jīng)吃完了火鍋', '\n'
t = Foo()
d = threading.Thread(target = foo)
t.start()
d.setDaemon(True)
d.start()
這里面d給設(shè)置了守護(hù)線程傀蓉,2個(gè)線程同時(shí)開(kāi)始,但是如果其他線程結(jié)束了职抡,那么守護(hù)線程不管有沒(méi)有完成都要結(jié)束葬燎。意思就是我們聽(tīng)著音樂(lè),吃著火鍋缚甩,音樂(lè)聽(tīng)完了谱净,不管我們火鍋有沒(méi)有吃完,就得趕緊撤了擅威。
下圖是輸出結(jié)果:
3.join()阻塞
繼續(xù)修改我們的代碼
#coding: utf-8
import threading
import time
class Foo(threading.Thread):
def run(self):
print '我開(kāi)始聽(tīng)音樂(lè)', '\n'
time.sleep(1)
print '我已經(jīng)聽(tīng)完了音樂(lè)', '\n'
def foo():
print '我開(kāi)始吃火鍋', '\n'
time.sleep(2)
print '我已經(jīng)吃完了火鍋', '\n'
t = Foo()
d = threading.Thread(target = foo)
t.start()
d.setDaemon(True)
d.start()
d.join()
我們將d進(jìn)行阻塞壕探,就是t執(zhí)行完成,你才能執(zhí)行d郊丛,也就是我們必須聽(tīng)完音樂(lè)李请,才能看電影 瞧筛。
下圖是輸出:
4.queue隊(duì)列
隊(duì)列的意思是將東西放進(jìn)去,可以隨時(shí)取出來(lái)导盅,下面有個(gè)代碼演示:
#coding: utf-8
import Queue
q = Queue.Queue()
for i in range(5):
q.put(i)
while not q.empty():
print q.get()
輸出結(jié)果:
這個(gè)應(yīng)該很容易理解较幌,就不用多解釋。
5.使用過(guò)多線程進(jìn)行網(wǎng)頁(yè)爬取
代碼如下:
#!/usr/bin/env python
# coding: utf-8
#隊(duì)列自己帶鎖白翻,自己阻塞乍炉,線程安全的,不用自己顯式的去編寫(xiě)
import threading
import requests
import urllib
import Queue
from bs4 import BeautifulSoup
class Foo(threading.Thread):
def __init__(self, queue):
threading.Thread.__init__(self)
self.queue = queue
def run(self):
while True:
key = self.queue.get()#取key列表里面的元素
self.baidu(key)#運(yùn)行函數(shù)baidu滤馍,傳的參數(shù)是key
self.queue.task_done()#取不到元素的時(shí)候自動(dòng)退出程序
def baidu(self, keys):
gjc = urllib.quote(keys)
url = 'https://www.baidu.com/s?ie=utf-8&mod=1&isid=C72D6237C6C55642&ie=utf-8&f=8&rsv_bp=0&rsv_idx=1&tn=baidu&wd=' + gjc + '&rsv_pq=816a886000062c06&rsv_t=c589dMGIygeVyzfmHXpCrPrWN2S4yWp8ttSNQ77uzbcec5H1cOVF2yiedcs&rqlang=cn&rsv_enter=1&rsv_sug3=7&rsv_sug1=3&rsv_sug7=100&rsv_sug2=0&inputT=89&rsv_sug4=41058&rsv_sid=1424_21119_17001_22072&_ss=1&clist=&hsug=&f4s=1&csor=2&_cr1=28095'
header = { 'Refer':'https://www.baidu.com/',
'Host':'www.baidu.com',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.79 Safari/537.36',
'Cookie':'BAIDUID=75774ED511BF2DECB6C4A142D1F4CCDF:FG=1; PSTM=1499515257; BIDUPSID=DD4A04E2ED6C099A9F40EF86229306AB; FP_UID=616a141a155bdb648b37b61ff16cfdc3; BDRCVFR[yfg8b4Gp7xm]=yiTPYW-i3eTXZFWmv68mvqV; H_PS_645EC=9607I22jkjSFIiy14y6B2VlNt4TQHDqMpVs%2FNy6mdneG1NMGExHCLS0uRrs; BD_CK_SAM=1; PSINO=5; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; BD_HOME=0; H_PS_PSSID=1447_19033_13550_21095_18560_17001_22160; BD_UPN=12314753'
}
content = requests.get(url, headers=header).content
soup = BeautifulSoup(content, 'html.parser')
keyword = soup.find_all('div', id="rs")
for i in keyword:
print i.get_text()
if __name__ == '__main__':
queue = Queue.Queue()
key = ['蘋(píng)果8', '小米Mx2', '華為mate10']
for i in key:
queue.put(i)#將key加入隊(duì)列里面岛琼,用于run()的調(diào)用
for item in range(3):
t = Foo(queue)
t.setDaemon(True)#守護(hù)進(jìn)程,如果主線程結(jié)束纪蜒,則會(huì)退出
t.start()
queue.join()#阻塞衷恭,函數(shù)baidu('蘋(píng)果8')執(zhí)行完成,才會(huì)繼續(xù)進(jìn)行下一次baidu('小米Mx2')
輸出結(jié)果:
6.python中多線程的優(yōu)缺點(diǎn)
多線程目前僅用于網(wǎng)絡(luò)多線程采集纯续, 以及性能測(cè)試随珠。
其它的語(yǔ)言也有類(lèi)似的情況,線程本身的特點(diǎn)導(dǎo)致線程的適用范圍是受限的猬错。只有CPU過(guò)剩窗看,而其它的任務(wù)很慢,此時(shí)用線程才是有益的倦炒,可以很好平衡等待時(shí)間显沈,提高并發(fā)性能。線程的問(wèn)題主要是線程的安全穩(wěn)定性逢唤。線程無(wú)法強(qiáng)制中止拉讯,同時(shí)線程與主進(jìn)程共享內(nèi)存,可能會(huì)影響主進(jìn)程的內(nèi)存管理鳖藕。在python里線程出問(wèn)題魔慷,可能會(huì)導(dǎo)致主進(jìn)程崩潰。 雖然python里的線程是操作系統(tǒng)的真實(shí)線程著恩。那么怎么解決呢院尔?通過(guò)我們用進(jìn)程方式。子進(jìn)程崩潰后喉誊,會(huì)完全的釋放所有的內(nèi)存和錯(cuò)誤狀態(tài)邀摆。所以進(jìn)程更安全。 另外通過(guò)進(jìn)程伍茄,python可以很好的繞過(guò)GIL栋盹,這個(gè)全局鎖問(wèn)題。但是進(jìn)程也是有局限的敷矫。不要建立超過(guò)CPU總核數(shù)的進(jìn)程贞盯,否則效率也不高音念。簡(jiǎn)單的總結(jié)一下。當(dāng)我們想實(shí)現(xiàn)多任務(wù)處理時(shí)躏敢,首先要想到使用multiprocessing, 但是如果覺(jué)著進(jìn)程太笨重整葡,那么就要考慮使用線程件余。 如果多任務(wù)處理中需要處理的太多了,可以考慮多進(jìn)程遭居,每個(gè)進(jìn)程再采用多線程啼器。如果還處理不要,就要使用輪詢(xún)模式俱萍,比如使用poll event, twisted等方式端壳。如果是GUI方式,則要通過(guò)事件機(jī)制枪蘑,或者是消息機(jī)制處理损谦,GUI使用單線程。所以在python里線程不要盲目用岳颇, 也不要濫用照捡。 但是線程不安全是事實(shí)。如果僅僅是做幾個(gè)后臺(tái)任務(wù)话侧,則可以考慮使用守護(hù)線程做栗精。如果需要做一些危險(xiǎn)操作,可能會(huì)崩潰的瞻鹏,就用子進(jìn)程去做悲立。 如果需要高度穩(wěn)定性,同時(shí)并發(fā)數(shù)又不高的服務(wù)新博。則強(qiáng)烈建議用多進(jìn)程的multiprocessing模塊實(shí)現(xiàn)薪夕。