并行與并發(fā)
1. 計(jì)算機(jī)是如何執(zhí)行程序指令的?
2. 計(jì)算機(jī)是如何實(shí)現(xiàn)并發(fā)?
輪詢調(diào)度實(shí)現(xiàn)并發(fā)執(zhí)行
3. 真正的并行需要依賴什么?
總結(jié):
并行是基于多處理器多核而言的,讓多個(gè)處理器多核真正同時(shí)跑多個(gè)程序或多個(gè)進(jìn)程泉孩。而并發(fā)是單個(gè)處理器而言的,同一時(shí)刻每個(gè)處理器只會(huì)執(zhí)行一個(gè)進(jìn)程并淋,然后在不同進(jìn)程間快速切換寓搬,宏觀上給人以多個(gè)程序同時(shí)運(yùn)行的感覺(jué),但微觀上單個(gè)處理器還是串行工作的县耽。同理句喷,在一個(gè)進(jìn)程中镣典,程序的執(zhí)行也是不同線程間進(jìn)行切換的,每個(gè)線程執(zhí)行程序的的不同部分唾琼。這就意味著當(dāng)一個(gè)線程等待網(wǎng)頁(yè)下載時(shí)兄春,進(jìn)程可以切換到其他線程執(zhí)行,避免浪費(fèi)處理器時(shí)間锡溯。因此赶舆,為了充分利用計(jì)算機(jī)中的所有資源盡可能快地下載數(shù)據(jù),我們需要將下載分發(fā)到多個(gè)進(jìn)程和線程中祭饭。
并發(fā)是指一次處理多件事,而并行是指一次做多件事芜茵。二者不同,但互相有聯(lián)系倡蝙。
多進(jìn)程實(shí)現(xiàn)并行
什么是進(jìn)程九串?
- 計(jì)算機(jī)程序是存儲(chǔ)在磁盤(pán)上的文件。
只有把它們加載到內(nèi)存中寺鸥,并被操作系統(tǒng)調(diào)用它們才會(huì)擁有其自己的生命周期猪钮。 - 進(jìn)程表示一個(gè)正在執(zhí)行的程序。
每個(gè)進(jìn)程都有獨(dú)立地址空間以及其他的輔助數(shù)據(jù)
進(jìn)程(Process)
是計(jì)算機(jī)中已運(yùn)行程序的實(shí)例胆建。
python中使用進(jìn)程
我們先看一個(gè)程序
import time
def func(data,num):
while True:
print('我是子進(jìn)程{}-{}'.format(data,num))
def main():
while True:
print('我是主進(jìn)程')
if __name__ == '__main__':
func(1, 2)
print('-------------')
main()
結(jié)果:
從結(jié)果這樣如果直接調(diào)用func烤低,則一直在循環(huán),而不能打印下面的語(yǔ)句main()
眼坏。
此時(shí)我們可以利用多進(jìn)程來(lái)做拂玻,兩個(gè)不干擾。
進(jìn)程使用步驟:
import time
import multiprocessing
def func(data,num):
while True:
print('我是子進(jìn)程{}-{}'.format(data,num))
def main():
while True:
print('我是主進(jìn)程')
if __name__ == '__main__':
#func(1, 2)
process = multiprocessing.Process(target=func, args=(1,2)) #創(chuàng)建一個(gè)進(jìn)程
process.start() #運(yùn)行創(chuàng)建好的進(jìn)程
main()
結(jié)果:
從結(jié)果可以看出來(lái)宰译,兩個(gè)函數(shù)來(lái)回調(diào)用。
多進(jìn)程并行的必要條件:
總進(jìn)程數(shù)量不多于cpu核心數(shù)量魄懂!如果不滿足沿侈,那么運(yùn)行的程序都是輪詢調(diào)度產(chǎn)生的假象。
多線程實(shí)現(xiàn)并發(fā)
什么是線程
- 線程被稱作輕量級(jí)進(jìn)程市栗。
線程是進(jìn)程中的一個(gè)實(shí)體缀拭,操作系統(tǒng)不會(huì)為進(jìn)程分配內(nèi)存空間,它只有一點(diǎn)在運(yùn)行中必不可少的資源 - 線程被包含在進(jìn)程中,是進(jìn)程中的實(shí)際運(yùn)作單位
同一個(gè)進(jìn)程內(nèi)的多個(gè)線程會(huì)共享相同的上下文填帽,也就是共享資源(內(nèi)存和數(shù)據(jù))蛛淋。 - 線程(thread)
是操作系統(tǒng)能夠進(jìn)行運(yùn)算調(diào)度的最小單位。
python中使用線程
線程使用步驟:
import time
import multiprocessing
import threading
def func(data,num):
while True:
print('我是線程1{}-{}'.format(data,num))
def main():
while True:
print('我是線程2')
if __name__ == '__main__':
#func(1, 2)
# process = multiprocessing.Process(target=func, args=(1,2)) #創(chuàng)建一個(gè)進(jìn)程
# process.start() #運(yùn)行創(chuàng)建好的進(jìn)程
thread = threading.Thread(target=func, args=(1,2))
thread.start()
main()
結(jié)果與使用進(jìn)程一樣篡腌。
進(jìn)程 VS 線程
- 穩(wěn)定性
進(jìn)程具有獨(dú)立的地址空間褐荷,一個(gè)進(jìn)程崩潰后,不會(huì)對(duì)其它進(jìn)程產(chǎn)生影響嘹悼。
線程共享地址空間叛甫,一個(gè)線程非法操作共享數(shù)據(jù)崩潰后层宫,整個(gè)進(jìn)程就崩潰了。 - 創(chuàng)建開(kāi)銷
創(chuàng)建進(jìn)程操作系統(tǒng)是要分配內(nèi)存空間和一些其他資源的其监。開(kāi)銷很大
創(chuàng)建線程操作系統(tǒng)不需要再單獨(dú)分配資源萌腿,開(kāi)銷較小。 - 切換開(kāi)銷
不同進(jìn)程直接是獨(dú)立的抖苦, 切換需要耗費(fèi)較大資源線程共享進(jìn)程地址空間毁菱, 切換開(kāi)銷小。
GIL鎖(線程鎖)
Python在設(shè)計(jì)的時(shí)候锌历,還沒(méi)有多核處理器的概念贮庞。因此,為了設(shè)計(jì)方便與線程安全辩涝,直接設(shè)計(jì)了一個(gè)鎖贸伐。這個(gè)鎖要求,任何進(jìn)程中怔揩,一次只能有一個(gè)線程在執(zhí)行捉邢。因此,并不能為多個(gè)線程分配多個(gè)CPU商膊。所以Python中的線程只能實(shí)現(xiàn)并發(fā)伏伐,而不能實(shí)現(xiàn)真正的并行。
但是Python3中的GIL鎖有一個(gè)很棒的設(shè)計(jì)晕拆,在遇到阻塞(不是耗時(shí))的時(shí)候藐翎,會(huì)自動(dòng)切換線程。
遇到阻塞就自動(dòng)切換实幕。我們可以利用這種機(jī)制來(lái)充分利用CPU吝镣。
使用多進(jìn)程與多線程來(lái)實(shí)現(xiàn)并發(fā)服務(wù)器
關(guān)鍵點(diǎn):
- 多進(jìn)程是并行執(zhí)行, 相當(dāng)于分別獨(dú)立得處理各個(gè)請(qǐng)求昆庇。
- 多線程末贾,雖然不能并行運(yùn)行, 但是可以通過(guò)避開(kāi)阻塞切換線程來(lái)實(shí)現(xiàn)并發(fā)的效果整吆,并且不浪費(fèi)cpu拱撵。
import socket
import multiprocessing
server = socket.socket()
server.bind(('0.0.0.0', 7001))
server.listen()
print('等待連接.....')
def recv_data(conn):
while True:
data = conn.recv(1024)
if data:
print('接受的數(shù)據(jù)>>>{}'.format(data.decode()))
conn.send(data)
else:
conn.close()
break
def accept():
while True:
conn, addr = server.accept()
print('來(lái)自{}的連接'.format(addr))
#每生成一個(gè)對(duì)等連接套接字,就生成一個(gè)進(jìn)程表蝙,并交給這個(gè)進(jìn)程去處理拴测。
process = multiprocessing.Process(target=recv_data, args=(conn,))
process.start()
process = multiprocessing.Process(target=accept)
process.start()
多線程類似。