場景
單進程匪煌,兩線程鳍侣,兩進程挽拔,兩協(xié)程 數(shù)20萬的場景對比
單進程:單個進程count 20萬
兩線程:啟動兩個線程,對全局變量數(shù)20萬
兩進程:啟動兩個進程克握,通過共享內存方式創(chuàng)建Value對象蕾管,數(shù)20萬
兩協(xié)程:啟動兩個協(xié)程,數(shù)20萬菩暗,需要注意asyncio.sleep(0)主動釋放cpu的位置
環(huán)境
通過VMware創(chuàng)建的linux虛擬機掰曾,centos6.3,2core停团,4G旷坦。
我在windows宿主機上也做了嘗試,但跑兩進程共享Value時客蹋,會異常的慢塞蹭,數(shù)20左右就是秒級的,不清楚原因讶坯。其余三個場景windows宿主機上性能會更好番电。
代碼
import threading
import multiprocessing
from multiprocessing import Manager
import asyncio
import time
g_num = 0
lock = threading.Lock()
LOOP = 100000
def single_count():
global g_num
g_num = 0
for i in range(0, LOOP * 2):
g_num += 1
def my_thread():
global g_num
for i in range(0, LOOP):
with lock:
g_num = g_num + 1
def my_process(g_num, process_lock):
for i in range(0, LOOP):
with process_lock:
g_num.value += 1
def main0(i):
st = time.time()
single_count()
print("第%d次計算結果:%d 耗時: %s" % (i, g_num, (time.time() - st)))
def main1(i):
st = time.time()
global g_num
g_num = 0
t1 = threading.Thread(target=my_thread)
t2 = threading.Thread(target=my_thread)
# 啟動線程
t1.start()
t2.start()
# 阻塞函數(shù),等待線程結束
t1.join()
t2.join()
print("第%d次計算結果:%d 耗時: %s" % (i, g_num, (time.time() - st)))
def main2(i):
st = time.time()
# 聲明進程的共享變量
manager = Manager()
g_num = manager.Value('g_num', 0)
process_lock = multiprocessing.Lock()
t1 = multiprocessing.Process(target=my_process, args=(g_num, process_lock,))
t2 = multiprocessing.Process(target=my_process, args=(g_num, process_lock,))
# 啟動進程
t1.start()
t2.start()
# 阻塞函數(shù),等待進程結束
t1.join()
t2.join()
# 獲取全局變量的值
print("第%d次計算結果:%d 耗時: %s" % (i, g_num.value, (time.time() - st)))
async def coroutine():
global g_num
# asyncio.sleep主動釋放cpu,如果寫到for里邊就會多次釋放cpu漱办,會慢
for i in range(0, LOOP):
g_num = g_num + 1
await asyncio.sleep(0)
async def gather_co():
await asyncio.gather(coroutine(), coroutine(), )
def main3(i):
global g_num
g_num = 0
st = time.time()
# 加這兩句的原因https://www.cnblogs.com/SunshineKimi/p/12053914.html
new_loop = asyncio.new_event_loop()
asyncio.set_event_loop(new_loop)
loop = asyncio.get_event_loop()
loop.run_until_complete(gather_co())
loop.close()
print("第%d次計算結果:%d 耗時: %s" % (i, g_num, (time.time() - st)))
if __name__ == "__main__":
print("單個進程數(shù)20萬")
for i in range(1, 5):
main0(i) # 耗時 0.02这刷,CPU密集型的任務,用單個進程的速度會比多線程更快
print("兩個線程數(shù)20萬")
for i in range(1, 5):
main1(i) # 耗時0.56
print("兩個進程共享內存數(shù)20萬")
for i in range(1, 5):
main2(i) # 耗時42.26
print("兩個協(xié)程數(shù)20萬")
for i in range(1, 5):
# 耗時: 0.035 主要看在哪await,如果放到for循環(huán)里await娩井,就很慢
main3(i)
linux測試結果
單個進程數(shù)20萬
第1次計算結果:200000 耗時: 0.02316737174987793
第2次計算結果:200000 耗時: 0.021372079849243164
第3次計算結果:200000 耗時: 0.029618263244628906
第4次計算結果:200000 耗時: 0.03957533836364746
兩個線程數(shù)20萬
第1次計算結果:200000 耗時: 0.5690386295318604
第2次計算結果:200000 耗時: 0.519477128982544
第3次計算結果:200000 耗時: 0.3434329032897949
第4次計算結果:200000 耗時: 0.5677127838134766
兩個進程共享內存數(shù)20萬
第1次計算結果:200000 耗時: 43.1370644569397
第2次計算結果:200000 耗時: 47.416287422180176
第3次計算結果:200000 耗時: 40.489630460739136
第4次計算結果:200000 耗時: 41.213842153549194
兩個協(xié)程數(shù)20萬
第1次計算結果:200000 耗時: 0.04945230484008789
第2次計算結果:200000 耗時: 0.06548023223876953
第3次計算結果:200000 耗時: 0.06570887565612793
第4次計算結果:200000 耗時: 0.02965259552001953