Python學習筆記十三(多任務官地、進程酿傍、進程池)

多任務之進程

什么是進程

進程是CPU資源分配的基本單位,進程包含線程驱入,線程依賴于進程拧粪。

進程的狀態(tài)

進程的狀態(tài)
  • 就緒態(tài):運行的條件都已經(jīng)慢去,正在等在cpu執(zhí)行
  • 執(zhí)行態(tài):cpu正在執(zhí)行其功能
  • 等待態(tài):等待某些條件滿足沧侥,例如一個程序sleep了,此時就處于等待態(tài)

進程可以理解為一個團隊魄鸦,而線程就是團隊的成員宴杀。當團隊要同時完成多個項目,缺少人手時需要招人拾因,既開辟子線程旺罢,當然也可以使用另外的方式完成多任務,比如再找一個團隊绢记,既多線程完成多任務扁达。

多進程多任務

Python 中可以使用multiprocessing 開啟多進程


import time

def look():
    """看風景"""
    for i in range(10):
        print("這里風景真好...")
        time.sleep(0.1)


def walk():
    """徒步旅行"""
    for i in range(10):
        print("我在徒步旅行...")
        time.sleep(0.2)


def main():
    """入口函數(shù)"""
    look()
    walk()


if __name__ == '__main__':
    main()

# 運行結果:
# 這里風景真好...
# 這里風景真好...
# 這里風景真好...
# 這里風景真好...
# 這里風景真好...
# 這里風景真好...
# 這里風景真好...
# 這里風景真好...
# 這里風景真好...
# 這里風景真好...
# 我在徒步旅行...
# 我在徒步旅行...
# 我在徒步旅行...
# 我在徒步旅行...
# 我在徒步旅行...
# 我在徒步旅行...
# 我在徒步旅行...
# 我在徒步旅行...
# 我在徒步旅行...
# 我在徒步旅行...


將上面的單進程單任務改為多進程多任務


import multiprocessing
import time


def look():
    # 獲取當前進程
    curr_process = multiprocessing.current_process()
    print("look_process", curr_process)

    # 打印當前進程的id
    print("look_pid", curr_process.pid)

    """看風景"""
    for i in range(10):
        print("這里風景真好...")
        time.sleep(0.1)


def walk():
    # 獲取當前進程
    curr_process = multiprocessing.current_process()
    print("walk_process", curr_process)

    # 打印當前進程的id
    print("walk_pid", curr_process.pid)

    """徒步旅行"""
    for i in range(10):
        print("我在徒步旅行...")
        time.sleep(0.2)


def main():
    """入口函數(shù)"""
    # look()
    # walk()

    # 獲取當前進程
    curr_process = multiprocessing.current_process()
    print("current_process", curr_process)

    # 打印當前進程的id
    print("process_pid", curr_process.pid)

    # 獲取當前進程中活動的子進程
    print("multiprocessing.Process前 ", multiprocessing.active_children())

    look_process = multiprocessing.Process(target=look)
    walk_process = multiprocessing.Process(target=walk)

    # 獲取當前進程中活動的子進程
    print("multiprocessing.Process后 ", multiprocessing.active_children())

    look_process.start()
    walk_process.start()

    # 獲取當前進程中活動的子進程
    print("start后 ", multiprocessing.active_children())


if __name__ == '__main__':
    main()

    # 運行結果:
    # current_process < _MainProcess(MainProcess, started) >
    # process_pid 14734
    # multiprocessing.Process前[]
    # multiprocessing.Process后[]
    # start后[ < Process(Process - 2, started) >, < Process(Process - 1, started) >]
    # look_process < Process(Process - 1, started) >
    # look_pid 14735
    # 這里風景真好...
    # walk_process < Process(Process - 2, started) >
    # walk_pid 14736
    # 我在徒步旅行...
    # 這里風景真好...
    # 這里風景真好...
    # 我在徒步旅行...
    # 這里風景真好...
    # 這里風景真好...
    # 我在徒步旅行...
    # 這里風景真好...
    # 我在徒步旅行...
    # 這里風景真好...
    # 這里風景真好...
    # 我在徒步旅行...
    # 這里風景真好...
    # 這里風景真好...
    # 我在徒步旅行...
    # 我在徒步旅行...
    # 我在徒步旅行...
    # 我在徒步旅行...
    # 我在徒步旅行...


分析結果:

  • 默認有一條進程MainProcess ,叫做主進程
  • multiprocessing.Process() 只是準備了一條進程蠢熄,并沒有創(chuàng)建子進程(multiprocessing.Process前[])
  • start 將準備好的子線程運行起來(multiprocessing.Process前[])
  • 進程之間執(zhí)行是無序的(輸出結果無序)
  • 主進程默認會等待子進程結束

設置守護進程


import multiprocessing
import time


def look():
    """看風景"""
    for i in range(10):
        print("這里風景真好...")
        time.sleep(0.1)


def walk():
    """徒步旅行"""
    for i in range(10):
        print("我在徒步旅行...")
        time.sleep(0.2)


def main():
    """入口函數(shù)"""
    # look()
    # walk()

    look_process = multiprocessing.Process(target=look)
    walk_process = multiprocessing.Process(target=walk)

    # 設置守護進程
    look_process.daemon = True
    walk_process.daemon = True

    look_process.start()
    walk_process.start()

    time.sleep(1)
    print("over")


if __name__ == '__main__':
    main()
# 運行結果:
# 我在徒步旅行...
# 這里風景真好...
# 這里風景真好...
# 我在徒步旅行...
# 這里風景真好...
# 這里風景真好...
# 我在徒步旅行...
# 這里風景真好...
# 這里風景真好...
# 我在徒步旅行...
# 這里風景真好...
# 這里風景真好...
# 我在徒步旅行...
# 這里風景真好...
# 這里風景真好...
# over


從結果上看跪解,主進程結束,子進程被結束或者說被銷毀签孔。

小結:

  • 獲取當前進程
  • multiprocessing.current_process()
  • 打印當前進程的id
    • print("process_pid", curr_process.pid)
  • 獲取活動子進程
  • multiprocessing.active_children()
  • 進程之間執(zhí)行是無序的
  • 默認情況下叉讥,主進程會等待子進程執(zhí)行結束窘行,程序再退出,既主進程結束图仓。
  • 設置守護進程罐盔,主進程結束,子進程被銷毀救崔。
  • 注意點:主進程里的子進程如果有一個沒有設置守護惶看,那么主進程會等待這個子進程執(zhí)行結束,因為主進程沒有結束六孵,所以守護進程不會被銷毀纬黎。
  • 注意點:設置守護進程( daemon ),要在start() 之前設置狸臣,否則會報錯(RuntimeError: cannot set daemon status of active thread)莹桅。

討論:為什么進程執(zhí)行無序?首先烛亦,線程是CPU調(diào)度的基本單位诈泼,線程執(zhí)行是無序的;其次煤禽,線程依賴于進程铐达,一個進程默認有一條線程,所以進程之間的執(zhí)行順序也是無序的檬果。

記錄:線程和進程對CPU的使用情況瓮孙,線程對CPU的使用率達不到100%,僅有50%左右选脊;進程對CPU的使用率可以達到100%杭抠。

多進程與全局變量[1]


import multiprocessing
import time

tmp_list = []


def look():
    """看風景"""
    for i in range(10):
        tmp_list.append("這里風景真好...")
        print("這里風景真好...")
        time.sleep(0.1)

    print(id(tmp_list)) 
    print(tmp_list)

def walk():
    """徒步旅行"""
    for i in range(10):
        tmp_list.append("我在徒步旅行...")

        print("我在徒步旅行...")
        time.sleep(0.2)

    print(id(tmp_list))
    print(tmp_list)


def main():
    """入口函數(shù)"""
    # look()
    # walk()

    look_process = multiprocessing.Process(target=look)
    walk_process = multiprocessing.Process(target=walk)

    # 設置守護進程
    look_process.daemon = True
    walk_process.daemon = True

    look_process.start()
    walk_process.start()

    time.sleep(3)
    print("over", tmp_list)
    print(id(tmp_list))


if __name__ == '__main__':
    main()

    # 運行結果:
    # 這里風景真好...
    # 我在徒步旅行...
    # 這里風景真好...
    # 這里風景真好...
    # 我在徒步旅行...
    # 這里風景真好...
    # 這里風景真好...
    # 我在徒步旅行...
    # 這里風景真好...
    # 這里風景真好...
    # 我在徒步旅行...
    # 這里風景真好...
    # 我在徒步旅行...
    # 這里風景真好...
    # 這里風景真好...
    # 139881809190792
    # ['這里風景真好...', '這里風景真好...', '這里風景真好...', '這里風景真好...', '這里風景真好...', '這里風景真好...', '這里風景真好...', '這里風景真好...', '這里風景真好...', '這里風景真好...']
    # 我在徒步旅行...
    # 我在徒步旅行...
    # 我在徒步旅行...
    # 我在徒步旅行...
    # 我在徒步旅行...
    # 139881809190792
    # ['我在徒步旅行...', '我在徒步旅行...', '我在徒步旅行...', '我在徒步旅行...', '我在徒步旅行...', '我在徒步旅行...', '我在徒步旅行...', '我在徒步旅行...', '我在徒步旅行...', '我在徒步旅行...']
    # over[]
    # 139881809190792


從結果可以看出,進程之間不共享全局變量

使用Queue恳啥,完成進程之間數(shù)據(jù)共享


import multiprocessing
import time

tmp_list = []


def look(qun):
    """看風景"""
    for i in range(10):
        tmp = qun.get()

        tmp.append("這里風景真好...")
        qun.put(tmp)
        print("這里風景真好...")
        time.sleep(0.1)


def walk(qun):
    """徒步旅行"""
    for i in range(10):
        tmp = qun.get()
        tmp.append("我在徒步旅行...")

        print("我在徒步旅行...")

        qun.put(tmp)
        time.sleep(0.2)


def main():
    """入口函數(shù)"""
    # look()
    # walk()

    qun = multiprocessing.Queue(3)
    qun.put(tmp_list)

    look_process = multiprocessing.Process(target=look, args=(qun,))
    walk_process = multiprocessing.Process(target=walk, args=(qun,))

    # 設置守護進程
    look_process.daemon = True
    walk_process.daemon = True

    look_process.start()
    walk_process.start()

    time.sleep(3)
    print("over", qun.get())


if __name__ == '__main__':
    main()

    # 運行結果:
    # 這里風景真好...
    # 我在徒步旅行...
    # 這里風景真好...
    # 這里風景真好...
    # 我在徒步旅行...
    # 這里風景真好...
    # 這里風景真好...
    # 我在徒步旅行...
    # 這里風景真好...
    # 這里風景真好...
    # 我在徒步旅行...
    # 這里風景真好...
    # 這里風景真好...
    # 我在徒步旅行...
    # 這里風景真好...
    # 我在徒步旅行...
    # 我在徒步旅行...
    # 我在徒步旅行...
    # 我在徒步旅行...
    # 我在徒步旅行...
    # over[
    #     '這里風景真好...', '我在徒步旅行...', '這里風景真好...', '這里風景真好...', '我在徒步旅行...', '這里風景真好...', '這里風景真好...', '我在徒步旅行...', '這里風景真好...', '這里風景真好...', '我在徒步旅行...', '這里風景真好...', '這里風景真好...', '我在徒步旅行...', '這里風景真好...', '我在徒步旅行...', '我在徒步旅行...', '我在徒步旅行...', '我在徒步旅行...', '我在徒步旅行...']

通過Queue 實現(xiàn)了數(shù)據(jù)共享偏灿。

進程之間的資源競爭


import multiprocessing
import time

a = 0


def look(qun):
    """看風景"""
    for i in range(1000000):
        qun.value += 1

def walk(qun):
    """徒步旅行"""
    for i in range(1000000):
        qun.value += 1


def main():
    """入口函數(shù)"""
    # look()
    # walk()

    qun = multiprocessing.Value("d", a)

    look_process = multiprocessing.Process(target=look, args=(qun,))
    walk_process = multiprocessing.Process(target=walk, args=(qun,))

    # 設置守護進程
    look_process.daemon = True
    walk_process.daemon = True

    look_process.start()
    walk_process.start()

    time.sleep(10)
    print("over", qun.value)


if __name__ == '__main__':
    main()

    # 運行結果:
    # over 1052801.0


同步解決資源競爭問題


import multiprocessing
import time

a = 0


def look(qun):
    """看風景"""
    for i in range(1000000):
        qun.value += 1

def walk(qun):
    """徒步旅行"""
    for i in range(1000000):
        qun.value += 1


def main():
    """入口函數(shù)"""
    # look()
    # walk()

    qun = multiprocessing.Value("d", a)

    look_process = multiprocessing.Process(target=look, args=(qun,))
    walk_process = multiprocessing.Process(target=walk, args=(qun,))

    # 設置守護進程
    look_process.daemon = True
    walk_process.daemon = True

    look_process.start()
    
    # 進程同步
    look_process.join()
    
    walk_process.start()

    time.sleep(10)
    print("over", qun.value)


if __name__ == '__main__':
    main()

    # 運行結果:
    # over 2000000.0
    

類比線程資源競爭問題,進程同樣可以使用同步與互斥鎖解決資源競爭問題钝的。

小結

  • 多進程共享全局變量翁垂,但共享全局變量會產(chǎn)生資源競爭問題
  • 進程同步(join())和互斥鎖都能解決資源競爭問題,但是都是將多任務變成了單任務硝桩。
  • 使用鎖要避免死鎖
  • 注意點:如果兩個子進程共享全局變量沿猜,只對一個子進程加鎖,可以理解為和沒加鎖一樣碗脊。
  • 注意點:效率問題啼肩,同樣是累加200,0000次,直接遍歷累加200,0000次所用時間小于進程同步所用時間小于互斥鎖所用時間

進程池


import multiprocessing
import time


# 向指定隊列寫入數(shù)據(jù)
def write_data(queue):
    for i in range(5):
        queue.put(i)
        print(i)
        time.sleep(0.2)

    print("數(shù)據(jù)寫入完成")

# 向指定隊列讀取數(shù)據(jù)
def read_data(queue):
    while True:
        # 判斷隊列是否為空
        if queue.empty():
            print("隊列為空")
            break
        else:
            value = queue.get()
            print(value)

if __name__ == '__main__':
    # 創(chuàng)建進程池中的queue
    queue = multiprocessing.Manager().Queue()

    # 創(chuàng)建進程池
    pool = multiprocessing.Pool(2)

    # 通過進程池執(zhí)行寫入數(shù)據(jù)的任務
    # pool.apply(write_data, (queue,))
    # # 通過進程池執(zhí)行讀取數(shù)據(jù)的任務
    # pool.apply(read_data, (queue,))

    # 使用異步執(zhí)行對應的任務
    # 執(zhí)行異步異步任務會返回一個應用結果對象,這個對象里面有一個wait()方法可以等待異步任務執(zhí)行完成以后代碼再繼續(xù)往下執(zhí)行
    # <multiprocessing.pool.ApplyResult object at 0x7f22d1795e48>
    result = pool.apply_async(write_data, (queue,))
    # 等待寫入這個異步任務執(zhí)行完成以后代碼再繼續(xù)執(zhí)行
    result.wait()
    # time.sleep(1.1)
    pool.apply_async(read_data, (queue,))

    # 關閉進程池
    pool.close()
    # 主進程等待進程池執(zhí)行完任務以后程序再退出
    pool.join()
    
  • 進程池: 池子里面放的都是進程疟游,進程池可以根據(jù)任務自動創(chuàng)建進程呼畸,會合理利用進程池中的進程完成多任務,能夠節(jié)省資源的開銷
  • 默認情況下颁虐,主進程不會等待進程池結束
  • 使用組合拳蛮原,pool.close() 和 pool.join() 讓主進程等待進程池任務執(zhí)行結束
  • 進程池分為同步執(zhí)行pool.apply 和異步執(zhí)行pool.apply_async

到此結 ? DragonFangQy ?2018.4.29


  1. 共享數(shù)據(jù)的方式 ?

?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市另绩,隨后出現(xiàn)的幾起案子儒陨,更是在濱河造成了極大的恐慌,老刑警劉巖笋籽,帶你破解...
    沈念sama閱讀 212,884評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件蹦漠,死亡現(xiàn)場離奇詭異,居然都是意外死亡车海,警方通過查閱死者的電腦和手機笛园,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,755評論 3 385
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來侍芝,“玉大人研铆,你說我怎么就攤上這事≈莸” “怎么了棵红?”我有些...
    開封第一講書人閱讀 158,369評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長咧栗。 經(jīng)常有香客問我逆甜,道長,這世上最難降的妖魔是什么致板? 我笑而不...
    開封第一講書人閱讀 56,799評論 1 285
  • 正文 為了忘掉前任交煞,我火速辦了婚禮,結果婚禮上斟或,老公的妹妹穿的比我還像新娘错敢。我一直安慰自己,他們只是感情好缕粹,可當我...
    茶點故事閱讀 65,910評論 6 386
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著纸淮,像睡著了一般平斩。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上咽块,一...
    開封第一講書人閱讀 50,096評論 1 291
  • 那天绘面,我揣著相機與錄音,去河邊找鬼。 笑死揭璃,一個胖子當著我的面吹牛晚凿,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播瘦馍,決...
    沈念sama閱讀 39,159評論 3 411
  • 文/蒼蘭香墨 我猛地睜開眼歼秽,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了情组?” 一聲冷哼從身側響起燥筷,我...
    開封第一講書人閱讀 37,917評論 0 268
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎院崇,沒想到半個月后肆氓,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,360評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡底瓣,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,673評論 2 327
  • 正文 我和宋清朗相戀三年谢揪,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片捐凭。...
    茶點故事閱讀 38,814評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡拨扶,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出柑营,到底是詐尸還是另有隱情屈雄,我是刑警寧澤,帶...
    沈念sama閱讀 34,509評論 4 334
  • 正文 年R本政府宣布官套,位于F島的核電站酒奶,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏奶赔。R本人自食惡果不足惜惋嚎,卻給世界環(huán)境...
    茶點故事閱讀 40,156評論 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望站刑。 院中可真熱鬧另伍,春花似錦、人聲如沸绞旅。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,882評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽因悲。三九已至堕汞,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間晃琳,已是汗流浹背讯检。 一陣腳步聲響...
    開封第一講書人閱讀 32,123評論 1 267
  • 我被黑心中介騙來泰國打工琐鲁, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人人灼。 一個月前我還...
    沈念sama閱讀 46,641評論 2 362
  • 正文 我出身青樓围段,卻偏偏與公主長得像,于是被迫代替她去往敵國和親投放。 傳聞我的和親對象是個殘疾皇子奈泪,可洞房花燭夜當晚...
    茶點故事閱讀 43,728評論 2 351

推薦閱讀更多精彩內(nèi)容

  • @(python)[筆記] 目錄 一段磨、什么是進程 1.1 進程的概念 進程的概念起源于操作系統(tǒng),是操作系統(tǒng)最核心的...
    CaiGuangyin閱讀 1,254評論 0 9
  • python之進程、線程與協(xié)程 有這么個例子說他們的區(qū)別误阻,幫助理解很有用债蜜。 有一個老板想開一個工廠生產(chǎn)手機。 他需...
    道無虛閱讀 3,175評論 0 3
  • 今天讀了萬維剛的一篇文章究反,其中討論了大眾的本質(zhì)是不是就是低俗寻定。曾經(jīng)聽到過一句話,凡是廣為流行的東西必是庸俗精耐,只有庸...
    露露Yao閱讀 464評論 1 1
  • 是百合狼速,渴望綻開花瓣 是大樹,渴望撐起綠蔭 是野草卦停,渴望野蠻生長 是大海向胡,渴望深度 是山峰,渴望高度 是平原惊完,渴望...
    獨行的蟲閱讀 108評論 0 0
  • ?想?愛?就去?愛?吧?僵芹,?不要?害怕?被?拒絕?,?想?遠?行?就?遠行?吧?不要?害怕?艱苦?小槐,?時光?短暫?...
    33174dada65f閱讀 187評論 0 0