一多任務(wù)的引入

有很多的場景中的事情是同時進行的舔示，比如開車的時候手和腳共同來駕駛汽車，再比如唱歌跳舞也是同時進行的吏砂；

在編程中蝇恶，一邊唱歌一邊跳舞是如何實現(xiàn)的呢拳魁？

·很顯然剛剛的程序并沒有完成唱歌和跳舞同時進行的要求

·如果想要實現(xiàn)“唱歌跳舞”同時進行，那么就需要一個新的方法撮弧，叫做：多任務(wù)

二多任務(wù)的概念

什么叫“多任務(wù)”呢潘懊？簡單地說，就是操作系統(tǒng)可以同時運行多個任務(wù)贿衍。打個比方授舟，你一邊在用瀏覽器上網(wǎng)，一邊在聽MP3贸辈，一邊在用Word趕作業(yè)释树，這就是多任務(wù)，至少同時有3個任務(wù)正在運行擎淤。還有很多任務(wù)悄悄地在后臺同時運行著奢啥，只是桌面上沒有顯示而已。

現(xiàn)在嘴拢，多核CPU已經(jīng)非常普及了扫尺，但是，即使過去的單核CPU炊汤，也可以執(zhí)行多任務(wù)。由于CPU執(zhí)行代碼都是順序執(zhí)行的弊攘，那么抢腐，單核CPU是怎么執(zhí)行多任務(wù)的呢？

答案就是操作系統(tǒng)輪流讓各個任務(wù)交替執(zhí)行襟交，任務(wù)1執(zhí)行0.01秒迈倍，切換到任務(wù)2，任務(wù)2執(zhí)行0.01秒捣域，再切換到任務(wù)3啼染，執(zhí)行0.01秒……這樣反復(fù)執(zhí)行下去宴合。表面上看，每個任務(wù)都是交替執(zhí)行的迹鹅，但是卦洽，由于CPU的執(zhí)行速度實在是太快了，我們感覺就像所有任務(wù)都在同時執(zhí)行一樣斜棚。

真正的并行執(zhí)行多任務(wù)只能在多核CPU上實現(xiàn)阀蒂，但是，由于任務(wù)數(shù)量遠遠多于CPU的核心數(shù)量弟蚀，所以蚤霞，操作系統(tǒng)也會自動把很多任務(wù)輪流調(diào)度到每個核心上執(zhí)行。

三進程的創(chuàng)建-fork

1.進程 vs 程序

編寫完畢的代碼义钉，在沒有運行的時候昧绣，稱之為程序

正在運行著的代碼，就成為進程

進程捶闸，除了包含代碼以外夜畴，還有需要運行的環(huán)境等，所以和程序是有區(qū)別的鉴嗤。

2.fork

Python的os模塊封裝了常見的系統(tǒng)調(diào)用斩启，其中就包括fork，可以在Python程序中輕松創(chuàng)建子進程：

·程序執(zhí)行到os.fork()時醉锅，操作系統(tǒng)會創(chuàng)建一個新的進程（子進程）兔簇，然后復(fù)制父進程的所有信息到子進程中。

·然后父進程和子進程都會從fork()函數(shù)中得到一個返回值硬耍，在子進程中這個值一定是0垄琐，而父進程中是子進程的id號。

在Unix/Linux操作系統(tǒng)中经柴，提供了一個fork()系統(tǒng)函數(shù)狸窘，它非常特殊。

普通的函數(shù)調(diào)用坯认，調(diào)用一次翻擒，返回一次，但是fork()調(diào)用一次牛哺，返回兩次陋气，因為操作系統(tǒng)自動把當前進程（稱為父進程）復(fù)制了一份（稱為子進程），然后引润，分別在父進程和子進程內(nèi)返回巩趁。

子進程永遠返回0，而父進程返回子進程的ID淳附。

這樣做的理由是议慰，一個父進程可以fork出很多子進程蠢古，所以，父進程要記下每個子進程的ID别凹，而子進程只需要調(diào)用getppid()就可以拿到父進程的ID草讶。

四getpid(),getppid()

通過os.pid()和os.ppid()可以獲得程序的子進程的進程號和父進程的進程號

五多進程修改全局變量

·多進程中，每個進程中所有數(shù)據(jù)（包括全局變量）都各有擁有一份番川，互不影響到涂。

六多次fork問題

如果在一個程序，有2次的fork函數(shù)調(diào)用颁督，是否就會有3個進程呢践啄？

父子進程的執(zhí)行順序

父進程、子進程執(zhí)行順序沒有規(guī)律沉御，完全取決于操作系統(tǒng)的調(diào)度算法

七multiprocessing

1 fork只能在Unix/Linux上使用

multiprocessing模塊就是跨平臺版本的多進程模塊屿讽，可以在windows系統(tǒng)上使用。

multiprocessing模塊提供了一個Process類來代表一個進程對象吠裆，下面的例子演示了啟動一個子進程并等待其結(jié)束：

創(chuàng)建子進程時伐谈，只需要傳入一個執(zhí)行函數(shù)和函數(shù)的參數(shù)，創(chuàng)建一個Process實例试疙，用start方法啟動诵棵，比fork()還簡單.

·join()方法可以等待子進程結(jié)束后再繼續(xù)往下運行，通常用于進程間的同步祝旷。

Process語法結(jié)構(gòu)如下：

Process([group [, target [, name [, args [, kwargs]]]]])

target：表示這個進程實例所調(diào)用對象

args：表示調(diào)用對象的位置參數(shù)元組

kwargs：表示調(diào)用對象的關(guān)鍵字參數(shù)字典

name：為當前進程實例的別名

group：大多數(shù)情況下用不到

Process類常用方法：

·is_alive()：判斷進程實例是否還在執(zhí)行履澳；

·join([timeout])：是否等待進程實例執(zhí)行結(jié)束，或等待多少秒怀跛；

·start()：啟動進程實例（創(chuàng)建子進程）距贷；

·run()：如果沒有給定target參數(shù)，對這個對象調(diào)用start()方法時吻谋，就將執(zhí)行對象中的run()方法忠蝗；

·terminate()：不管任務(wù)是否完成，立即終止漓拾；

Process類常用屬性：

·name：當前進程實例別名阁最，默認為Process-N，N為從1開始遞增的整數(shù)骇两；

·pid：當前進程實例的PID值闽撤；

實例1：

實例二：

八進程的創(chuàng)建-Process子類

創(chuàng)建新的進程還能夠使用類的方式，可以自定義一個類脯颜，繼承Process類，每次實例化這個類的時候贩据，就等同于實例化一個進程對象栋操，請看下面的實例：

兩種方式的對比：

1闸餐、方法

2、繼承類

繼承類是以面向?qū)ο罂紤]這個事的矾芙，所以業(yè)務(wù)邏輯復(fù)雜，建議使用繼承類，更好理解

九進程池Pool

當需要創(chuàng)建的子進程數(shù)量不多時阀捅，可以直接利用multiprocessing中的Process動態(tài)成生多個進程陨溅，但如果是上百甚至上千個目標，手動的去創(chuàng)建進程的工作量巨大葱绒，此時就可以用到multiprocessing模塊提供的Pool方法感帅。

初始化Pool時，可以指定一個最大進程數(shù)地淀，當有新的請求提交到Pool中時失球，如果池還沒有滿，那么就會創(chuàng)建一個新的進程用來執(zhí)行該請求帮毁；但如果池中的進程數(shù)已經(jīng)達到指定的最大值实苞，那么該請求就會等待，直到池中有進程結(jié)束烈疚，才會創(chuàng)建新的進程來執(zhí)行黔牵，請看下面的實例：

multiprocessing.Pool常用函數(shù)解析：

1創(chuàng)建一個進程池

from multiprocessing import Pool

po=Pool(num)

num等于進程池中的進程數(shù)量，如果不設(shè)置num默認可以放任意數(shù)量進程

2為進程池中添加進程（非阻塞式）

po.apply_async(func,(args,),(kwargs,))

使用非阻塞方式調(diào)用func爷肝，func為創(chuàng)建子進程的函數(shù)名（并行執(zhí)行猾浦，阻塞方式必須等待上一個進程退出才能執(zhí)行下一個進程），args為傳遞給func的參數(shù)列表阶剑，kwargs為傳遞給func的關(guān)鍵字參數(shù)列表跃巡；

3為進程池中添加進程（阻塞式）

po.apply(func,(args,),(kwargs,)）

和非阻塞式最大的區(qū)別就是上一個進程退出才能調(diào)用下一個進程

4關(guān)閉進程池

po.close()

關(guān)閉Pool，使其不再接受新的任務(wù)

5終止進程

pool.terminate()

不管任務(wù)是否完成牧愁，立刻終止

6 join

pool.join()

主進程阻塞素邪，等待子進程的退出，必須在close或terminate之后使用

apply阻塞式的實例：

十進程間通信-Queue

Process之間有時需要通信猪半，操作系統(tǒng)提供了很多機制來實現(xiàn)進程間的通信兔朦。

1 Queue的使用

可以使用multiprocessing模塊中的Queue來實現(xiàn)多進程之間的數(shù)據(jù)傳遞，Queue本身是一個消息列隊程序磨确，下面用一個小程序來演示Queue的工作原理：

推薦放消息的方式：判斷隊列是否已滿沽甥，再寫入；

推薦讀消息的方式：判斷隊列是否為空乏奥，再讀劝谥邸：

說明

初始化Queue()對象時（例如q=Queue()）,若括號中沒有指定最大可接收的消息數(shù)量或數(shù)量為負值，那么就代表可接受的消息數(shù)量沒有上限。

q=Queue（3）

①q.qsize()

返回當前隊列中包含的消息數(shù)量恨诱；

②q.empty()

如果隊列為空媳瞪，返回True，反之False照宝；

③q.full()

·如果隊列滿了蛇受，返回True,反之False；

④q.get(block,timeout)

·獲取隊列中的一條消息厕鹃，然后將其從列隊中移除兢仰，block默認值為True；

1）如果block使用默認值剂碴，且沒有設(shè)置timeout（單位秒）把将，消息列隊如果為空，此時程序?qū)⒈蛔枞ㄍＴ谧x取狀態(tài)）汗茄，直到從消息列隊讀到消息為止秸弛，如果設(shè)置了timeout，則會等待timeout秒洪碳，若還沒讀取到任何消息递览，則拋出"Queue.Empty"異常；

2）如果block值為False瞳腌，消息列隊如果為空绞铃，則會立刻拋出"Queue.Empty"異常；

⑤q.get_nowait()

相當Queue.get(False)嫂侍；

⑥q.put(item,[block[, timeout]])

將item消息寫入隊列儿捧，block默認值為True；

1）如果block使用默認值挑宠，且沒有設(shè)置timeout（單位秒）菲盾，消息列隊如果已經(jīng)沒有空間可寫入，此時程序?qū)⒈蛔枞ㄍＴ趯懭霠顟B(tài)）各淀，直到從消息列隊騰出空間為止懒鉴，如果設(shè)置了timeout，則會等待timeout秒碎浇，若還沒空間临谱，則拋出"Queue.Full"異常；

2）如果block值為False奴璃，消息列隊如果沒有空間可寫入悉默，則會立刻拋出"Queue.Full"異常；

⑦q.put_nowait(item)

相當Queue.put(item, False)苟穆；

2 Queue實例

注意參數(shù)的傳遞

我們以Queue為例抄课，在父進程中創(chuàng)建兩個子進程唱星，一個往Queue里寫數(shù)據(jù)，一個從Queue里讀數(shù)據(jù)：

3 進程池中的Queue

如果要使用Pool創(chuàng)建進程剖膳，就需要使用multiprocessing.Manager()中的Queue()魏颓，而不是multiprocessing.Queue()，否則會得到一條如下的錯誤信息：

RuntimeError: Queue objects should only be shared between processes through inheritance.

下面的實例演示了進程池中的進程如何通信：