Python是一門非常適合處理數(shù)據(jù)和自動化完成重復性工作的編程語言公般，我們在用數(shù)據(jù)訓練機器學習模型之前，通常都需要對數(shù)據(jù)進行預處理胡桨，而Python就非常適合完成這項工作官帘，比如需要重新調(diào)整幾十萬張圖像的尺寸，用Python沒問題昧谊！你幾乎總是能找到一款可以輕松完成數(shù)據(jù)處理工作的Python庫刽虹。
然而，雖然Python易于學習呢诬，使用方便涌哲，但它并非運行速度最快的語言。默認情況下馅巷，Python程序使用一個CPU以單個進程運行膛虫。不過如果你是在最近幾年配置的電腦，通常都是四核處理器钓猬，也就是有4個CPU稍刀。這就意味著在你苦苦等待Python腳本完成數(shù)據(jù)處理工作時，你的電腦其實有75%甚至更多的計算資源就在那閑著沒事干敞曹！
今天我（作者Adam Geitgey——譯者注）就教大家怎樣通過并行運行Python函數(shù)账月，充分利用你的電腦的全部處理能力。得益于Python的 concurrent.futures 模塊澳迫，我們只需3行代碼局齿，就能將一個普通數(shù)據(jù)處理腳本變?yōu)槟懿⑿刑幚頂?shù)據(jù)的腳本，提速4倍橄登。
普通Python處理數(shù)據(jù)方法
比方說抓歼，我們有一個全是圖像數(shù)據(jù)的文件夾讥此，想用Python為每張圖像創(chuàng)建縮略圖。
下面是一個短暫的腳本谣妻，用Python的內(nèi)置glob函數(shù)獲取文件夾中所有JPEG圖像的列表萄喳，然后用Pillow圖像處理庫為每張圖像保存大小為128像素的縮略圖：
import glob
import os
from PIL import Image
def make_image_thumbnail(filename):
縮略圖會被命名為"<original_filename>_thumbnail.jpg"
base_filename, file_extension = os.path.splitext(filename)
thumbnail_filename = f"{base_filename}_thumbnail{file_extension}"
創(chuàng)建和保存縮略圖
image = Image.open(filename)
image.thumbnail(size=(128, 128))
image.save(thumbnail_filename, "JPEG")
return thumbnail_filename
循環(huán)文件夾中所有JPEG圖像，為每張圖像創(chuàng)建縮略圖
for image_file in glob.glob("*.jpg"):
thumbnail_file = make_image_thumbnail(image_file)
print(f"A thumbnail for {image_file} was saved as {thumbnail_file}")
這段腳本沿用了一個簡單的模式蹋半，你會在數(shù)據(jù)處理腳本中經(jīng)常見到這種方法：
首先獲得你想處理的文件（或其它數(shù)據(jù)）的列表
寫一個輔助函數(shù)他巨，能夠處理上述文件的單個數(shù)據(jù)
使用for循環(huán)調(diào)用輔助函數(shù)，處理每一個單個數(shù)據(jù)减江，一次一個染突。
咱們用一個包含1000張JPEG圖像的文件夾測試一下這段腳本，看看運行完要花多長時間：
$ time python3 thumbnails_1.py
A thumbnail for 1430028941_4db9dedd10.jpg was saved as 1430028941_4db9dedd10_thumbnail.jpg
[... about 1000 more lines of output ...]
real 0m8.956s
user 0m7.086s
sys 0m0.743s
運行程序花了8.9秒辈灼，但是電腦的真實工作強度怎樣呢份企？
我們再運行一遍程序，看看程序運行時的活動監(jiān)視器情況：
電腦有75%的處理資源處于閑置狀態(tài)茵休！這是什么情況薪棒？
這個問題的原因就是我的電腦有4個CPU，但Python只使用了一個榕莺。所以程序只是卯足了勁用其中一個CPU，另外3個卻無所事事棵介。因此我需要一種方法能將工作量分成4個我能并行處理的單獨部分钉鸯。幸運的是，Python中有個方法很容易能讓我們做到邮辽！
試試創(chuàng)建多進程
下面是一種可以讓我們并行處理數(shù)據(jù)的方法：
1.將JPEG文件劃分為4小塊唠雕。 2.運行Python解釋器的4個單獨實例。 3.讓每個Python實例處理這4塊數(shù)據(jù)中的一塊吨述。 4.將這4部分的處理結(jié)果合并岩睁，獲得結(jié)果的最終列表。
4個Python拷貝程序在4個單獨的CPU上運行揣云，處理的工作量應該能比一個CPU大約高出4倍捕儒，對吧？
最妙的是邓夕，Python已經(jīng)替我們做完了最麻煩的那部分工作刘莹。我們只需告訴它想運行哪個函數(shù)以及使用多少實例就行了凛俱，剩下的工作它會完成谱俭。整個過程我們只需要改動3行代碼胆建。
首先倦淀，我們需要導入concurrent.futures庫擂送，這個庫就內(nèi)置在Python中：
import concurrent.futures
接著技羔，我們需要告訴Python啟動4個額外的Python實例瓮顽。我們通過讓Python創(chuàng)建一個Process Pool來完成這一步：
with concurrent.futures.ProcessPoolExecutor() as executor:
默認情況下霜大，它會為你電腦上的每個CPU創(chuàng)建一個Python進程，所以如果你有4個CPU捡絮，就會啟動4個Python進程熬芜。
最后一步是讓創(chuàng)建的Process Pool用這4個進程在數(shù)據(jù)列表上執(zhí)行我們的輔助函數(shù)。完成這一步锦援，我們要將已有的for循環(huán)：
for image_file in glob.glob("*.jpg"):thumbnail_file = make_image_thumbnail(image_file)
替換為新的調(diào)用executor.map():
image_files = glob.glob("*.jpg")for image_file, thumbnail_file in zip(image_files, executor.map(make_image_thumbnail, image_files)):
該executor.map()函數(shù)調(diào)用時需要輸入輔助函數(shù)和待處理的數(shù)據(jù)列表猛蔽。這個函數(shù)能幫我完成所有麻煩的工作，包括將列表分為多個子列表灵寺、將子列表發(fā)送到每個子進程曼库、運行子進程以及合并結(jié)果等。干得漂亮略板！
這也能為我們返回每個函數(shù)調(diào)用的結(jié)果毁枯。Executor.map()函數(shù)會按照和輸入數(shù)據(jù)相同的順序返回結(jié)果。所以我用了Python的zip()函數(shù)作為捷徑叮称，一步獲取原始文件名和每一步中的匹配結(jié)果种玛。
這里是經(jīng)過這三步改動后的程序代碼：
import glob
import os
from PIL import Image
import concurrent.futures
def make_image_thumbnail(filename):
縮略圖會被命名為 "<original_filename>_thumbnail.jpg"
base_filename, file_extension = os.path.splitext(filename)
thumbnail_filename = f"{base_filename}_thumbnail{file_extension}"
創(chuàng)建和保存縮略圖
image = Image.open(filename)
image.thumbnail(size=(128, 128))
image.save(thumbnail_filename, "JPEG")
return thumbnail_filename
創(chuàng)建Process Pool，默認為電腦的每個CPU創(chuàng)建一個
with concurrent.futures.ProcessPoolExecutor() as executor:
獲取需要處理的文件列表
image_files = glob.glob("*.jpg")
處理文件列表瓤檐，但通過Process Pool劃分工作赂韵，使用全部CPU！
for image_file, thumbnail_file in zip(image_files, executor.map(make_image_thumbnail, image_files)):
print(f"A thumbnail for {image_file} was saved as {thumbnail_file}")
我們來運行一下這段腳本挠蛉，看看它是否以更快的速度完成數(shù)據(jù)處理：
$ time python3 thumbnails_2.py
A thumbnail for 1430028941_4db9dedd10.jpg was saved as 1430028941_4db9dedd10_thumbnail.jpg
[... about 1000 more lines of output ...]
real 0m2.274s
user 0m8.959s
sys 0m0.951s
腳本在2.2秒就處理完了數(shù)據(jù)祭示！比原來的版本提速4倍！之所以能更快的處理數(shù)據(jù)谴古，是因為我們使用了4個CPU而不是1個质涛。
但是如果你仔細看看，會發(fā)現(xiàn)“用戶”時間幾乎為9秒掰担。那為何程序處理時間為2.2秒汇陆，但不知怎么搞得運行時間還是9秒？這似乎不太可能按ァ毡代？
這是因為“用戶”時間是所有CPU時間的總和，我們最終完成工作的CPU時間總和一樣纠炮，都是9秒月趟，但我們使用4個CPU完成的，實際處理數(shù)據(jù)時間只有2.2秒恢口！
注意：啟用更多Python進程以及給子進程分配數(shù)據(jù)都會占用時間孝宗，因此靠這個方法并不能保證總是能大幅提高速度。如果你要處理非常大的數(shù)據(jù)集耕肩，這里有篇設置將數(shù)據(jù)集切分成多少小塊的文章因妇，可以讀讀问潭，會對你幫助甚大.
僅用3行Python代碼即可讓數(shù)據(jù)腳本提升4倍的速度！
這種方法總能幫我的數(shù)據(jù)處理腳本提速嗎婚被？
如果你有一列數(shù)據(jù)狡忙，并且每個數(shù)據(jù)都能單獨處理時，使用我們這里所說的Process Pools是一個提速的好方法址芯。下面是一些適合使用并行處理的例子：
從一系列單獨的網(wǎng)頁服務器日志里抓取統(tǒng)計數(shù)據(jù)灾茁。
從一堆XML，CSV和JSON文件中解析數(shù)據(jù)谷炸。
對大量圖片數(shù)據(jù)做預處理北专，建立機器學習數(shù)據(jù)集。
但也要記住旬陡，Process Pools并不是萬能的拓颓。使用Process Pool需要在獨立的Python處理進程之間來回傳遞數(shù)據(jù)。如果你要處理的數(shù)據(jù)不能在處理過程中被有效地傳遞描孟，這種方法就行不通了驶睦。簡而言之，你處理的數(shù)據(jù)必須是Python知道怎么應對的類型匿醒。
同時场航，也無法按照一個預想的順序處理數(shù)據(jù)。如果你需要前一步的處理結(jié)果來進行下一步廉羔，這種方法也行不通旗闽。
那GIL的問題呢？
你可能知道Python有個叫全局解釋器鎖（Global Interpreter Lock）的東西蜜另，即GIL。這意味著即使你的程序是多線程的嫡意，每個線程也只能執(zhí)行一個Python指令举瑰。GIL確保任何時候都只有一個Python線程執(zhí)行。換句話說蔬螟，多線程的Python代碼并不能真正地并行運行此迅，從而無法充分利用多核CPU。
但是Process Pool能解決這個問題旧巾！因為我們是運行單獨的Python實例耸序，每個實例都有自己的GIL。這樣我們獲得是真正能并行處理的Python代碼鲁猩！
不要害怕并行處理坎怪！
有了concurrent.futures庫，Python就能讓你簡簡單單地修改一下腳本后廓握，立刻讓你電腦上所有CPU投入到工作中搅窿。不要害怕嘗試這種方法嘁酿，一旦你掌握了，它就跟一個for循環(huán)一樣簡單男应，卻能讓你的數(shù)據(jù)處理腳本快到飛起闹司。
