1.4 關(guān)于PyTorch如何支持深度學(xué)習(xí)項(xiàng)目的概述
我們已經(jīng)提示了PyTorch中的一些構(gòu)建基塊译打。 現(xiàn)在摊册，我們花一些時(shí)間來(lái)正式確定構(gòu)成PyTorch的主要組件的高級(jí)地圖碍岔。 通過(guò)查看PyTorch的深度學(xué)習(xí)項(xiàng)目需要什么舔痪，我們可以做到最好司倚。
首先类早，PyTorch與Python一樣具有“ Py”媚媒，但其中包含許多非Python代碼。 實(shí)際上涩僻，出于性能原因缭召，大多數(shù)PyTorch都是用C ++和CUDA（www.geforce.com/hardware/technology/cuda）編寫(xiě)的，這是NVIDIA的一種類(lèi)似C ++的語(yǔ)言逆日，可以將其編譯為在GPU上具有大規(guī)模并行性嵌巷。 有很多方法可以直接從C ++運(yùn)行PyTorch，我們將在第15章中進(jìn)行介紹室抽。此功能的動(dòng)機(jī)之一是為在生產(chǎn)中部署模型提供可靠的策略搪哪。 但是，大多數(shù)時(shí)候坪圾，我們會(huì)與Python中的PyTorch進(jìn)行交互晓折，構(gòu)建模型，對(duì)其進(jìn)行訓(xùn)練兽泄，并使用經(jīng)過(guò)訓(xùn)練的模型來(lái)解決實(shí)際問(wèn)題漓概。
實(shí)際上，PyTorch在可用性和與更廣泛的Python生態(tài)系統(tǒng)的集成方面是Python API的亮點(diǎn)已日。 讓我們來(lái)看看PyTorch是什么的內(nèi)在模型垛耳。
正如我們已經(jīng)談到的，PyTorch的核心是一個(gè)提供多維數(shù)組或張量的庫(kù)（以PyTorch的說(shuō)法）（我們將在第3章中詳細(xì)介紹），以及由其提供的廣泛的操作庫(kù)堂鲜。 張量和它們上的操作都可以在CPU或GPU上使用栈雳。 在PyTorch中從CPU到GPU的移動(dòng)計(jì)算只需要一兩個(gè)額外的函數(shù)調(diào)用即可。 PyTorch提供的第二個(gè)核心功能是張量能夠跟蹤對(duì)它們執(zhí)行的操作缔莲，并能夠相對(duì)于其任何輸入來(lái)分析計(jì)算輸出的導(dǎo)數(shù)哥纫。 這是用于數(shù)值優(yōu)化的，它是由張量通過(guò)在引擎蓋下通過(guò)PyTorch的autograd引擎進(jìn)行調(diào)度而提供的痴奏。
通過(guò)擁有張量和啟用了autograd的張量標(biāo)準(zhǔn)庫(kù)蛀骇，PyTorch可以用于物理，渲染读拆，優(yōu)化擅憔，模擬，建模等檐晕，我們很可能會(huì)看到PyTorch在整個(gè)科學(xué)應(yīng)用領(lǐng)域以創(chuàng)新的方式使用暑诸。 但是PyTorch首先是深度學(xué)習(xí)庫(kù)，因此它提供了構(gòu)建和訓(xùn)練神經(jīng)網(wǎng)絡(luò)所需的所有構(gòu)造塊辟灰。 圖1.2顯示了一個(gè)標(biāo)準(zhǔn)設(shè)置个榕，該標(biāo)準(zhǔn)設(shè)置可加載數(shù)據(jù)，訓(xùn)練模型芥喇，然后將該模型部署到生產(chǎn)環(huán)境西采。
用于構(gòu)建神經(jīng)網(wǎng)絡(luò)的核心PyTorch模塊位于￥torch.nn中，該模塊提供了常見(jiàn)的神經(jīng)網(wǎng)絡(luò)層和其他體系結(jié)構(gòu)組件继控。完全連接的層械馆，卷積層，激活函數(shù)和損失函數(shù)都可以在此處找到（在本書(shū)的其余部分中湿诊，我們將詳細(xì)介紹所有含義）狱杰。 這些組件可用于構(gòu)建和初始化我們?cè)趫D1.2中心看到的未經(jīng)訓(xùn)練的模型。 為了訓(xùn)練我們的模型厅须，我們需要一些額外的東西：訓(xùn)練數(shù)據(jù)源仿畸，用于使模型適應(yīng)訓(xùn)練數(shù)據(jù)的優(yōu)化器，以及將模型和數(shù)據(jù)獲取到將實(shí)際執(zhí)行訓(xùn)練模型所需的計(jì)算的硬件的方法朗和。
在圖1.2的左側(cè)错沽，我們看到在訓(xùn)練數(shù)據(jù)甚至到達(dá)我們的模型之前，需要進(jìn)行大量數(shù)據(jù)處理眶拉。 首先千埃，我們需要從物理上獲取數(shù)據(jù)，通常是從某種形式的存儲(chǔ)中獲取數(shù)據(jù)忆植。 然后放可，我們需要將數(shù)據(jù)中的每個(gè)樣本轉(zhuǎn)換為PyTorch可以實(shí)際處理的東西：張量谒臼。 我們的自定義數(shù)據(jù)（可能采用任何格式）與標(biāo)準(zhǔn)化PyTorch張量之間的橋梁是PyTorch在torch.utils.data中提供的Dataset類(lèi)。 由于每個(gè)問(wèn)題的處理過(guò)程都截然不同耀里，因此我們將不得不自行實(shí)施此數(shù)據(jù)收集蜈缤。 在第4章中，我們將詳細(xì)研究如何表示我們可能希望作為張量使用的各種類(lèi)型的數(shù)據(jù)冯挎。
由于數(shù)據(jù)存儲(chǔ)通常很慢底哥，尤其是由于訪問(wèn)延遲，因此我們希望并行化數(shù)據(jù)加載房官。 但是趾徽，由于Python廣受青睞的許多事物不包括簡(jiǎn)單，高效翰守，并行處理孵奶，因此我們將需要多個(gè)過(guò)程來(lái)加載數(shù)據(jù)，以便將它們組裝成批處理：包含多個(gè)樣本的張量潦俺。 這是相當(dāng)詳盡的拒课； 但由于PyTorch也相對(duì)通用徐勃，因此可以輕松地在DataLoader類(lèi)中提供所有這些操作事示。 它的實(shí)例可以生成子進(jìn)程以從后臺(tái)的數(shù)據(jù)集中加載數(shù)據(jù)，以便其準(zhǔn)備就緒僻肖，并在循環(huán)可以使用后立即等待訓(xùn)練循環(huán)肖爵。 我們將在第7章中接觸并使用Dataset和DataLoader。
有了批量獲取樣本的機(jī)制臀脏，我們可以轉(zhuǎn)到圖1.2中心的訓(xùn)練循環(huán)本身劝堪。 通常，訓(xùn)練循環(huán)是作為標(biāo)準(zhǔn)Python for循環(huán)實(shí)現(xiàn)的揉稚。 在最簡(jiǎn)單的情況下秒啦，模型可以在本地CPU或單個(gè)GPU上運(yùn)行所需的計(jì)算，并且一旦訓(xùn)練循環(huán)獲得了數(shù)據(jù)搀玖，就可以立即開(kāi)始計(jì)算余境。 這也將是您的基本設(shè)置，這也是我們?cè)诒緯?shū)中假設(shè)的設(shè)置灌诅。
在訓(xùn)練循環(huán)的每個(gè)步驟中芳来，我們都會(huì)根據(jù)從數(shù)據(jù)加載器獲得的樣本評(píng)估模型。 然后猜拾，我們使用一些準(zhǔn)則或損失函數(shù)將模型的輸出與所需的輸出（目標(biāo)）進(jìn)行比較即舌。 正如PyTorch提供用于構(gòu)建模型的組件一樣，它在我們的處理過(guò)程中也具有多種損失函數(shù)挎袜。 它們也提供在torch.nn中顽聂。 在將我們的實(shí)際輸出與具有損失函數(shù)的理想輸出進(jìn)行比較之后肥惭，我們需要稍微推動(dòng)模型以移動(dòng)其輸出以更好地接近目標(biāo)。 如前所述紊搪，這就是PyTorch autograd引擎出現(xiàn)的地方务豺。 但是我們還需要一個(gè)優(yōu)化程序來(lái)執(zhí)行更新，這就是PyTorch在torch.optim中提供給我們的嗦明。 我們將在第5章開(kāi)始研究具有損失函數(shù)和優(yōu)化器的訓(xùn)練循環(huán)笼沥，然后在第2部分開(kāi)始我們的大項(xiàng)目之前，在第6至8章中磨練我們的技能娶牌。
如圖1.2底部中央所示奔浅，使用復(fù)雜的硬件（例如多個(gè)GPU或多臺(tái)機(jī)器）來(lái)貢獻(xiàn)其資源來(lái)訓(xùn)練大型模型變得越來(lái)越普遍。 在這些情況下诗良，可以使用torch.nn.parallel.Distributed-DataParallel和torch.distributed子模塊來(lái)使用其他硬件汹桦。
訓(xùn)練循環(huán)可能是深度學(xué)習(xí)項(xiàng)目中最令人興奮但最耗時(shí)的部分。 最后鉴裹，我們將得到一個(gè)模型舞骆，該模型的參數(shù)已針對(duì)我們的任務(wù)進(jìn)行了優(yōu)化：該模型在圖中訓(xùn)練循環(huán)的右側(cè)進(jìn)行了描述。 擁有解決任務(wù)的模型很棒径荔，但是為了使它產(chǎn)生作用督禽，我們必須將其放在需要工作的地方。 如圖1.2右側(cè)所示总处，該過(guò)程的部署部分可能涉及將模型放在服務(wù)器上或?qū)⑵鋵?dǎo)出以將其加載到云引擎狈惫，如圖所示。 或者我們可能將其與更大的應(yīng)用程序集成鹦马，或在手機(jī)上運(yùn)行它胧谈。
部署練習(xí)的一個(gè)特定步驟可以是導(dǎo)出模型。 如前所述荸频，PyTorch默認(rèn)為立即執(zhí)行模型（動(dòng)態(tài)圖模式）菱肖。 每當(dāng)Python解釋器執(zhí)行涉及PyTorch的指令時(shí)，相應(yīng)的操作就會(huì)由基礎(chǔ)C ++或CUDA實(shí)現(xiàn)立即執(zhí)行旭从。 隨著更多的指令對(duì)張量進(jìn)行操作稳强，后端實(shí)現(xiàn)將執(zhí)行更多的操作。
PyTorch還提供了一種通過(guò)TorchScript提前編譯模型的方法遇绞。 使用TorchScript键袱，PyTorch可以將模型序列化為一組指令，這些指令可以獨(dú)立于Python（例如摹闽，從C ++程序或在移動(dòng)設(shè)備上）調(diào)用蹄咖。 我們可以將其視為具有特定于張量操作的有限指令集的虛擬機(jī)。 這使我們可以導(dǎo)出模型付鹿，將其導(dǎo)出為與PyTorch運(yùn)行時(shí)一起使用的TorchScript或稱(chēng)為ONNX的標(biāo)準(zhǔn)化格式澜汤。 這些功能是PyTorch生產(chǎn)部署功能的基礎(chǔ)蚜迅。 我們將在第15章中介紹。
