GPU虛擬化

一殷蛇、GPU概述

GPU的英文名稱為Graphic Processing Unit倔监，GPU中文全稱為計(jì)算機(jī)圖形處理器批旺，由1999 年NVIDIA

公司提出销睁。GPU這一概念也是相對(duì)于計(jì)算機(jī)系統(tǒng)中的CPU而言的供璧，由于人們對(duì)圖形的需求越來(lái)越大，尤其是在家用系統(tǒng)和游戲發(fā)燒友冻记，而傳統(tǒng)的CPU不能滿足現(xiàn)狀睡毒，因此需要提供一個(gè)專門處理圖形的核心處理器。GPU

作為硬件顯卡的“心臟”冗栗，地位等同于CPU在計(jì)算機(jī)系統(tǒng)中的作用演顾。同時(shí)GPU也可以用來(lái)作為區(qū)分2D硬件顯卡和3D硬件顯卡的重要依據(jù)。2D硬件顯卡主要通過使用CPU

來(lái)處理特性和3D 圖像贞瞒，將其稱作“軟加速”偶房。3D 硬件顯卡則是把特性和3D

圖像的處理能力集中到硬件顯卡中，也就是“硬件加速”军浆。目前市場(chǎng)上流行的顯卡多半是由NVIDIA 及ATI這兩家公司生產(chǎn)的棕洋。

1.1、為什么需要專門出現(xiàn)GPU來(lái)處理圖形工作乒融，CPU為啥不可以掰盘？

GPU?是并行編程模型摄悯，和CPU的串行編程模型完全不同，導(dǎo)致很多CPU 上優(yōu)秀的算法都無(wú)法直接映射到GPU

上愧捕，并且GPU的結(jié)構(gòu)相當(dāng)于共享存儲(chǔ)式多處理結(jié)構(gòu)奢驯，因此在GPU上設(shè)計(jì)的并行程序與CPU

上的串行程序具有很大的差異。GPU主要采用立方環(huán)境的材質(zhì)貼圖次绘、硬體T&L瘪阁、頂點(diǎn)混合、凹凸的映射貼圖和紋理壓縮邮偎、雙重紋理四像素256

位的渲染引擎等重要技術(shù)管跺。由于圖形渲染任務(wù)具有高度的并行性，因此GPU可以僅僅通過增加并行處理單元和存儲(chǔ)器控制單元便可有效的提高處理能力和存儲(chǔ)器帶寬禾进。GPU設(shè)計(jì)目的和CPU截然不同豁跑，CPU是設(shè)計(jì)用來(lái)處理通用任務(wù)，因此具有復(fù)雜的控制單元泻云，而GPU主要用來(lái)處理計(jì)算性強(qiáng)而邏輯性不強(qiáng)的計(jì)算任務(wù)艇拍，GPU中可利用的處理單元可以更多的作為執(zhí)行單元。因此宠纯，相較于CPU卸夕，GPU在具備大量重復(fù)數(shù)據(jù)集運(yùn)算和頻繁內(nèi)存訪問等特點(diǎn)的應(yīng)用場(chǎng)景中具有無(wú)可比擬的優(yōu)勢(shì)。

1.2征椒、GPU如何使用娇哆？

使用GPU有兩種方式，一種是開發(fā)的應(yīng)用程序通過通用的圖形庫(kù)接口調(diào)用GPU設(shè)備勃救，另一種是GPU自身提供API編程接口，應(yīng)用程序通過GPU提供的API編程接口直接調(diào)用GPU設(shè)備治力。

1.2.1蒙秒、通用圖形庫(kù)

? 通過通用的圖形庫(kù)的方式使用GPU，都是通過 OpenGL 或Direct3D這一類現(xiàn)有的圖形函數(shù)庫(kù)宵统，以編寫渲染語(yǔ)言(shading language)的方法控制 GPU 內(nèi)部的渲染器(shader)來(lái)完成需要的計(jì)算晕讲。

目前業(yè)界公認(rèn)的圖形編程接口主要有OpenGL和DirectX這兩種接口。OpenGL是當(dāng)前可用于開發(fā)可交互马澈、可移植的2D與3D圖形應(yīng)用程序的首選環(huán)境瓢省，也是當(dāng)前圖形應(yīng)用最廣泛的標(biāo)準(zhǔn)。OpenGL是SGI公司開發(fā)的計(jì)算機(jī)圖形處理系統(tǒng)痊班，是圖形硬件的軟件接口勤婚，GL為圖形庫(kù)(Graphics

Library)，OpenGL應(yīng)用程序不需要關(guān)注所在運(yùn)行環(huán)境所處的操作系統(tǒng)與平臺(tái)涤伐。只要在任何一個(gè)遵循OpenGL標(biāo)準(zhǔn)的環(huán)境下都會(huì)產(chǎn)生一樣的可視化效果馒胆。與OpenGL

類似缨称，DirectX(DirecteXtension)也是一種圖形API。它是由Microsoft創(chuàng)建的多媒體編程接口祝迂，并已經(jīng)成為微軟視窗的標(biāo)準(zhǔn)睦尽。為適應(yīng)GPU應(yīng)用的需求,DirectX則根據(jù)GPU新產(chǎn)品功能的擴(kuò)充與進(jìn)展及時(shí)地定義新的版本，它所提供的功能幾乎與GPU提供的功能同步型雳。

1.2.2当凡、GPU自身編程接口

GPU自身提供的編程接口主要由提供GPU設(shè)備的兩家公司提供，分別是括NVIDIA 的CUDA

框架和AMD(ATI)公司于2006年提出了CTM(Close

ToMetal)框架（備注纠俭，最初是ATI公司生產(chǎn)GPU設(shè)備沿量，后被AMD收購(gòu)）。AMD的CTM框架現(xiàn)在已不在使用柑晒，主要是AMD(ATI)于2007

年推出了ATI Stream SDK架構(gòu)欧瘪，2008

年AMD(ATI)完全轉(zhuǎn)向了公開的OpenCL標(biāo)準(zhǔn)，因此AMD(ATI)公司目前已沒有獨(dú)立的匙赞、私有的通用計(jì)算框架佛掖。

CUDA(ComputeUnified Device Architecture)是在2007 年6

月由NVIDIA公司發(fā)布的專用通用計(jì)算框架。使用CUDA進(jìn)行通用計(jì)算編程不再需要借助圖形學(xué)API涌庭，而是使用與C語(yǔ)言十分類似的方式進(jìn)行開發(fā)芥被。在CUDA編程模型中，有一個(gè)被稱為主機(jī)(Host)的CPU

和若干個(gè)被稱作設(shè)備(Device)或者協(xié)處理器(Co-Processor)的GPU坐榆。在該模型中拴魄，CPU 和GPU

協(xié)同工作，各司其職席镀。CPU負(fù)責(zé)進(jìn)行邏輯性較強(qiáng)的事務(wù)處理和串行計(jì)算匹中，而GPU

則專注于執(zhí)行線程化的并行處理任務(wù)。CPU豪诲、GPU各自擁有相互獨(dú)立的存儲(chǔ)器地址空間主機(jī)端的內(nèi)存和設(shè)備端的顯存顶捷。一般采用CUDA框架自己進(jìn)行編程的都一些大型的應(yīng)用程序，比如石油勘測(cè)屎篱、流體力學(xué)模擬服赎、分子動(dòng)力學(xué)仿真、生物計(jì)算交播、音視頻編解碼重虑、天文計(jì)算等領(lǐng)域。而我們一般企業(yè)級(jí)的應(yīng)用程序由于開發(fā)成本以及兼容性等原因秦士，大多數(shù)都是采用通用的圖形庫(kù)來(lái)進(jìn)行開發(fā)調(diào)用GPU設(shè)備缺厉。

1.3、GPU如何工作？

GPU?對(duì)于通用計(jì)算和圖形處理的內(nèi)部組件主要有兩部分:頂點(diǎn)處理器(vertex processor)和子素處理器(fragment

processor)芽死。這種處理器具備流處理機(jī)的模式乏梁，即不具有大容量的快存/存儲(chǔ)器可以讀寫,只是直接在芯片上利用臨時(shí)寄存器進(jìn)行流數(shù)據(jù)的操作。

當(dāng)GPU 用于圖形處理時(shí)关贵，此時(shí)GPU 內(nèi)部的頂點(diǎn)渲染遇骑、像素渲染以及幾何渲染操作都可以通過流處理器完成。從圖中可以看出揖曾，此時(shí)GPU

內(nèi)部的所有流處理器相當(dāng)于一個(gè)多核的處理器落萎，數(shù)據(jù)可以很方便的在不同的流處理器之間的輸入和輸出之間移動(dòng)，同時(shí)GPU分派器和控制邏輯可以動(dòng)態(tài)的指派流處理器進(jìn)行相應(yīng)的頂點(diǎn)炭剪，像素练链，幾何等操作，因?yàn)榱魈幚砥鞫际峭ㄓ玫摹?/p>

二奴拦、GPU虛擬化

開始我們的正題媒鼓，目前虛擬機(jī)系統(tǒng)中的圖形處理方式有三種：一種是采用虛擬顯卡的方式，另一種是直接采用物理顯卡错妖，最后是采用GPU虛擬化绿鸣。

2.1、虛擬顯卡

第一種采用虛擬顯卡是現(xiàn)在主流的虛擬化系統(tǒng)的選擇暂氯，因?yàn)閷I(yè)的顯卡硬件價(jià)格不菲潮模。目前采用虛擬顯卡的這些技術(shù)包括：虛擬網(wǎng)絡(luò)計(jì)算機(jī)VNC(Virtual

Network Computing)，Xen 虛擬幀緩存痴施，VMware虛擬圖形顯示處理器GPU(Graphics Processing

Unit)以及獨(dú)立于虛擬機(jī)管理器的圖形加速系統(tǒng)VMGL(VMM-Independent Graphics Acceleration)擎厢。

VNC(VirtualNetwork

Computing)基本上是屬于一種顯示系統(tǒng),也就是說它能將完整的窗口界面通過網(wǎng)絡(luò)，傳輸?shù)搅硪慌_(tái)計(jì)算機(jī)的屏幕上辣吃。Windows

服務(wù)器中包含的"Terminal Server"即是屬于這種原理的設(shè)計(jì)动遭。VNC 是由AT&T

實(shí)驗(yàn)室所開發(fā)的，其采用GPL(General PublicLicense)授權(quán)條款神得，任何人都可免費(fèi)取得該軟件沽损。VNC軟件要由兩個(gè)部分組成：VNC

server 及VNC viewer。用戶需先將VNC server安裝在被遠(yuǎn)程操控的計(jì)算機(jī)上后循头，才能在主控端執(zhí)行VNC viewer

進(jìn)行遠(yuǎn)程操控。

XEN虛擬幀緩存是指XEN提供的一個(gè)虛擬的顯示設(shè)備炎疆。該虛擬顯示設(shè)備采用特權(quán)域的VNC服務(wù)器卡骂，因此該虛擬顯示設(shè)備具有相似的VNC接口⌒稳耄客戶機(jī)在XEN虛擬幀緩存中寫入數(shù)據(jù)全跨，然后通過VNC

協(xié)議來(lái)傳輸已修改的圖片，最后通知前端進(jìn)行相應(yīng)區(qū)域的更新亿遂。這個(gè)虛擬幀緩存設(shè)備的源碼是來(lái)自開源的Qemu浓若。我們?cè)赬enServer上看見虛擬機(jī)的操作系統(tǒng)桌面界面渺杉，即是這種技術(shù)的顯示。

虛擬網(wǎng)絡(luò)計(jì)算機(jī)VNC 和XEN

虛擬幀緩存這兩種模式至今在虛擬機(jī)中仍未提供一定的硬件圖形加速能力挪钓。由于目前仍沒有一個(gè)機(jī)制能使虛擬機(jī)進(jìn)行訪問圖形硬件的能力是越，因此這些虛擬的顯示設(shè)備都是通過使用CPU以及內(nèi)存的方式對(duì)圖形數(shù)據(jù)進(jìn)行相應(yīng)處理。并沒有采用物理顯示設(shè)備的功能碌上。然而VMGL這種模式已經(jīng)實(shí)現(xiàn)了這種機(jī)制倚评，這個(gè)機(jī)制通常被稱為前端-后端虛擬化機(jī)制(front-end

virtualization)。VMGL這種模式采用這個(gè)機(jī)制將需要圖形處理的數(shù)據(jù)發(fā)送到一個(gè)擁有硬件圖形加速功能的虛擬監(jiān)控機(jī)上進(jìn)行相應(yīng)的圖形數(shù)據(jù)處理馏予。目前存在的比較主流可用于GPU應(yīng)用程序開發(fā)的圖形處理接口有兩類：OpenGL

和Direct3D天梧。在這兩類圖形處理接口中，OpenGL是唯一一類能夠在主流操作系統(tǒng)中跨平臺(tái)操作的圖形API接口霞丧。在虛擬機(jī)平臺(tái)中呢岗，VMGL是首個(gè)針對(duì)OpenGL

API進(jìn)行虛擬化的項(xiàng)目。VMGL的工作原理是蛹尝，它在客戶端操作系統(tǒng)中部署了一個(gè)偽庫(kù)(Fake library)用來(lái)取代標(biāo)準(zhǔn)的OPENGL

庫(kù)后豫，偽庫(kù)(Fake

library)擁有與標(biāo)準(zhǔn)的OPENG庫(kù)相同的接口，在客戶端操作系統(tǒng)中的偽庫(kù)也實(shí)現(xiàn)了指向遠(yuǎn)程服務(wù)器的宿主機(jī)操作系統(tǒng)的遠(yuǎn)程調(diào)用箩言。這樣一來(lái)硬贯，所有的本地OPENGL調(diào)用都將被解釋為對(duì)遠(yuǎn)程服務(wù)器的一次服務(wù)請(qǐng)求，遠(yuǎn)程服務(wù)器的宿主機(jī)操作系統(tǒng)擁有真正的OPENGL庫(kù)陨收、顯卡驅(qū)動(dòng)和物理硬件GPU饭豹，它負(fù)責(zé)完成OPENGL請(qǐng)求并將執(zhí)行結(jié)果顯示到屏幕上。由于VMGL在整個(gè)過程操作中都是完全透明的务漩，因此調(diào)用OPENGL的應(yīng)用程序不需要修改源代碼也不需要進(jìn)行二進(jìn)制改寫拄衰，無(wú)需為虛擬機(jī)平臺(tái)作任何改動(dòng)。

2.2饵骨、顯卡直通

顯卡直通也叫做顯卡穿透(pass-through)翘悉，是指繞過虛擬機(jī)管理系統(tǒng)，將GPU

單獨(dú)分配給某一虛擬機(jī)居触，只有該虛擬機(jī)擁有使用GPU的權(quán)限妖混，這種獨(dú)占設(shè)備的方法分配方式保存了GPU的完整性和獨(dú)立性，在性能方面與非虛擬化條件下接近轮洋，且可以用來(lái)進(jìn)行通用計(jì)算制市。但是顯卡直通需要利用顯卡的一些特殊細(xì)節(jié)，同時(shí)兼容性差弊予，僅在部分GPU

中設(shè)備可以使用祥楣。Xen 4.0增加了VGA

passthrough技術(shù)，因此XenServer也擁有了該技術(shù)，XenServer的Passthrough

就是利用英特爾設(shè)備虛擬化（Intel

VT-d）技術(shù)將顯示設(shè)備暴露給某一個(gè)客戶虛擬機(jī)误褪，不僅其它客戶虛擬機(jī)不能訪問责鳍，就連宿主虛擬機(jī)也失去了使用該GPU的能力。它在客戶虛擬機(jī)中實(shí)現(xiàn)了顯卡的一些特殊細(xì)節(jié)兽间，如VGA

BIOS历葛、文本模式、IO 端口渡八、內(nèi)存映射啃洋、VESA模式等，以支持直接訪問屎鳍。使用XenServer的 VGA Passthrough

技術(shù)的GPU執(zhí)行效率高宏娄，功能全，但只能被單一系統(tǒng)獨(dú)占使用逮壁，失去了設(shè)備復(fù)用的功能孵坚。VMwareESX 中包括一個(gè)VMDirectPath

I/O框架，使用該技術(shù)也可以將我們的顯卡設(shè)備直通給某一虛擬機(jī)進(jìn)行使用窥淆。XenServer和VMware使用的是不同的技術(shù)但是實(shí)現(xiàn)的效果都是一樣的卖宠，即將物理顯卡設(shè)備直通給其中的某一虛擬機(jī)使用，以達(dá)到虛擬機(jī)進(jìn)行3D顯示和渲染的效果忧饭。

由于顯卡直通實(shí)際上是由客戶操作系統(tǒng)使用原生驅(qū)動(dòng)和硬件扛伍，缺少必要的中間層來(lái)跟蹤和維護(hù)GPU

狀態(tài)，它不支持實(shí)時(shí)遷移等虛擬機(jī)高級(jí)特性词裤。如XenServer Passthrough禁止執(zhí)行save/restore/migration

等操作刺洒。VMware的虛擬機(jī)中，一旦開啟VMDirectPath I/O功能吼砂，其對(duì)應(yīng)的虛擬機(jī)將失去執(zhí)行掛起/恢復(fù)逆航、實(shí)時(shí)遷移的能力。

2.3渔肩、顯卡虛擬化（GPU虛擬化）

顯卡虛擬化就是將顯卡進(jìn)行切片因俐，并將這些顯卡時(shí)間片分配給虛擬機(jī)使用的過程。由于支持顯卡虛擬化的顯卡一般可以根據(jù)需要切分成不同的規(guī)格的時(shí)間片周偎，因此可以分配給多臺(tái)虛擬機(jī)使用抹剩。其實(shí)現(xiàn)原理其實(shí)就是利用應(yīng)用層接口虛擬化(API

remoting)，API重定向是指在應(yīng)用層進(jìn)行攔截與GPU相關(guān)的應(yīng)用程序編程接口(Application

ProgrammingInterface蓉坎，API)吧兔，通過重定向（仍然使用GPU）的方式完成相應(yīng)功能，再將執(zhí)行結(jié)果返回應(yīng)用程序袍嬉。

我們現(xiàn)在使用3D桌面虛擬化解決方案中，大部分是使用NVIDIA公司提供的顯卡虛擬化技術(shù)，即是vCUDA(virtual

CUDA)技術(shù)伺通，前面我們說過了CUDA框架箍土。vCUDA采用在用戶層攔截和重定向CUDA

API的方法，在虛擬機(jī)中建立物理GPU的邏輯映像――虛擬GPU罐监，實(shí)現(xiàn)GPU資源的細(xì)粒度劃分吴藻、重組和再利用，支持多機(jī)并發(fā)弓柱、掛起恢復(fù)等虛擬機(jī)高級(jí)特性沟堡。

其vCUDA的實(shí)現(xiàn)原理大概如下：包括三個(gè)模塊：CUDA客戶端、CUDA服務(wù)端和CUDA管理端矢空。以XenServer為例航罗，在物理硬件資源上運(yùn)行著一個(gè)VMM用于向上提供硬件映像碘箍，在VMM上運(yùn)行著若干個(gè)虛擬機(jī)锦募。其中一個(gè)虛擬機(jī)為特權(quán)虛擬機(jī)(Host

VM)，即為XenServer中的Domain 0坪仇，在虛擬機(jī)中運(yùn)行的操作系統(tǒng)稱為Host OS酿箭。Host

OS能夠直接控制硬件复亏，系統(tǒng)內(nèi)安裝著原生的CUDA庫(kù)以及GPU驅(qū)動(dòng)，使得Host

OS可以直接訪問GPU和使用CUDA缭嫡。其它的虛擬機(jī)屬于非特權(quán)虛擬機(jī)(Guest VM)缔御，其上運(yùn)行的操作系統(tǒng)(Guest

OS)不能直接操縱GPU。在這里我們將CUDA客戶端稱之為客戶端驅(qū)動(dòng)妇蛀，CUDA服務(wù)端稱之為宿主機(jī)的驅(qū)動(dòng)耕突，CUDA管理端稱之為GPU管理器。

2.3.1讥耗、客戶端

客戶端驅(qū)動(dòng)其實(shí)質(zhì)就是我們安裝在虛擬機(jī)比如Windows 7上的顯卡驅(qū)動(dòng)程序有勾。主要的功能是在用戶層提供針對(duì)CUDA API的庫(kù)以及一個(gè)維護(hù)CUDA相關(guān)軟硬件狀態(tài)的虛擬GPU(vGPU)」懦蹋客戶端驅(qū)動(dòng)直接面向CUDA應(yīng)用程序蔼卡，其作用包括：

? 1)攔截應(yīng)用程序中CUDA API調(diào)用；

? 2)選擇通信策略挣磨，為虛擬化提供更高層語(yǔ)義的支持雇逞；

? 3)對(duì)調(diào)用的接口和參數(shù)進(jìn)行封裝、編碼茁裙；

? 4)對(duì)服務(wù)端返回的數(shù)據(jù)進(jìn)行解碼塘砸，并返回給應(yīng)用。

此外晤锥，客戶端驅(qū)動(dòng)在第一個(gè)API調(diào)用到來(lái)之前掉蔬，首先到管理端索取GPU資源廊宪。每一個(gè)獨(dú)立的調(diào)用過程都必須到宿主管理端驅(qū)動(dòng)申請(qǐng)資源，以實(shí)現(xiàn)對(duì)GPU資源和任務(wù)的實(shí)時(shí)調(diào)度女轿。

此外箭启，客戶端驅(qū)動(dòng)同時(shí)設(shè)置了vGPU用來(lái)維護(hù)與顯卡相關(guān)的軟硬件狀態(tài)。vGPU本身實(shí)質(zhì)上僅僅是一個(gè)鍵值對(duì)的數(shù)據(jù)結(jié)構(gòu)蛉迹，在其中存儲(chǔ)了當(dāng)前使用的地址空間傅寡、顯存對(duì)象、內(nèi)存對(duì)象等北救，同時(shí)記錄了API的調(diào)用次序荐操。當(dāng)計(jì)算結(jié)果返回時(shí)，客戶端驅(qū)動(dòng)會(huì)根據(jù)結(jié)果更新vGPU珍策。

2.3.2托启、服務(wù)器端

服務(wù)端組件位于特權(quán)虛擬機(jī)(XenServer術(shù)語(yǔ)：特權(quán)域)中的應(yīng)用層。特權(quán)虛擬機(jī)可以直接與硬件交互膛壹，因此服務(wù)端組件可以直接操縱物理GPU來(lái)完成通用計(jì)算任務(wù)驾中。

服務(wù)端面向真實(shí)GPU，其作用包括：

? 1)接收客戶端的數(shù)據(jù)報(bào)模聋，并解析出調(diào)用和參數(shù)肩民；

? 2)對(duì)調(diào)用和參數(shù)進(jìn)行審核；

? 3)利用CUDA和物理GPU計(jì)算審核通過的調(diào)用链方；

? 4)將結(jié)果編碼持痰，并返回給客戶端；

? 5)對(duì)計(jì)算系統(tǒng)中支持CUDA的GPU進(jìn)行管理祟蚀。

此外工窍，服務(wù)端運(yùn)行的第一個(gè)任務(wù)是將自身支持CUDA的GPU設(shè)備的信息注冊(cè)到管理端中。服務(wù)端應(yīng)對(duì)客戶端的請(qǐng)求時(shí)前酿，為每個(gè)應(yīng)用分配獨(dú)立的服務(wù)線程患雏。服務(wù)端統(tǒng)一管理本地GPU資源，按照一定的策略提供GPU資源罢维，并將由于API調(diào)用修改的相關(guān)軟硬件狀態(tài)更新至vGPU淹仑。

2.3.3、管理端

管理端組件位于特權(quán)域肺孵，在實(shí)現(xiàn)CUDA編程接口虛擬化的基礎(chǔ)上匀借，將GPU強(qiáng)大的計(jì)算能力和計(jì)算資源在更高的邏輯層次上進(jìn)行隔離、劃分平窘、調(diào)度吓肋。在CUDA服務(wù)端使用計(jì)算線程和工作線程在一定程度上使同在一個(gè)物理機(jī)上的GPU間負(fù)載均衡，設(shè)置CUDA管理端組件在更高的邏輯層次上進(jìn)行負(fù)載均衡瑰艘，使在同一個(gè)GPU虛擬集群中的GPU負(fù)載均衡是鬼。管理端組件

調(diào)度的原則是盡量使在同一個(gè)物理機(jī)上的GPU需求自給肤舞，如果該物理機(jī)上具備滿足條件的GPU資源，在一般情況下屑咳，該物理機(jī)上的虛擬機(jī)的GPU需求都重定向到該物理機(jī)的CUDA服務(wù)端萨赁。

理端對(duì)GPU資源進(jìn)行統(tǒng)一管理，采用集中兆龙、靈活的機(jī)制，實(shí)現(xiàn)：

? 1)動(dòng)態(tài)調(diào)度：當(dāng)用戶所占資源空閑時(shí)間超過一定閾值或者任務(wù)結(jié)束時(shí)敲董，管理端回收該資源紫皇，當(dāng)該用戶再次發(fā)布計(jì)算任務(wù)時(shí)，重新為其任務(wù)分配GPU資源腋寨；

? 2)負(fù)載平衡：當(dāng)局部計(jì)算壓力過大時(shí)聪铺，調(diào)整計(jì)算負(fù)載，通過動(dòng)態(tài)調(diào)度時(shí)選擇合適的GPU資源來(lái)分散計(jì)算負(fù)載萄窜；

? 3)故障恢復(fù)：當(dāng)出現(xiàn)故障時(shí)铃剔，將任務(wù)轉(zhuǎn)移到新的可用GPU資源上。