https://haokan.baidu.com/v?pd=wisenatural&vid=9064106905869811204
1、GPU（Graphics Processing Unit：圖形處理單元）：
起初專門設(shè)計用于處理圖形和圖像計算的硬件嫂伞。近年來孔厉，由于其強(qiáng)大的并行計算能力拯钻，也被廣泛用于科學(xué)、工程以及深度學(xué)習(xí)等非圖形計算任務(wù)撰豺。
2粪般、GPU驅(qū)動
GPU驅(qū)動是操作系統(tǒng)和GPU之間的軟件接口。它確保操作系統(tǒng)能夠識別并正確地使用GPU硬件污桦。GPU驅(qū)動程序還提供了必要的軟件支持亩歹，以使GPU能夠執(zhí)行圖形渲染和計算任務(wù)。
3凡橱、GPGPU（General-Purpose computing on Graphics Processing Units：通用GPU計算）
是一種基于GPU的計算理念小作，它利用GPU的并行處理能力來完成圖形處理之外的通用計算任務(wù)，包括科學(xué)計算稼钩、數(shù)據(jù)分析躲惰、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)变抽、計算金融以及其他需要大規(guī)模并行處理能力的問題础拨。
GPGPU改變了GPU僅用于圖形處理的傳統(tǒng)觀念，擴(kuò)展了其在科學(xué)和工業(yè)計算領(lǐng)域的應(yīng)用绍载。
4诡宗、CUDA（Compute Unified Device Architecture，統(tǒng)一計算設(shè)備架構(gòu)）：
CUDA是NVIDIA提出的一種計算架構(gòu)和編程模型（包括硬件的抽象击儡、內(nèi)存模型塔沃、并行算法的執(zhí)行模型等），是一套定義在nvidia GPU上進(jìn)行高效計算的理論基礎(chǔ)和方法阳谍，它允許開發(fā)者使用NVIDIA GPU進(jìn)行高性能計算（HPC）蛀柴，而不僅僅是GPU傳統(tǒng)的圖形渲染用途。
以下是CUDA的一些關(guān)鍵特點：
- 并行計算：CUDA利用GPU的大量核心來執(zhí)行并行計算任務(wù)矫夯，這可以顯著加快科學(xué)鸽疾、分析和人工智能等領(lǐng)域的計算速度。
- 編程模型：CUDA提供了一套編程接口训貌，使得開發(fā)者能夠編寫能夠在GPU上執(zhí)行的程序制肮。這包括CUDA C/C++、CUDA Fortran等語言擴(kuò)展递沪。
- 兼容性：支持多種操作系統(tǒng)豺鼻，包括Linux、Windows和macOS款慨，允許跨平臺開發(fā)儒飒。
- 工具和庫：CUDA Toolkit實現(xiàn)了CUDA架構(gòu)，它包含了編譯器檩奠、庫和調(diào)試工具桩了，幫助開發(fā)者開發(fā)和優(yōu)化CUDA程序附帽。
- 硬件支持：大多數(shù)現(xiàn)代NVIDIA GPU（包括面向消費者的GeForce系列和面向工作站的Tesla、Quadro和NVS系列）都支持CUDA圣猎。
5士葫、CUDA Toolkit：
實現(xiàn)CUDA架構(gòu)的工具集，它包含了實現(xiàn)CUDA架構(gòu)所需的編譯器送悔、庫和調(diào)試工具慢显。換句話說，CUDA Toolkit是讓開發(fā)者能夠編寫欠啤、編譯和優(yōu)化CUDA程序的實用工具荚藻。包括：
nvcc：CUDA編譯器，用于編譯CUDA代碼洁段。
cuBLAS应狱、cuFFT等：提供基本線性代數(shù)、快速傅里葉變換等數(shù)學(xué)庫祠丝。
NPP：NVIDIA Performance Primitives疾呻，一系列用于圖像和信號處理的函數(shù)庫。
cuDNN：CUDA Deep Neural Network library写半，專門針對深度學(xué)習(xí)應(yīng)用的GPU加速庫岸蜗。
CUDA Runtime：提供執(zhí)行CUDA程序所需的運行時環(huán)境。
CUDA Driver：提供了與CUDA硬件交互的API叠蝇。
6璃岳、CUDA和CUDA Toolkit的關(guān)系：
CUDA定義了在nvidia GPU上進(jìn)行高效計算的理論基礎(chǔ)和方法，而CUDA Toolkit提供了將這些理論應(yīng)用到實踐的必要工具悔捶，使得開發(fā)者能夠充分利用CUDA架構(gòu)的能力铃慷，開發(fā)高效的GPU加速應(yīng)用程序。兩者相結(jié)合蜕该，極大地推動了GPU在科學(xué)計算犁柜、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)等領(lǐng)域的應(yīng)用蛇损。
CUDA Toolkit的版本通常與它支持的CUDA架構(gòu)版本緊密相關(guān)赁温。例如，CUDA Toolkit 11.0支持CUDA 11.0架構(gòu)淤齐。
7、沒有CUDA toolkit能否使用NVIDIA GPU袜匿？
沒有CUDA Toolkit更啄，您仍然有可能使用NVIDIA GPU進(jìn)行某些類型的計算或圖形處理，但這通常局限于那些不需要CUDA特定功能的任務(wù)居灯。以下是一些情況說明：
- 圖形渲染：大多數(shù)NVIDIA GPU即使沒有安裝CUDA Toolkit祭务，也能夠處理圖形渲染任務(wù)内狗，因為這是GPU的傳統(tǒng)用途，并且通常由GPU驅(qū)動程序直接支持义锥。
- 通用GPU計算：對于非CUDA支持的通用GPU計算柳沙，您可能需要其他工具或語言支持，例如OpenCL拌倍，它是一種開放標(biāo)準(zhǔn)赂鲤，允許在包括NVIDIA GPU在內(nèi)的多種GPU和CPU上進(jìn)行并行編程，一定程度實現(xiàn)通用GPU計算柱恤，但遠(yuǎn)不如CUDA数初。
-
特定應(yīng)用程序：一些應(yīng)用程序可能自帶了必要的庫，允許它們直接與GPU交互而無需CUDA Toolkit梗顺。
然而泡孩，對于需要CUDA特定功能和優(yōu)勢的應(yīng)用程序，如深度學(xué)習(xí)寺谤、科學(xué)計算和某些類型的數(shù)據(jù)分析仑鸥，沒有CUDA Toolkit將無法充分利用NVIDIA GPU的并行計算能力。
此外变屁，即使沒有CUDA Toolkit眼俊，GPU的驅(qū)動程序通常也會提供一些基本的計算庫，支持一些基本的GPU加速功能敞贡。但是，這些庫通常不如CUDA Toolkit全面誊役，并且性能可能也不如專門為CUDA優(yōu)化的應(yīng)用程序获列。
8蛔垢、cuDNN（CUDA Deep Neural Network library）：
cuDNN是構(gòu)建在CUDA Toolkit之上的一個深度學(xué)習(xí)庫，它利用CUDA Toolkit中的庫和工具專門針對深度神經(jīng)網(wǎng)絡(luò)的GPU高效實現(xiàn)進(jìn)行了優(yōu)化鹏漆。它提供了一系列高度優(yōu)化的函數(shù)，如卷積層艺玲、池化層、歸一化和激活函數(shù)等饭聚，為深度學(xué)習(xí)框架和應(yīng)用程序開發(fā)提供了一個快速的執(zhí)行路徑忌警。
在使用cuDNN之前秒梳，必須先安裝CUDA Toolkit箕速，因為cuDNN需要CUDA Toolkit中的一些庫和組件才能正常工作。許多流行的深度學(xué)習(xí)框架朋譬，如TensorFlow盐茎、PyTorch和Caffe等，都集成了對cuDNN的支持徙赢，以利用其優(yōu)化的算法加速深度學(xué)習(xí)模型的計算.
