昇騰計算框架
華為從基礎(chǔ)硬件(昇騰系列NPU)出發(fā)衍生出一套和現(xiàn)有的人工智能體系不同的架構(gòu)
層級 | 現(xiàn)行架構(gòu)體系 |
---|---|
應(yīng)用 | 機(jī)器視覺,自然語言處理剔交,語音處理 |
框架 | Pytorch,Tensorflow,MXNet贾漏,Caffe,…… 等基于自動微分的主流深度學(xué)習(xí)框架 |
基礎(chǔ)軟件 | cuDNN(CUDA Deep Nerual Network library)基于CUDA的針對神經(jīng)網(wǎng)絡(luò)的加速庫 CUDA(Compute Unified Device Architecture)基于GPU的計算框架 |
硬件 | GPU(Graph Processing Unit)圖形處理器 |
昇騰硬件體系
對產(chǎn)品線的個人理解
200系 端用模塊
300系 板卡
500系 邊緣設(shè)備
800系 服務(wù)器
-
900系 服務(wù)器集群
昇騰產(chǎn)品線
昇騰基礎(chǔ)軟件
CANN(Compute Architecture for Neural Networks)
CANN是專為深度學(xué)習(xí)設(shè)計的異構(gòu)計算架構(gòu)
Driver 實現(xiàn)硬件和操作系統(tǒng)的適配和支持藕筋。
中間層提供基礎(chǔ)的服務(wù)纵散,Runtime提供內(nèi)存管理、算力分配和資源調(diào)動隐圾,內(nèi)置硬件數(shù)字視覺解碼器DVPP和高性能算子庫CANN Lib伍掀,HCCL提供板間以及框間的通信能力
圖引擎是架構(gòu)的核心模塊,實現(xiàn)了大計算圖的拆分暇藏、圖融合蜜笤,最大化芯片算力利用率。
統(tǒng)一編程接口AscendCL 可以實現(xiàn)高效率開發(fā)
MindSpore
面向全場景的AI計算框架昇思(MindSpore)致力于實現(xiàn)開發(fā)態(tài)友好盐碱、運(yùn)行態(tài)高效把兔、全場景按需協(xié)同三大目標(biāo)
MindSpore特性:
動靜態(tài)圖轉(zhuǎn)換,實現(xiàn)了對靜態(tài)圖和動態(tài)圖的支持瓮顽,可以幫助開發(fā)者提升網(wǎng)絡(luò)調(diào)試調(diào)優(yōu)效率县好,同時獲得訓(xùn)練性能的收益
自動并行,實現(xiàn)自動的數(shù)據(jù)并行和模型并行的混合并行訓(xùn)練暖混,用戶選擇一個性能較優(yōu)的并行切分策略實現(xiàn)大規(guī)模網(wǎng)絡(luò)的線性加速缕贡、自動擴(kuò)展
端邊云協(xié)同,針對“端拣播、邊晾咪、云”全場景提供了一致的開發(fā)和部署能力,以及按需協(xié)同能力
昇騰應(yīng)用
MindX Edge 智能邊緣組件
是一個原生支持邊云協(xié)同的中間件 Agent贮配,可實現(xiàn)快速將云端模型推送至邊緣端部署谍倦,同時將邊緣側(cè)未識別數(shù)據(jù)上傳至云端進(jìn)行增量訓(xùn)練
MindX DL 深度學(xué)習(xí)組件
是以提供參考架構(gòu)的方式供業(yè)界平臺伙伴快速開發(fā)商用版本的深度學(xué)習(xí)系統(tǒng)。MindX DL 通過以增強(qiáng)插件的方式部署在現(xiàn)有集群的控制節(jié)點以支持 NPU 資源的調(diào)度
ModelZoo 模型庫
提供各類訓(xùn)練好的圖像分類牧嫉、推薦排序剂跟、目標(biāo)檢索、自然語言等領(lǐng)域的模型
面向行業(yè)的SDK
是凝聚了行業(yè)知識酣藻,結(jié)合 AI 最佳實踐的軟件開發(fā)套件曹洽,解決訓(xùn)練、數(shù)據(jù)采集辽剧、數(shù)據(jù)預(yù)處理送淆、數(shù)據(jù)增強(qiáng),調(diào)參怕轿,以及各種推理驗證中的痛點