1 問題背景 在Ascend環(huán)境上蚀之，使用onnxruntime推理時，報錯： 顯示的是cuda的組件找不到逐虚。由于是Ascend環(huán)境汰瘫，肯定是沒有GPU的，很明顯是onnxrun...
發(fā)簡信
IP屬地：福建
-
NPU上運行onnxruntime
-
MindIE推理采樣后處理參數(shù)temperature和top_k的引發(fā)的精度問題背景 MindIE跑Qwen系列模型推理，測試發(fā)現(xiàn)后處理參數(shù)top_k很大袍辞，temperature=2的場景，模型輸出有精度問題常摧。 現(xiàn)象 經(jīng)過進(jìn)一步復(fù)現(xiàn)和測試搅吁，發(fā)現(xiàn)如下現(xiàn)象。...
-
Ascend+FastAPI+ Uvicorn 實現(xiàn)推理
1、FastAPI & Uvicorn FastAPI FastAPI 是一個用于構(gòu)建 API 的現(xiàn)代似芝、快速（高性能）的 Python Web 框架那婉，專為在 Python 中...
-
解決Ascend上vllm運行時出現(xiàn)urllib3.exceptions.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED]背景 嘗試使用vllm模型，腳本代碼如下： 運行過程中出現(xiàn)： 問題分析 問題就出現(xiàn)在通過python去下載文件党瓮，然后SSL的安全校驗出現(xiàn)了問題详炬。臨時解決辦法是，可以規(guī)避該校驗...
-
AscendC編程中的double buffer是什么寞奸？執(zhí)行于AI Core上的指令隊列主要包括如下幾類呛谜，即： Vector指令隊列（V） Matrix指令隊列（M） 存儲移動指令隊列（MTE2、MTE3）枪萄。 不同指令隊列間的相互...
-
AscendC從入門到精通系列（五）調(diào)用基于工程開發(fā)AscendC算子單算子API調(diào)用方式隐岛，是指直接調(diào)用單算子API接口，基于C語言的API執(zhí)行算子瓷翻。算子工程AscendC從入門到精通系列（三）基于自定義算子工程開發(fā)AscendC算子[http...
-
AscendC從入門到精通系列（四）使用Pybind調(diào)用AscendC算子
如果已經(jīng)通過Ascend C編程語言實現(xiàn)了算子聚凹，那該如何通過pybind進(jìn)行調(diào)用呢？ 1 Pybind調(diào)用介紹 通過PyTorch框架進(jìn)行模型的訓(xùn)練齐帚、推理時妒牙，會調(diào)用很多算子進(jìn)...
-
AscendC從入門到精通系列（三）基于自定義算子工程開發(fā)AscendC算子
本次主要討論下AscendC另外一種開發(fā)流程，基于自定義算子工程的算子開發(fā)对妄。從算子工程創(chuàng)建湘今、代碼編寫、編譯部署到運行驗證的開發(fā)全流程剪菱，讓您對算子開發(fā)工程有個宏觀的認(rèn)識摩瞎，此處我...
-
AscendC從入門到精通系列（二）基于Kernel直調(diào)開發(fā)AscendC算子
本次主要討論下AscendC算子的開發(fā)流程，基于Kernel直調(diào)工程的算子開發(fā)孝常。 1 AscendC算子開發(fā)的基本流程 使用Ascend C完成Add算子核函數(shù)開發(fā)旗们；使用IC...
-
AscendC從入門到精通系列（一）初步感知AscendC1 什么是AscendC Ascend C是CANN針對算子開發(fā)場景推出的編程語言，原生支持C和C++標(biāo)準(zhǔn)規(guī)范构灸，兼具開發(fā)效率和運行性能蚪拦。基于Ascend C編寫的算子程序冻押，通...
-
如何在c++側(cè)編譯運行一個aclnn（AOL）算子驰贷？
1 AOL算子庫 CANN（Compute Architecture for Neural Networks）提供了算子加速庫（Ascend Operator Library...
-
Ascend推理組件MindIE LLMMindIE LLM是MindIE解決方案下的大語言模型推理組件，基于昇騰硬件提供業(yè)界通用大模型推理能力洛巢，同時提供多并發(fā)請求的調(diào)度功能括袒，支持Continuous Batchi...
-
ATB概念之：算子tiling
1 什么是算子tiling 在計算機(jī)科學(xué)和深度學(xué)習(xí)領(lǐng)域，算子 tiling（有時也被稱作操作符 tiling 或者循環(huán) tiling）是一種優(yōu)化技術(shù)稿茉，主要用于提高計算效率锹锰，尤...
-
如何使用Ascend的ATB加速庫芥炭？1 前言 Ascend Transformer Boost加速庫（下文簡稱為ATB加速庫）是一款高效、可靠的加速庫恃慧，基于華為Ascend AI處理器园蝠，專門為Transform...
-
ATB算子實現(xiàn)原理解讀1 前言 從前文ATB是什么？[https://blog.csdn.net/xyz3120/article/details/143628522?sharetype=blogd...
-
-
Ascend上的PageAttention
1 PageAttention引入的原因 PageAttention的引入主要是為了解決大型語言模型（LLM）在服務(wù)過程中遇到的內(nèi)存管理低效問題善延，具體原因如下： 內(nèi)存碎片化：...
-
SelfAttention在Ascend上的實現(xiàn)1 SelfAttention是什么？ Self-Attention（自注意力）機(jī)制是深度學(xué)習(xí)領(lǐng)域的一種重要技術(shù)城侧，尤其在自然語言處理（NLP）任務(wù)中得到廣泛應(yīng)用易遣。它是 Tra...
-
Ascend上的FlashAttention實現(xiàn)1 FlashAttention FlashAttention是一種優(yōu)化Transformer模型計算效率和內(nèi)存使用的技術(shù)。它通過減少存儲訪問開銷（Memory Access...
-
Ascend Extension for PyTorch的源碼解析
1 源碼下載 Ascend對pytorch代碼的適配嫌佑，可從以下鏈接中獲取豆茫。Ascend/pytorch[https://link.zhihu.com/?target=http...