發(fā)簡信
IP屬地：青海
-
NPU上運(yùn)行onnxruntime
1 問題背景 在Ascend環(huán)境上澎怒，使用onnxruntime推理時家乘，報錯： 顯示的是cuda的組件找不到茁帽。由于是Ascend環(huán)境葱弟，肯定是沒有G...
-
MindIE推理采樣后處理參數(shù)temperature和top_k的引發(fā)的精度問題背景 MindIE跑Qwen系列模型推理，測試發(fā)現(xiàn)后處理參數(shù)top_k很大榛了，temperature=2的場景玉锌，模型輸出有精度問題。 現(xiàn)象 經(jīng)過進(jìn)...
-
Ascend+FastAPI+ Uvicorn 實(shí)現(xiàn)推理
1瓮顽、FastAPI & Uvicorn FastAPI FastAPI 是一個用于構(gòu)建 API 的現(xiàn)代县好、快速（高性能）的 Python Web ...
-
解決Ascend上vllm運(yùn)行時出現(xiàn)urllib3.exceptions.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED]背景 嘗試使用vllm模型，腳本代碼如下： 運(yùn)行過程中出現(xiàn)： 問題分析 問題就出現(xiàn)在通過python去下載文件暖混，然后SSL的安全校驗(yàn)出現(xiàn)了問題缕贡。...
-
AscendC編程中的double buffer是什么？執(zhí)行于AI Core上的指令隊(duì)列主要包括如下幾類拣播，即： Vector指令隊(duì)列（V） Matrix指令隊(duì)列（M） 存儲移動指令隊(duì)列（MTE2晾咪、MT...
-
AscendC從入門到精通系列（五）調(diào)用基于工程開發(fā)AscendC算子單算子API調(diào)用方式，是指直接調(diào)用單算子API接口贮配，基于C語言的API執(zhí)行算子谍倦。算子工程AscendC從入門到精通系列（三）基于自定義算子工程開...
-
AscendC從入門到精通系列（四）使用Pybind調(diào)用AscendC算子
如果已經(jīng)通過Ascend C編程語言實(shí)現(xiàn)了算子，那該如何通過pybind進(jìn)行調(diào)用呢泪勒？ 1 Pybind調(diào)用介紹 通過PyTorch框架進(jìn)行模型的...
-
AscendC從入門到精通系列（三）基于自定義算子工程開發(fā)AscendC算子
本次主要討論下AscendC另外一種開發(fā)流程昼蛀，基于自定義算子工程的算子開發(fā)。從算子工程創(chuàng)建酣藻、代碼編寫曹洽、編譯部署到運(yùn)行驗(yàn)證的開發(fā)全流程，讓您對算子...
-
AscendC從入門到精通系列（二）基于Kernel直調(diào)開發(fā)AscendC算子
本次主要討論下AscendC算子的開發(fā)流程辽剧，基于Kernel直調(diào)工程的算子開發(fā)送淆。 1 AscendC算子開發(fā)的基本流程 使用Ascend C完成...