【2023 · CANN訓(xùn)練營(yíng)第一季】——Ascend C算子沙箱實(shí)驗(yàn)

前言:CANN 訓(xùn)練營(yíng)的Ascend?C算子課程墅拭,以在線(xiàn)課程的方式提供了一個(gè)沙箱實(shí)驗(yàn)環(huán)境。這將有助于幫助開(kāi)發(fā)者了解Ascend?C算子開(kāi)發(fā)的軟、硬件環(huán)境;熟悉自定義Ascend C算子的開(kāi)發(fā)流程和關(guān)鍵代碼艰额;同時(shí)也可以了解到自定義算子包的部署路徑及部署后的各類(lèi)文件。

在線(xiàn)試驗(yàn)地址:在線(xiàn)實(shí)驗(yàn)>基于昇騰CANN的Ascend C算子開(kāi)發(fā)

https://www.hiascend.com/zh/edu/experiment/operation/Tik_xl

配套課程地址:CANN訓(xùn)練營(yíng)2023年第一季_TIK C++算子開(kāi)發(fā)入門(mén)

https://www.hiascend.com/zh/developer/courses/detail/1627494761683783682

一椒涯、系統(tǒng)環(huán)境

1柄沮、硬件芯片:昇騰910A

2、CANN版本

3废岂、算子開(kāi)發(fā)包

二祖搓、算子實(shí)現(xiàn)分析

????沙箱實(shí)驗(yàn),實(shí)現(xiàn)的是動(dòng)態(tài)shape的add的Ascend?C算子湖苞。

一)配置環(huán)境

二)下載代碼包

樣例工程關(guān)鍵目錄和文件的用途如下所示:

三)代碼分析及補(bǔ)全

1拯欧、kernel側(cè)代碼

????????實(shí)現(xiàn)代碼在算子工程的/ai_core/op_kernel/add_tik2.cpp中。

?1)算子類(lèi)——init()

???2)算子類(lèi)——process()及3個(gè)基本任務(wù)CopyIn财骨,Compute哈扮,CopyOut

????????基于矢量編程范式,將核函數(shù)的實(shí)現(xiàn)分為3個(gè)基本任務(wù):CopyIn蚓再,Compute,CopyOut包各。Process函數(shù)中通過(guò)如下方式調(diào)用這三個(gè)函數(shù)摘仅。


????CopyIn:使用DataCopy接口將GlobalTensor數(shù)據(jù)拷貝到LocalTensor;使用EnQue將LocalTensor放入VecIn的Queue中问畅。

?Compute:使用DeQue從VecIn中取出LocalTensor娃属;使用Ascend C算子接口Add(2級(jí)接口)完成矢量計(jì)算;使用EnQue將計(jì)算結(jié)果LocalTensor放入到VecOut的Queue中护姆。

????CopyOut:使用DeQue接口從VecOut的Queue中取出LocalTensor注祖;使用DataCopy接口將LocalTensor拷貝到GlobalTensor上熊泵。

2、host側(cè)代碼

????host側(cè)算子實(shí)現(xiàn)開(kāi)發(fā),包括算子原型注冊(cè)烙荷、Shape推導(dǎo)等函數(shù)實(shí)現(xiàn)與注冊(cè)、Tiling實(shí)現(xiàn)與注冊(cè)和信息庫(kù)配置敬肚。實(shí)現(xiàn)代碼在算子工程的/ai_core/op_host/add_tik2.cpp中菜循。

????????1)算子原型注冊(cè):

????2)Shape推導(dǎo)等函數(shù)實(shí)現(xiàn)與注冊(cè):

????3)Tiling實(shí)現(xiàn)與注冊(cè):

????????4)信息庫(kù)配置及算子注冊(cè):

四)UT測(cè)試

???????UT的本質(zhì)是使用內(nèi)核調(diào)用符測(cè)試CPU模式下的Ascend C算子的用例,在算子工程UT測(cè)試目錄下的add_tik2_ut.cc文件添祸,增加CPU側(cè)算子調(diào)用代碼如下:

????????運(yùn)行指令:

????????????cd $HOME/cann_op_contrib/ ./build.sh -u tikcpp

????????運(yùn)行結(jié)果:

五)編譯部署

1滚粟、算子包打包

????進(jìn)入cann_op_contrib算子工程目錄,執(zhí)行算子包打包腳本刃泌,命令如下:

????????cd $HOME/cann_op_contrib/

????????./pack.sh

????????打包成功后凡壤,會(huì)在當(dāng)前目錄下創(chuàng)建output目錄署尤,并在output目錄下生成自定義算子安裝包CANN_OP_CONTRIB_linux-aarch64.run。


2.?自定義算子安裝包部署

????????以運(yùn)行用戶(hù)執(zhí)行如下命令亚侠,安裝自定義算子包曹体。

????????cd $HOME/cann_op_contrib/output

????????./CANN_OP_CONTRIB_linux-aarch64.run --install

????????命令執(zhí)行成功后,自定義算子包中的相關(guān)文件會(huì)部署當(dāng)前環(huán)境中盖奈。默認(rèn)安裝路徑是tool-kit的“opp/vendors/”目錄下混坞,沙箱中的路徑為:

/usr/local/Ascend/ascend-toolkit/latest/opp/vendors

? ? ????目錄結(jié)構(gòu)與自定義TBE算子基本一致,在算子實(shí)現(xiàn)代碼部分钢坦,多了cpp格式的實(shí)現(xiàn)代碼究孕。

六)ST測(cè)試

????????ST的本質(zhì)是創(chuàng)建ACL應(yīng)用程序測(cè)試NPU模式下的Ascend C算子用例,將開(kāi)發(fā)好的算子爹凹,編譯好后厨诸,打包成自定義算子包,部署到系統(tǒng)中禾酱。

????通過(guò)msopst工具微酬,將用戶(hù)定義的ST測(cè)試配置的*.json生成單算子的om文件,使用AscendCL接口加載單算子模型文件并執(zhí)行單算子om文件颤陶,驗(yàn)證算子執(zhí)行結(jié)果的正確性颗管。

1、在算子工程ST測(cè)試目錄下的add_tik2.json增加測(cè)試用例

2滓走、配置ST測(cè)試用例編譯所需環(huán)境變量

ST測(cè)試的實(shí)質(zhì)是垦江,使用AscendCL接口加載單算子模型文件并執(zhí)行,所以生成并編譯ST測(cè)試用例前需要配置AscendCL應(yīng)用編譯所需的環(huán)境變量搅方,如下所示:

export?DDK_PATH=/usr/local/Ascend/ascend-toolkit/latest

export?NPU_HOST_LIB=/usr/local/Ascend/ascend-toolkit/latest/runtime/lib64/stub

3比吭、使用msopst工具,生成并執(zhí)行ST測(cè)試用例

cd /usr/local/Ascend/ascend-toolkit/latest/python/site-packages/bin/

./msopst run -i $HOME/cann_op_contrib/community/tests/add_tik2/st/add_tik2.json -soc Ascend910A -out $HOME/out

執(zhí)行結(jié)果:

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末姨涡,一起剝皮案震驚了整個(gè)濱河市衩藤,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌涛漂,老刑警劉巖赏表,帶你破解...
    沈念sama閱讀 223,002評(píng)論 6 519
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異匈仗,居然都是意外死亡底哗,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,357評(píng)論 3 400
  • 文/潘曉璐 我一進(jìn)店門(mén)锚沸,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)跋选,“玉大人,你說(shuō)我怎么就攤上這事哗蜈∏氨辏” “怎么了坠韩?”我有些...
    開(kāi)封第一講書(shū)人閱讀 169,787評(píng)論 0 365
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)炼列。 經(jīng)常有香客問(wèn)我只搁,道長(zhǎng),這世上最難降的妖魔是什么俭尖? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 60,237評(píng)論 1 300
  • 正文 為了忘掉前任氢惋,我火速辦了婚禮,結(jié)果婚禮上稽犁,老公的妹妹穿的比我還像新娘焰望。我一直安慰自己,他們只是感情好已亥,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,237評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布熊赖。 她就那樣靜靜地躺著,像睡著了一般虑椎。 火紅的嫁衣襯著肌膚如雪震鹉。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 52,821評(píng)論 1 314
  • 那天捆姜,我揣著相機(jī)與錄音传趾,去河邊找鬼。 笑死泥技,一個(gè)胖子當(dāng)著我的面吹牛浆兰,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播零抬,決...
    沈念sama閱讀 41,236評(píng)論 3 424
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼宽涌!你這毒婦竟也來(lái)了平夜?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 40,196評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤卸亮,失蹤者是張志新(化名)和其女友劉穎忽妒,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體兼贸,經(jīng)...
    沈念sama閱讀 46,716評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡段直,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,794評(píng)論 3 343
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了溶诞。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片鸯檬。...
    茶點(diǎn)故事閱讀 40,928評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖螺垢,靈堂內(nèi)的尸體忽然破棺而出喧务,到底是詐尸還是另有隱情赖歌,我是刑警寧澤,帶...
    沈念sama閱讀 36,583評(píng)論 5 351
  • 正文 年R本政府宣布功茴,位于F島的核電站庐冯,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏坎穿。R本人自食惡果不足惜展父,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,264評(píng)論 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望玲昧。 院中可真熱鬧栖茉,春花似錦、人聲如沸酌呆。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,755評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)隙袁。三九已至痰娱,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間菩收,已是汗流浹背梨睁。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,869評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留娜饵,地道東北人坡贺。 一個(gè)月前我還...
    沈念sama閱讀 49,378評(píng)論 3 379
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像箱舞,于是被迫代替她去往敵國(guó)和親遍坟。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,937評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容