基于ncnn 的yolov5,nanodet實(shí)現(xiàn)

1.先安裝好opencv

2.將模型.pth轉(zhuǎn)化成onnx文件

yolov5的github上有具體的方法

3.安裝onnx-simplifier

3.1: pip install onnx-simplifier (具體該工具的作用自行百度)

3.2: python -m onnxsim ./yolov5.onnx ./yolo5-sim.onnx (簡(jiǎn)化轉(zhuǎn)換得到的onnx)

4. ncnn代碼庫(kù)

4.1ncnn代碼庫(kù)的編譯

ncnn編譯

make -j4改成make install就能生成install文件夾翔冀,方便其他的工程調(diào)用


4.2模型轉(zhuǎn)換

基于build文件夾

cd tools/onnx

./onnx2ncnn your-yolov5s-path/yolov5-sim.onnx the-path-to-save/yolov5-sim.param the-path-to-save/yolov5-sim.bin

運(yùn)行到該步驟時(shí)會(huì)出現(xiàn)下面的問(wèn)題,問(wèn)題出現(xiàn)的原因時(shí)下圖中的split和crop網(wǎng)絡(luò)層高在ncnn中沒(méi)有定義的緣故纤子,我們需要做的是將這個(gè)網(wǎng)絡(luò)層消除:

error
error


5.ncnn格式模型修改

5.1 去掉不支持的網(wǎng)絡(luò)層

打開(kāi)轉(zhuǎn)換得到的yolov5-sim.param文件

前幾行的內(nèi)容如下跌捆,我們需要?jiǎng)h除的是標(biāo)紅的部分象颖。

param文件刪掉標(biāo)紅部分

修改結(jié)果如下抄瓦,其中180是由于之前的189網(wǎng)絡(luò)層我們刪除了10行陶冷,并用YoloV5Focus網(wǎng)絡(luò)層代替埂伦,剩180個(gè),而YoloV5Focus網(wǎng)絡(luò)層中的images代表該層的輸入膊毁,199代表輸出名婚温,這個(gè)可以根據(jù)標(biāo)紅的位置填寫(xiě)。(轉(zhuǎn)化得到的param文件不一樣荆秦,前兩行也就不一樣)

param文件修改后

5.2修改網(wǎng)絡(luò)的輸出shape

當(dāng)我們基于修改后的網(wǎng)絡(luò)使用ncnn/examples/yolov5測(cè)試時(shí)發(fā)現(xiàn)圖片中會(huì)出現(xiàn)一堆亂框步绸,該情況下需要修改網(wǎng)絡(luò)的輸出部分

首先靡努,在yolov5-sim.param中找到網(wǎng)絡(luò)的輸出接口:

圖中綠框部分就是最終的網(wǎng)絡(luò)輸出層(由于網(wǎng)絡(luò)層數(shù)設(shè)置的區(qū)別惑朦,不同的網(wǎng)絡(luò)所在的位置不一樣)漓概,該層中紅框選中的部分就是網(wǎng)絡(luò)的輸出名(要保證yolov5.cpp中調(diào)用的輸出名和網(wǎng)絡(luò)的一致性胃珍,yolov5.cpp中的調(diào)用方式如下C代碼)。在并保證輸出名一致的情況下吩蔑,修改黃色框中區(qū)域?yàn)?=-1烛芬,使得最終的輸出shape不固定飒责。結(jié)果見(jiàn)圖:

param文件最后幾層修改后

本地測(cè)試:ncnn/examples/yolov5.cpp中修改如下部分(只改前兩行就行)

yolov5.cpp修改

修改輸出接口及對(duì)應(yīng)的anchors

只根據(jù)param文件的最后幾層修改第4遣臼、23揍堰、40行就行

yolov5.cpp修改

編譯

make -j4

將yolov5-sim.param 、yolov5-sim.bin模型copy到ncnn/build/examples/位置隐砸,運(yùn)行下面命令

./yolov5 image-path

image-path 是存放圖片的位置

6.量化or壓縮

半浮點(diǎn)壓縮為例

./ncnnoptimize yolov5-sim.param yolov5-sim.bin yolov5-sim-opt.param yolov5-sim-opt.bin 65536

onnx轉(zhuǎn)換成ncnn模型后,直接使用上述的命令轉(zhuǎn)換會(huì)出現(xiàn)下面的問(wèn)題:

error

由于YoloV5Focus不涉及參數(shù)的計(jì)算械馆,故我們只需將.param中的YoloV5Focus名字換成其他已知的霹崎,且不參與運(yùn)行的網(wǎng)絡(luò)層冶忱,如Exp

然后運(yùn)行命令即可(后面再進(jìn)行網(wǎng)絡(luò)輸出相關(guān)問(wèn)題的修改即可囚枪,至于二者的順序是否可以改變請(qǐng)自行測(cè)試)。

轉(zhuǎn)換完成后再將yolov5-sim-opt.param中的Exp名字改為YoloV5Focus即可默赂。一定要改回來(lái)@掳恕<埠础乱豆!

轉(zhuǎn)換時(shí)命令行會(huì)出現(xiàn)如下問(wèn)題

已測(cè)試該問(wèn)題并不影響網(wǎng)絡(luò)的調(diào)用房官。

over!

參考:https://blog.csdn.net/qq_41669468/article/details/110485396

https://zhuanlan.zhihu.com/p/275989233

o


Nanodet ncnn實(shí)現(xiàn)

1.用nanodet自帶的onnx轉(zhuǎn)換工具將ckpt模型轉(zhuǎn)成onnx

python tools/export_onnx.py --cfg_path${CONFIG_PATH}--model_path${PYTORCH_MODEL_PATH}

2.簡(jiǎn)化模型

python -m onnxsim${INPUT_ONNX_MODEL}${OUTPUT_ONNX_MODEL}

3.onnx2ncnn轉(zhuǎn)成param和bin文件

參考yolov5中4.2步

4.優(yōu)化模型


Nanodet基于視頻的檢測(cè)

用到的param和bin文件在數(shù)梅派ped/nanodet-main/demo_ncnn

筆記本電腦param和bin文件存在toolpackage/ncnn/onnx2ncn和/toolpackage/ncnn-mine/examples/bin-param

一翰守、用自己的use_camera工程

文件在數(shù)梅派ped/nanodet-main/use_camera

主cpp文件和nanodet.h里面規(guī)定了檢測(cè)的類(lèi)別及輸入神經(jīng)網(wǎng)絡(luò)的圖像的size,所以需要根據(jù)自己模型的情況修改

這個(gè)文件夾里面的ncnn文件夾是NCNN庫(kù)文件里面的install文件夾

進(jìn)入build文件夾運(yùn)行

./nanodet_camera

二、用nanodet自帶的ncnn文件夾

文件在數(shù)梅派ped/nanodet-main/demo_ncnn

首先要export總ncnn文件夾里面的install的靜態(tài)庫(kù)文件

exportncnn_DIR=YOUR_NCNN_PATH/build/install/lib/cmake/ncnn

主cpp文件和nanodet.h里面規(guī)定了檢測(cè)的類(lèi)別及輸入神經(jīng)網(wǎng)絡(luò)的圖像的size崭庸,所以需要根據(jù)自己模型的情況修改

攝像頭檢測(cè)

進(jìn)入build文件夾運(yùn)行

./nanodet_demo 0 0

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末函筋,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子谨敛,更是在濱河造成了極大的恐慌滤否,老刑警劉巖,帶你破解...
    沈念sama閱讀 210,978評(píng)論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件肥惭,死亡現(xiàn)場(chǎng)離奇詭異蜜葱,居然都是意外死亡牵囤,警方通過(guò)查閱死者的電腦和手機(jī)滞伟,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 89,954評(píng)論 2 384
  • 文/潘曉璐 我一進(jìn)店門(mén)梆奈,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人乓梨,你說(shuō)我怎么就攤上這事》龆疲” “怎么了臭觉?”我有些...
    開(kāi)封第一講書(shū)人閱讀 156,623評(píng)論 0 345
  • 文/不壞的土叔 我叫張陵蝠筑,是天一觀(guān)的道長(zhǎng)。 經(jīng)常有香客問(wèn)我客冈,道長(zhǎng)稳强,這世上最難降的妖魔是什么和悦? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,324評(píng)論 1 282
  • 正文 為了忘掉前任鸽素,我火速辦了婚禮馍忽,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘坝冕。我一直安慰自己瓦呼,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,390評(píng)論 5 384
  • 文/花漫 我一把揭開(kāi)白布磨澡。 她就那樣靜靜地躺著稳摄,像睡著了一般饲宿。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上弃锐,一...
    開(kāi)封第一講書(shū)人閱讀 49,741評(píng)論 1 289
  • 那天霹菊,我揣著相機(jī)與錄音,去河邊找鬼鸠按。 笑死饶碘,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的瑟曲。 我是一名探鬼主播豪治,決...
    沈念sama閱讀 38,892評(píng)論 3 405
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼负拟,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了花吟?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 37,655評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤衅澈,失蹤者是張志新(化名)和其女友劉穎矾麻,沒(méi)想到半個(gè)月后芭梯,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,104評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡甩牺,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,451評(píng)論 2 325
  • 正文 我和宋清朗相戀三年贬派,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了急但。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片波桩。...
    茶點(diǎn)故事閱讀 38,569評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡镐躲,死狀恐怖侍筛,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情匣椰,我是刑警寧澤,帶...
    沈念sama閱讀 34,254評(píng)論 4 328
  • 正文 年R本政府宣布入录,位于F島的核電站纷跛,受9級(jí)特大地震影響邀杏,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜望蜡,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,834評(píng)論 3 312
  • 文/蒙蒙 一脖律、第九天 我趴在偏房一處隱蔽的房頂上張望小泉。 院中可真熱鬧冕杠,春花似錦、人聲如沸分预。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,725評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至被济,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間溉潭,已是汗流浹背少欺。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,950評(píng)論 1 264
  • 我被黑心中介騙來(lái)泰國(guó)打工赞别, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留仿滔,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 46,260評(píng)論 2 360
  • 正文 我出身青樓崎页,卻偏偏與公主長(zhǎng)得像飒焦,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子翁巍,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,446評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容