1.先安裝好opencv
2.將模型.pth轉(zhuǎn)化成onnx文件
yolov5的github上有具體的方法
3.安裝onnx-simplifier
3.1: pip install onnx-simplifier (具體該工具的作用自行百度)
3.2: python -m onnxsim ./yolov5.onnx ./yolo5-sim.onnx (簡(jiǎn)化轉(zhuǎn)換得到的onnx)
4. ncnn代碼庫(kù)
4.1ncnn代碼庫(kù)的編譯
make -j4改成make install就能生成install文件夾翔冀,方便其他的工程調(diào)用
4.2模型轉(zhuǎn)換
基于build文件夾
cd tools/onnx
./onnx2ncnn your-yolov5s-path/yolov5-sim.onnx the-path-to-save/yolov5-sim.param the-path-to-save/yolov5-sim.bin
運(yùn)行到該步驟時(shí)會(huì)出現(xiàn)下面的問(wèn)題,問(wèn)題出現(xiàn)的原因時(shí)下圖中的split和crop網(wǎng)絡(luò)層高在ncnn中沒(méi)有定義的緣故纤子,我們需要做的是將這個(gè)網(wǎng)絡(luò)層消除:
5.ncnn格式模型修改
5.1 去掉不支持的網(wǎng)絡(luò)層
打開(kāi)轉(zhuǎn)換得到的yolov5-sim.param文件
前幾行的內(nèi)容如下跌捆,我們需要?jiǎng)h除的是標(biāo)紅的部分象颖。
修改結(jié)果如下抄瓦,其中180是由于之前的189網(wǎng)絡(luò)層我們刪除了10行陶冷,并用YoloV5Focus網(wǎng)絡(luò)層代替埂伦,剩180個(gè),而YoloV5Focus網(wǎng)絡(luò)層中的images代表該層的輸入膊毁,199代表輸出名婚温,這個(gè)可以根據(jù)標(biāo)紅的位置填寫(xiě)。(轉(zhuǎn)化得到的param文件不一樣荆秦,前兩行也就不一樣)
5.2修改網(wǎng)絡(luò)的輸出shape
當(dāng)我們基于修改后的網(wǎng)絡(luò)使用ncnn/examples/yolov5測(cè)試時(shí)發(fā)現(xiàn)圖片中會(huì)出現(xiàn)一堆亂框步绸,該情況下需要修改網(wǎng)絡(luò)的輸出部分
首先靡努,在yolov5-sim.param中找到網(wǎng)絡(luò)的輸出接口:
圖中綠框部分就是最終的網(wǎng)絡(luò)輸出層(由于網(wǎng)絡(luò)層數(shù)設(shè)置的區(qū)別惑朦,不同的網(wǎng)絡(luò)所在的位置不一樣)漓概,該層中紅框選中的部分就是網(wǎng)絡(luò)的輸出名(要保證yolov5.cpp中調(diào)用的輸出名和網(wǎng)絡(luò)的一致性胃珍,yolov5.cpp中的調(diào)用方式如下C代碼)。在并保證輸出名一致的情況下吩蔑,修改黃色框中區(qū)域?yàn)?=-1烛芬,使得最終的輸出shape不固定飒责。結(jié)果見(jiàn)圖:
本地測(cè)試:ncnn/examples/yolov5.cpp中修改如下部分(只改前兩行就行)
修改輸出接口及對(duì)應(yīng)的anchors
只根據(jù)param文件的最后幾層修改第4遣臼、23揍堰、40行就行
編譯
make -j4
將yolov5-sim.param 、yolov5-sim.bin模型copy到ncnn/build/examples/位置隐砸,運(yùn)行下面命令
./yolov5 image-path
image-path 是存放圖片的位置
6.量化or壓縮
半浮點(diǎn)壓縮為例
./ncnnoptimize yolov5-sim.param yolov5-sim.bin yolov5-sim-opt.param yolov5-sim-opt.bin 65536
onnx轉(zhuǎn)換成ncnn模型后,直接使用上述的命令轉(zhuǎn)換會(huì)出現(xiàn)下面的問(wèn)題:
由于YoloV5Focus不涉及參數(shù)的計(jì)算械馆,故我們只需將.param中的YoloV5Focus名字換成其他已知的霹崎,且不參與運(yùn)行的網(wǎng)絡(luò)層冶忱,如Exp
然后運(yùn)行命令即可(后面再進(jìn)行網(wǎng)絡(luò)輸出相關(guān)問(wèn)題的修改即可囚枪,至于二者的順序是否可以改變請(qǐng)自行測(cè)試)。
轉(zhuǎn)換完成后再將yolov5-sim-opt.param中的Exp名字改為YoloV5Focus即可默赂。一定要改回來(lái)@掳恕<埠础乱豆!
轉(zhuǎn)換時(shí)命令行會(huì)出現(xiàn)如下問(wèn)題
已測(cè)試該問(wèn)題并不影響網(wǎng)絡(luò)的調(diào)用房官。
over!
參考:https://blog.csdn.net/qq_41669468/article/details/110485396
https://zhuanlan.zhihu.com/p/275989233
o
Nanodet ncnn實(shí)現(xiàn)
1.用nanodet自帶的onnx轉(zhuǎn)換工具將ckpt模型轉(zhuǎn)成onnx
python tools/export_onnx.py --cfg_path${CONFIG_PATH}--model_path${PYTORCH_MODEL_PATH}
2.簡(jiǎn)化模型
python -m onnxsim${INPUT_ONNX_MODEL}${OUTPUT_ONNX_MODEL}
3.onnx2ncnn轉(zhuǎn)成param和bin文件
參考yolov5中4.2步
4.優(yōu)化模型
Nanodet基于視頻的檢測(cè)
用到的param和bin文件在數(shù)梅派ped/nanodet-main/demo_ncnn
筆記本電腦param和bin文件存在toolpackage/ncnn/onnx2ncn和/toolpackage/ncnn-mine/examples/bin-param
一翰守、用自己的use_camera工程
文件在數(shù)梅派ped/nanodet-main/use_camera
主cpp文件和nanodet.h里面規(guī)定了檢測(cè)的類(lèi)別及輸入神經(jīng)網(wǎng)絡(luò)的圖像的size,所以需要根據(jù)自己模型的情況修改
這個(gè)文件夾里面的ncnn文件夾是NCNN庫(kù)文件里面的install文件夾
進(jìn)入build文件夾運(yùn)行
./nanodet_camera
二、用nanodet自帶的ncnn文件夾
文件在數(shù)梅派ped/nanodet-main/demo_ncnn
首先要export總ncnn文件夾里面的install的靜態(tài)庫(kù)文件
exportncnn_DIR=YOUR_NCNN_PATH/build/install/lib/cmake/ncnn
主cpp文件和nanodet.h里面規(guī)定了檢測(cè)的類(lèi)別及輸入神經(jīng)網(wǎng)絡(luò)的圖像的size崭庸,所以需要根據(jù)自己模型的情況修改
攝像頭檢測(cè)
進(jìn)入build文件夾運(yùn)行
./nanodet_demo 0 0