介紹
mmdetection已經(jīng)成為大家進行目標檢測研究與開發(fā)的首選之一循头，豐富的開發(fā)組件與優(yōu)秀的架構(gòu)使得調(diào)參與訓(xùn)練變成輕松有趣唠摹。
但是對于廣大工程師而言爆捞，如何將算法變成實際的生產(chǎn)力卻是個讓人困擾問題。mmdetection的便利性得益于pytorch對于動態(tài)網(wǎng)絡(luò)的強大支持勾拉，但是這卻是一把雙刃劍煮甥，不完全固定的圖結(jié)構(gòu)使得模型向其他推理框架轉(zhuǎn)換變得異常困難。
TensorRT是NVIDIA提供的推理框架藕赞，支持FP16成肘，INT8，借助dGPU和Jetson的強大算力支持斧蜕，成為很多人部署模型的首選双霍。NVIDIA官方對于pytorch模型轉(zhuǎn)換TensorRT提供的方案是借助ONNX作為中間層，進行兩步走的轉(zhuǎn)換批销。對于簡單的分類網(wǎng)絡(luò)而言并沒有太大問題洒闸。但是檢測網(wǎng)絡(luò)通常具有更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，特殊的算子均芽，動態(tài)的輸出尺寸丘逸，使得模型轉(zhuǎn)換異常困難。mmdetection初步提供了ONNX的轉(zhuǎn)換掀宋，但是僅有少數(shù)模型支持深纲，而且即使轉(zhuǎn)換成為ONNX仲锄，也無法保證能夠轉(zhuǎn)換成TensorRT。
MMDet to TensorRT
mmdet to tensorrt就是一個為了解決上述問題而誕生的工具：
項目鏈接：https://github.com/grimoire/mmdetection-to-tensorrt
主要功能：
- mmdetection=>tensorrt轉(zhuǎn)換：現(xiàn)已支持包括包括faster rcnn, cascade rcnn, ssd, retinanet等超過20種不同模型的轉(zhuǎn)換囤萤，數(shù)量持續(xù)增加種昼窗。
- fp16/int8模式支持：可以輕松實現(xiàn)fp16模型的轉(zhuǎn)換，大多數(shù)模型也已經(jīng)支持int8模式
- batched input支持：以batch的形式輸入數(shù)據(jù)通程紊幔可以得到更大的吞吐量澄惊，工具支持轉(zhuǎn)換的模型以batch形式輸入數(shù)據(jù)，只要顯存吃得消富雅，就可以享受大batch帶來的速度提升掸驱。
- 動態(tài)輸入尺寸：不管輸入的tensor形狀如何，只要mmdetection支持的没佑，我們都支持（大概）
- 多策略組合：可以自定義自己的網(wǎng)絡(luò)毕贼，組合各種mmdetection提供的模塊，轉(zhuǎn)換模型也不會是問題
- deepstream支持：轉(zhuǎn)換的模型可以在deepstream中使用蛤奢，已實現(xiàn)相關(guān)組件鬼癣，享受流暢的實時流媒體目標檢測吧
- 命令行與腳本支持：可以使用命令行工具輕松轉(zhuǎn)換，也可以使用腳本定制你的轉(zhuǎn)換啤贩。
使用方法
模型轉(zhuǎn)換
CLI
mmdet2trt ${CONFIG_PATH} ${CHECKPOINT_PATH} ${OUTPUT_PATH}
PYTHON
opt_shape_param=[
[
[1,3,320,320], # min shape
[1,3,800,1344], # optimize shape
[1,3,1344,1344], # max shape
]
]
max_workspace_size=1<<30 # some module and tactic need large workspace.
trt_model = mmdet2trt(cfg_path, weight_path, opt_shape_param=opt_shape_param, fp16_mode=True, max_workspace_size=max_workspace_size)
torch.save(trt_model.state_dict(), save_path)
使用轉(zhuǎn)換后的模型進行推理：
trt_model = init_detector(save_path)
num_detections, trt_bbox, trt_score, trt_cls = inference_detector(trt_model, image_path, cfg_path, "cuda:0")
提取c++可用的序列化engine文件：
with open(engine_path, mode='wb') as f:
f.write(model_trt.state_dict()['engine'])
模型還在不斷更新中待秃，如果有什么改進的建議歡迎提出
其他
作為項目的副產(chǎn)物，提供了一個可以直接轉(zhuǎn)換pytorch模型的工具：
https://github.com/grimoire/torch2trt_dynamic
算是NVIDIA官方的https://github.com/NVIDIA-AI-IOT/torch2trt的威力加強版痹屹，增加了對于動態(tài)輸入的支持章郁，還有大量的新算子。本來打算PR給官方項目的志衍，不過似乎官方為了兼容Tensorrt5暫時不打算做太大改動暖庄。因此就拿出來作為一個獨立項目了。
其他2
歡迎大家PR楼肪，Issue
喜歡star培廓，還有大家（求求你了）
