DJL目標(biāo)檢測(cè)Demo

概述

Deep Java Library是AWS在2019年推出的深度學(xué)習(xí)Java庫(kù),目前已經(jīng)支持MXNet帘不、PyTorch、TensorFlow模型的訓(xùn)練和推理。DJL沒(méi)有和固定的深度學(xué)習(xí)框架綁定,因此同一套代碼可以適配不同的深度學(xué)習(xí)框架枝哄。

這里根據(jù)官網(wǎng)給的教程,介紹如果搭建目標(biāo)檢測(cè)的Demo阻荒,實(shí)現(xiàn)的功能包括讀取本地圖片挠锥,加載官方Model Zoo提供的預(yù)訓(xùn)練模型、進(jìn)行模型推理侨赡、輸出目標(biāo)檢測(cè)的結(jié)果圖到本地蓖租。參考資料包括:SSD模型推理的官方教程Maven依賴配置羊壹、DJL Maven的BOM配置蓖宦、DJL版本依賴項(xiàng)搭配

工程搭建

新建Maven項(xiàng)目

JDK>=1.8

項(xiàng)目結(jié)構(gòu)

依賴引入

引入djl本身以及djl依賴的其他包油猫。

<!-->設(shè)定maven編譯使用jdk8<-->org.apache.maven.pluginsmaven-compiler-plugin88<!-->以BOM的方式統(tǒng)一管理依賴包的版本<-->ai.djlbom0.9.0pomimportcommons-clicommons-cli1.4com.google.code.gsongson2.8.5<!-->日志依賴包<-->org.apache.logging.log4jlog4j-slf4j-impl2.12.1<!-->使用djl必須引入的依賴包<-->ai.djlapi<!-->使用不同的深度學(xué)習(xí)框架模型引入不同的依賴包, 將mxnet改為pytorch即可更換深度學(xué)習(xí)框架

? ? ? ? Apache MXNet engine implementation<-->ai.djl.mxnetmxnet-engine<!-->使用不同的深度學(xué)習(xí)框架模型引入不同的依賴包,

Apache MXNet native library<-->ai.djl.mxnetmxnet-native-autoruntime<!-->使用不同的深度學(xué)習(xí)框架模型引入不同的依賴包,

A ModelZoo containing models exported from Apache MXNet<-->ai.djl.mxnetmxnet-model-zoo復(fù)制代碼

日志配置文件

這部分沒(méi)有固定要求稠茂,按實(shí)際需要來(lái)配置就可以,這里沿用從網(wǎng)上找的一份簡(jiǎn)單配置文件log4j2.xml

<?xml version="1.0" encoding="UTF-8"?>復(fù)制代碼

業(yè)務(wù)代碼

引自:https://github.com/awslabs/djl/blob/master/examples/src/main/java/ai/djl/examples/inference/ObjectDetection.java

packageorg.town;importai.djl.Application;importai.djl.ModelException;importai.djl.engine.Engine;importai.djl.inference.Predictor;importai.djl.modality.cv.Image;importai.djl.modality.cv.ImageFactory;importai.djl.modality.cv.output.DetectedObjects;importai.djl.repository.zoo.Criteria;importai.djl.repository.zoo.ModelZoo;importai.djl.repository.zoo.ZooModel;importai.djl.training.util.ProgressBar;importai.djl.translate.TranslateException;importjava.io.IOException;importjava.nio.file.Files;importjava.nio.file.Path;importjava.nio.file.Paths;importorg.slf4j.Logger;importorg.slf4j.LoggerFactory;/**

* An example of inference using an object detection model.

*/publicfinalclassObjectDetection{privatestaticfinalLogger logger = LoggerFactory.getLogger(ObjectDetection.class);privateObjectDetection(){}publicstaticvoidmain(String[] args)throwsIOException, ModelException, TranslateException{? ? ? ? DetectedObjects detection = ObjectDetection.predict();? ? ? ? logger.info("{}", detection);? ? }publicstaticDetectedObjectspredict()throwsIOException, ModelException, TranslateException{? ? ? ? Path imageFile = Paths.get("src/test/resources/dog_bike_car.jpg");? ? ? ? Image img = ImageFactory.getInstance().fromFile(imageFile);? ? ? ? String backbone;if("TensorFlow".equals(Engine.getInstance().getEngineName())) {? ? ? ? ? ? backbone ="mobilenet_v2";? ? ? ? }else{? ? ? ? ? ? backbone ="resnet50";? ? ? ? }? ? ? ? Criteria criteria =? ? ? ? ? ? ? ? Criteria.builder()? ? ? ? ? ? ? ? ? ? ? ? .optApplication(Application.CV.OBJECT_DETECTION)? ? ? ? ? ? ? ? ? ? ? ? .setTypes(Image.class, DetectedObjects.class)? ? ? ? ? ? ? ? ? ? ? ? .optFilter("backbone", backbone)? ? ? ? ? ? ? ? ? ? ? ? .optProgress(newProgressBar())? ? ? ? ? ? ? ? ? ? ? ? .build();try(ZooModel model = ModelZoo.loadModel(criteria)) {try(Predictor predictor = model.newPredictor()) {? ? ? ? ? ? ? ? DetectedObjects detection = predictor.predict(img);? ? ? ? ? ? ? ? saveBoundingBoxImage(img, detection);returndetection;? ? ? ? ? ? }? ? ? ? }? ? }privatestaticvoidsaveBoundingBoxImage(Image img, DetectedObjects detection)throwsIOException{? ? ? ? Path outputDir = Paths.get("build/output");? ? ? ? Files.createDirectories(outputDir);// Make image copy with alpha channel because original image was jpgImage newImage = img.duplicate(Image.Type.TYPE_INT_ARGB);? ? ? ? newImage.drawBoundingBoxes(detection);? ? ? ? Path imagePath = outputDir.resolve("detected-dog_bike_car.png");// OpenJDK can't save jpg with alpha channelnewImage.save(Files.newOutputStream(imagePath),"png");? ? ? ? logger.info("Detected objects image has been saved in: {}", imagePath);? ? }}復(fù)制代碼

輸出結(jié)果

問(wèn)題記錄

問(wèn)題1:JDK版本過(guò)低導(dǎo)致Static interface method calls are not supported at language level '7'

解決辦法:pom配置文件中顯式指定使用jdk8進(jìn)行編譯情妖。

問(wèn)題2:Exception in thread "main" ai.djl.repository.zoo.ModelNotFoundException: No matching model with specified Input/Output type found.

解決辦法:pom配置文件中沒(méi)有引入ai.djl.mxnet:mxnet-model-zoo依賴包導(dǎo)致的睬关,引入依賴即可。

問(wèn)題3:切換為pytorch引擎后出錯(cuò)毡证。

切換方式:

ai.djl.pytorchpytorch-engineai.djl.pytorchpytorch-native-autoruntimeai.djl.pytorchpytorch-model-zoo復(fù)制代碼

報(bào)錯(cuò)信息:

[2021-01-01 23:49:12.420] [WARN] - [main] ai.djl.engine.Engine - Failed to load engine from: ai.djl.pytorch.engine.PtEngineProviderai.djl.engine.EngineException: Failed to load PyTorch native libraryat ai.djl.pytorch.engine.PtEngine.newInstance(PtEngine.java:56) ~[pytorch-engine-0.9.0.jar:?]at ai.djl.pytorch.engine.PtEngineProvider.getEngine(PtEngineProvider.java:27) ~[pytorch-engine-0.9.0.jar:?]at ai.djl.engine.Engine.initEngine(Engine.java:59) [api-0.9.0.jar:?]at ai.djl.engine.Engine.(Engine.java:49) [api-0.9.0.jar:?]at org.town.ObjectDetection.predict(ObjectDetection.java:45) [classes/:?]at org.town.ObjectDetection.main(ObjectDetection.java:36) [classes/:?]Caused by: java.lang.UnsatisfiedLinkError: C:\Users\steel\.djl.ai\pytorch\1.7.0-cpu-win-x86_64\asmjit.dll: Can't find dependent librariesat java.lang.ClassLoader$NativeLibrary.load(Native Method) ~[?:1.8.0_251]at java.lang.ClassLoader.loadLibrary0(ClassLoader.java:1934) ~[?:1.8.0_251]at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1817) ~[?:1.8.0_251]at java.lang.Runtime.load0(Runtime.java:809) ~[?:1.8.0_251]at java.lang.System.load(System.java:1086) ~[?:1.8.0_251]at java.util.stream.ForEachOps$ForEachOp$OfRef.accept(ForEachOps.java:184) ~[?:1.8.0_251]at java.util.stream.ReferencePipeline$3$1.accept(ReferencePipeline.java:193) ~[?:1.8.0_251]at java.util.stream.ReferencePipeline$2$1.accept(ReferencePipeline.java:175) ~[?:1.8.0_251]at java.util.stream.ReferencePipeline$3$1.accept(ReferencePipeline.java:193) ~[?:1.8.0_251]at java.util.Iterator.forEachRemaining(Iterator.java:116) ~[?:1.8.0_251]at java.util.Spliterators$IteratorSpliterator.forEachRemaining(Spliterators.java:1801) ~[?:1.8.0_251]at java.util.stream.AbstractPipeline.copyInto(AbstractPipeline.java:482) ~[?:1.8.0_251]at java.util.stream.AbstractPipeline.wrapAndCopyInto(AbstractPipeline.java:472) ~[?:1.8.0_251]at java.util.stream.ForEachOps$ForEachOp.evaluateSequential(ForEachOps.java:151) ~[?:1.8.0_251]at java.util.stream.ForEachOps$ForEachOp$OfRef.evaluateSequential(ForEachOps.java:174) ~[?:1.8.0_251]at java.util.stream.AbstractPipeline.evaluate(AbstractPipeline.java:234) ~[?:1.8.0_251]at java.util.stream.ReferencePipeline.forEach(ReferencePipeline.java:418) ~[?:1.8.0_251]at ai.djl.pytorch.jni.LibUtils.loadWinDependencies(LibUtils.java:119) ~[pytorch-engine-0.9.0.jar:?]at ai.djl.pytorch.jni.LibUtils.loadLibrary(LibUtils.java:75) ~[pytorch-engine-0.9.0.jar:?]at ai.djl.pytorch.engine.PtEngine.newInstance(PtEngine.java:44) ~[pytorch-engine-0.9.0.jar:?]... 5 moreException in thread "main" ai.djl.engine.EngineException: No deep learning engine found.Please refer to https://github.com/awslabs/djl/blob/master/docs/development/troubleshooting.md for more details.at ai.djl.engine.Engine.getInstance(Engine.java:119)at org.town.ObjectDetection.predict(ObjectDetection.java:45)at org.town.ObjectDetection.main(ObjectDetection.java:36)Caused by: ai.djl.engine.EngineException: Failed to load PyTorch native libraryat ai.djl.pytorch.engine.PtEngine.newInstance(PtEngine.java:56)at ai.djl.pytorch.engine.PtEngineProvider.getEngine(PtEngineProvider.java:27)at ai.djl.engine.Engine.initEngine(Engine.java:59)at ai.djl.engine.Engine.(Engine.java:49)... 2 moreCaused by: java.lang.UnsatisfiedLinkError: C:\Users\steel\.djl.ai\pytorch\1.7.0-cpu-win-x86_64\asmjit.dll: Can't find dependent librariesat java.lang.ClassLoader$NativeLibrary.load(Native Method)at java.lang.ClassLoader.loadLibrary0(ClassLoader.java:1934)at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1817)at java.lang.Runtime.load0(Runtime.java:809)at java.lang.System.load(System.java:1086)at java.util.stream.ForEachOps$ForEachOp$OfRef.accept(ForEachOps.java:184)at java.util.stream.ReferencePipeline$3$1.accept(ReferencePipeline.java:193)at java.util.stream.ReferencePipeline$2$1.accept(ReferencePipeline.java:175)at java.util.stream.ReferencePipeline$3$1.accept(ReferencePipeline.java:193)at java.util.Iterator.forEachRemaining(Iterator.java:116)at java.util.Spliterators$IteratorSpliterator.forEachRemaining(Spliterators.java:1801)at java.util.stream.AbstractPipeline.copyInto(AbstractPipeline.java:482)at java.util.stream.AbstractPipeline.wrapAndCopyInto(AbstractPipeline.java:472)at java.util.stream.ForEachOps$ForEachOp.evaluateSequential(ForEachOps.java:151)at java.util.stream.ForEachOps$ForEachOp$OfRef.evaluateSequential(ForEachOps.java:174)at java.util.stream.AbstractPipeline.evaluate(AbstractPipeline.java:234)at java.util.stream.ReferencePipeline.forEach(ReferencePipeline.java:418)at ai.djl.pytorch.jni.LibUtils.loadWinDependencies(LibUtils.java:119)at ai.djl.pytorch.jni.LibUtils.loadLibrary(LibUtils.java:75)at ai.djl.pytorch.engine.PtEngine.newInstance(PtEngine.java:44)... 5 more復(fù)制代碼

解決辦法:未找到电爹。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市料睛,隨后出現(xiàn)的幾起案子藐不,更是在濱河造成了極大的恐慌,老刑警劉巖秦效,帶你破解...
    沈念sama閱讀 222,590評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件雏蛮,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡阱州,警方通過(guò)查閱死者的電腦和手機(jī)挑秉,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,157評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)苔货,“玉大人犀概,你說(shuō)我怎么就攤上這事∫共眩” “怎么了姻灶?”我有些...
    開封第一講書人閱讀 169,301評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)诈茧。 經(jīng)常有香客問(wèn)我产喉,道長(zhǎng),這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,078評(píng)論 1 300
  • 正文 為了忘掉前任曾沈,我火速辦了婚禮这嚣,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘塞俱。我一直安慰自己姐帚,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,082評(píng)論 6 398
  • 文/花漫 我一把揭開白布障涯。 她就那樣靜靜地躺著罐旗,像睡著了一般。 火紅的嫁衣襯著肌膚如雪唯蝶。 梳的紋絲不亂的頭發(fā)上九秀,一...
    開封第一講書人閱讀 52,682評(píng)論 1 312
  • 那天,我揣著相機(jī)與錄音生棍,去河邊找鬼颤霎。 笑死媳谁,一個(gè)胖子當(dāng)著我的面吹牛涂滴,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播晴音,決...
    沈念sama閱讀 41,155評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼柔纵,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了锤躁?” 一聲冷哼從身側(cè)響起搁料,我...
    開封第一講書人閱讀 40,098評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎系羞,沒(méi)想到半個(gè)月后郭计,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,638評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡椒振,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,701評(píng)論 3 342
  • 正文 我和宋清朗相戀三年昭伸,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片澎迎。...
    茶點(diǎn)故事閱讀 40,852評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡庐杨,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出夹供,到底是詐尸還是另有隱情灵份,我是刑警寧澤,帶...
    沈念sama閱讀 36,520評(píng)論 5 351
  • 正文 年R本政府宣布哮洽,位于F島的核電站填渠,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜揭蜒,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,181評(píng)論 3 335
  • 文/蒙蒙 一横浑、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧屉更,春花似錦徙融、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,674評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至萨脑,卻和暖如春隐轩,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背渤早。 一陣腳步聲響...
    開封第一講書人閱讀 33,788評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工职车, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人鹊杖。 一個(gè)月前我還...
    沈念sama閱讀 49,279評(píng)論 3 379
  • 正文 我出身青樓悴灵,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親骂蓖。 傳聞我的和親對(duì)象是個(gè)殘疾皇子积瞒,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,851評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容