java加載tensorflow模型預(yù)測(cè)

算法同學(xué)通常會(huì)利用python做tensorflow深度學(xué)習(xí)模型的訓(xùn)練和測(cè)試杨名,但當(dāng)離線模型訓(xùn)練好之后抚吠,往往需要將模型部署上線冀痕,將其應(yīng)用到web端或app應(yīng)用調(diào)用福铅,甚至分布式任務(wù)使用等等萝毛。
本文將介紹一下,如何利用java加載tensorflow的pb模型滑黔,實(shí)現(xiàn)模型的在線推理和預(yù)測(cè)笆包。
JAVA API 參考文檔:

https://tensorflow.google.cn/api_docs/java/reference/org/tensorflow/package-summary

注意:TensorFlow Java API 本質(zhì)上是用Java封裝了C++的動(dòng)態(tài)庫(kù),而且Java API不在 TensorFlow API 穩(wěn)定性保障的涵蓋范圍內(nèi)略荡。

1庵佣、環(huán)境搭建

目前java引擎的開(kāi)發(fā)通常會(huì)使用maven進(jìn)行jar包管理,首先需要在pom.xml中添加以下依賴以加載對(duì)應(yīng)jar包汛兜。
Ps:至于java 的tensorflow的版本巴粪,要和python訓(xùn)練時(shí)用的tensorflow的版本一致。
depandency方法1:

<!-- https://mvnrepository.com/artifact/org.tensorflow/tensorflow -->
<dependency>
    <groupId>org.tensorflow</groupId>
    <artifactId>tensorflow</artifactId>
   <version>1.15.0</version>
</dependency>

depandency方法2:

<dependency>
    <groupId>org.tensorflow</groupId>
    <artifactId>libtensorflow</artifactId>
    <version>1.15.0</version>
</dependency>
<dependency>
    <groupId>org.tensorflow</groupId>
    <artifactId>proto</artifactId>
    <version>1.15.0</version>
</dependency>
<dependency>
    <groupId>org.tensorflow</groupId>
    <artifactId>libtensorflow_jni</artifactId>
    <!--artifactId>libtensorflow_jni_gpu</artifactId-->
    <version>1.15.0</version>
</dependency>

2、Java加載tensorflow模型

/**
 * @author lzhenboy
 * @date 2020-01-02
 */
import org.ansj.domain.Term;
import org.tensorflow.SavedModelBundle;
import org.tensorflow.Session;
import org.tensorflow.Tensor;

import java.nio.charset.StandardCharsets;
import java.util.List;

/**
 * Tensorflow pb模型加載 & 預(yù)測(cè)
 */
public class TfModelLoader {
    private final Session session;

    public TfModelLoader(String modelPath, String modelTag) {
        SavedModelBundle modelBundle = SavedModelBundle.load(modelPath, modelTag);
        this.session = modelBundle.session();
    }

    public TfModelLoader(String modelPath) {
        SavedModelBundle modelBundle = SavedModelBundle.load(modelPath, "serve");
        this.session = modelBundle.session();
    }

    public float[] predict(List<Term> terms) {
        int termSize = terms.size();

        byte[][][] wordsBytes = new byte[1][termSize][];
        int[] nwords = new int[]{wordsBytes[0].length};
        for (int i = 0; i < termSize; ++i) {
            byte[] nameBytes = terms.get(i).getName().getBytes(StandardCharsets.UTF_8);
            wordsBytes[0][i] = nameBytes;
        }

        try (Tensor<?> wordsTensor = Tensor.create(wordsBytes);
             Tensor<?> nwordsTensor = Tensor.create(nwords)) {
            Tensor<?> result = session.runner()
                    .feed("words", wordsTensor)
                    .feed("nwords", nwordsTensor)
                    .fetch("predict").run().get(0);
            float[][] preds = new float[1][wordsBytes[0].length];
            result.copyTo(preds);

            // Tensor Close
            result.close();
            return preds[0];
        } catch (Throwable e) {
            log.error("Model Predict Exception: ", e);
        }
        return null;
    }
}

需要注意的是肛根,參與計(jì)算的tensor都要close辫塌,以防止內(nèi)存泄漏(tensorflow底層代碼是c++實(shí)現(xiàn),內(nèi)存管理不受java控制派哲,因此需要人工close)臼氨。

3、使用saved_model_cli

如果你使用的是別人的模型狮辽,或者你想通過(guò)pb模型文件快速查看模型的輸出輸出標(biāo)簽,saved_model_cli提供了通過(guò)命令行檢查并恢復(fù)模型的快捷方式巢寡,可以通過(guò)如下方式檢查該模型的相關(guān)信息:

saved_model_cli show --dir=graph_dir --all
eg:
saved_model_cli show --dir ./saved_model/1604666267 --all

結(jié)果如下:

saved_model_cli.png

從上圖可以看出:
模型的tag為serve
模型input_placeholder為:(1) word (2) nword
模型output為:logits

參考文獻(xiàn)

Java 版 TensorFlow
Java加載tensorflow模型(單機(jī)加載或分布式加載)

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末喉脖,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子抑月,更是在濱河造成了極大的恐慌树叽,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,639評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件谦絮,死亡現(xiàn)場(chǎng)離奇詭異题诵,居然都是意外死亡嫂便,警方通過(guò)查閱死者的電腦和手機(jī)逛裤,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,277評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)涉兽,“玉大人叫胖,你說(shuō)我怎么就攤上這事草冈。” “怎么了瓮增?”我有些...
    開(kāi)封第一講書人閱讀 157,221評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵怎棱,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我绷跑,道長(zhǎng)拳恋,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書人閱讀 56,474評(píng)論 1 283
  • 正文 為了忘掉前任砸捏,我火速辦了婚禮谬运,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘垦藏。我一直安慰自己吩谦,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,570評(píng)論 6 386
  • 文/花漫 我一把揭開(kāi)白布膝藕。 她就那樣靜靜地躺著式廷,像睡著了一般。 火紅的嫁衣襯著肌膚如雪芭挽。 梳的紋絲不亂的頭發(fā)上滑废,一...
    開(kāi)封第一講書人閱讀 49,816評(píng)論 1 290
  • 那天蝗肪,我揣著相機(jī)與錄音,去河邊找鬼蠕趁。 笑死薛闪,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的俺陋。 我是一名探鬼主播豁延,決...
    沈念sama閱讀 38,957評(píng)論 3 408
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼腊状!你這毒婦竟也來(lái)了诱咏?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書人閱讀 37,718評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤缴挖,失蹤者是張志新(化名)和其女友劉穎袋狞,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體映屋,經(jīng)...
    沈念sama閱讀 44,176評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡苟鸯,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,511評(píng)論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了棚点。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片早处。...
    茶點(diǎn)故事閱讀 38,646評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖瘫析,靈堂內(nèi)的尸體忽然破棺而出陕赃,到底是詐尸還是另有隱情,我是刑警寧澤颁股,帶...
    沈念sama閱讀 34,322評(píng)論 4 330
  • 正文 年R本政府宣布么库,位于F島的核電站,受9級(jí)特大地震影響甘有,放射性物質(zhì)發(fā)生泄漏诉儒。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,934評(píng)論 3 313
  • 文/蒙蒙 一亏掀、第九天 我趴在偏房一處隱蔽的房頂上張望忱反。 院中可真熱鬧,春花似錦滤愕、人聲如沸温算。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 30,755評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)注竿。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間巩割,已是汗流浹背裙顽。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 31,987評(píng)論 1 266
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留宣谈,地道東北人愈犹。 一個(gè)月前我還...
    沈念sama閱讀 46,358評(píng)論 2 360
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像闻丑,于是被迫代替她去往敵國(guó)和親漩怎。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,514評(píng)論 2 348