實現(xiàn)python離線訓練模型已卷，Java在線預測部署梧田。查看原文
目前深度學習主流使用python訓練自己的模型，有非常多的框架提供了能快速搭建神經網絡的功能侧蘸，其中Keras提供了high-level的語法裁眯，底層可以使用tensorflow或者theano。
但是有很多公司后臺應用是用Java開發(fā)的讳癌，如果用python提供HTTP接口穿稳，對業(yè)務延遲要求比較高的話，仍然會有一定得延遲晌坤，所以能不能使用Java調用模型逢艘，python可以離線的訓練模型？（tensorflow也提供了成熟的部署方案TensorFlow Serving）
手頭上有一個用Keras訓練的模型骤菠，網上關于Java調用Keras模型的資料不是很多它改，而且大部分是重復的，并且也沒有講的很詳細商乎。大致有兩種方案搔课，一種是基于Java的深度學習庫導入Keras模型實現(xiàn)，另外一種是用tensorflow提供的Java接口調用。
Deeplearning4J
Eclipse Deeplearning4j is the first commercial-grade, open-source, distributed deep-learning library written for Java and Scala. Integrated with Hadoop and Spark, DL4J brings AIAI to business environments for use on distributed GPUs and CPUs.
Deeplearning4j目前支持導入Keras訓練的模型爬泥，并且提供了類似python中numpy的一些功能柬讨，更方便地處理結構化的數(shù)據(jù)。遺憾的是袍啡，Deeplearning4j現(xiàn)在只覆蓋了Keras <2.0版本的大部分Layer踩官，如果你是用Keras 2.0以上的版本，在導入模型的時候可能會報錯境输。
了解更多：
Keras Model Import: Supported Features
Importing Models From Keras to Deeplearning4j
Tensorflow
文檔蔗牡，Java的文檔很少，不過調用模型的過程也很簡單嗅剖。采用這種方式調用模型需要先將Keras導出的模型轉成tensorflow的protobuf協(xié)議的模型。
1信粮、Keras的h5模型轉為pb模型
在Keras中使用model.save(model.h5)保存當前模型為HDF5格式的文件中。
Keras的后端框架使用的是tensorflow强缘，所以先把模型導出為pb模型。在Java中只需要調用模型進行預測旅掂，所以將當前的graph中的Variable全部變成Constant赏胚，并且使用訓練后的weight。以下是freeze graph的代碼：
def freeze_session(session, keep_var_names=None, output_names=None, clear_devices=True):
"""
:param session: 需要轉換的tensorflow的session
:param keep_var_names:需要保留的variable商虐，默認全部轉換constant
:param output_names:output的名字
:param clear_devices:是否移除設備指令以獲得更好的可移植性
:return:
"""
from tensorflow.python.framework.graph_util import convert_variables_to_constants
graph = session.graph
with graph.as_default():
freeze_var_names = list(set(v.op.name for v in tf.global_variables()).difference(keep_var_names or []))
output_names = output_names or []
# 如果指定了output名字，則復制一個新的Tensor典勇，并且以指定的名字命名
if len(output_names) > 0:
for i in range(output_names):
# 當前graph中復制一個新的Tensor，指定名字
tf.identity(model.model.outputs[i], name=output_names[i])
output_names += [v.op.name for v in tf.global_variables()]
input_graph_def = graph.as_graph_def()
if clear_devices:
for node in input_graph_def.node:
node.device = ""
frozen_graph = convert_variables_to_constants(session, input_graph_def,
output_names, freeze_var_names)
return frozen_graph
該方法可以將tensor為Variable的graph全部轉為constant并且使用訓練后的weight鲫尊。注意output_name比較重要痴柔，后面Java調用模型的時候會用到沦偎。
在Keras中，模型是這么定義的:
def create_model(self):
input_tensor = Input(shape=(self.maxlen,), name="input")
x = Embedding(len(self.text2id) + 1, 200)(input_tensor)
x = Bidirectional(LSTM(128))(x)
x = Dense(256, activation="relu")(x)
x = Dropout(self.dropout)(x)
x = Dense(len(self.id2class), activation='softmax', name="output_softmax")(x)
model = Model(inputs=input_tensor, outputs=x)
model.compile(loss='categorical_crossentropy',
optimizer='adam',
metrics=['accuracy'])
下面的代碼可以查看定義好的Keras模型的輸入豪嚎、輸出的name，這對之后Java調用有幫助舌涨。
print(model.input.op.name)
print(model.output.op.name)
訓練好Keras模型后扔字，轉換為pb模型：
from keras import backend as K
import tensorflow as tf
model.load_model("model.h5")
print(model.input.op.name)
print(model.output.op.name)
# 自定義output_names
frozen_graph = freeze_session(K.get_session(), output_names=["output"])
tf.train.write_graph(frozen_graph, "./", "model.pb", as_text=False)
### 輸出：
# input
# output_softmax/Softmax
# 如果不自定義output_name温技，則生成的pb模型的output_name為output_softmax/Softmax，如果自定義則以自定義名為output_name
運行之后會生成model.pb的模型舵鳞，這將是之后調用的模型琢蛤。
2、Java調用
新建一個maven項目博其，pom里面導入tensorflow包：
<dependency>
<groupId>org.tensorflow</groupId>
<artifactId>tensorflow</artifactId>
<version>1.6.0</version>
</dependency>
核心代碼:
public void predict() throws Exception {
try (Graph graph = new Graph()) {
graph.importGraphDef(Files.readAllBytes(Paths.get(
"path/to/model.pb"
)));
try (Session sess = new Session(graph)) {
// 自己構造一個輸入
float[][] input = {{56, 632, 675, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0}};
try (Tensor x = Tensor.create(input);
// input是輸入的name，output是輸出的name
Tensor y = sess.runner().feed("input", x).fetch("output").run().get(0)) {
float[][] result = new float[1][y.shape[1]];
y.copyTo(result);
System.out.println(Arrays.toString(y.shape()));
System.out.println(Arrays.toString(result[0]));
}
}
}
}
Graph和Tensor對象都是需要通過close()方法顯式地釋放占用的資源背伴，代碼中使用了try-with-resources的方法實現(xiàn)的儡率。
至此，已經可以實現(xiàn)Keras離線訓練儿普，Java在線預測的功能。
