1安裝grpc相關(guān)依賴：
sudo apt-get update && sudo apt-get install -y \
build-essential \
curl \
libcurl3-dev \
git \
libfreetype6-dev \
libpng12-dev \
libzmq3-dev \
pkg-config \
python-dev \
python-numpy \
python-pip \
software-properties-common \
swig \
zip \
zlib1g-dev
2 安裝grpc
pip install grpcio
3安裝 tensorflow-serving-api
pip install tensorflow-serving-api
4 安裝tensorflow-model-server
echo "deb [arch=amd64] http://storage.googleapis.com/tensorflow-serving-apt stable tensorflow-model-server tensorflow-model-server-universal" | sudo tee /etc/apt/sources.list.d/tensorflow-serving.list
curl https://storage.googleapis.com/tensorflow-serving-apt/tensorflow-serving.release.pub.gpg | sudo apt-key add -
sudo apt-get update && sudo apt-get install tensorflow-model-server
5 安裝docker
sudo apt-get install docker.io
由于docker官網(wǎng)被封，會(huì)報(bào)連接網(wǎng)絡(luò)超時(shí)的錯(cuò)誤，需要指定網(wǎng)站宣吱。
sudo vim /etc/docker/daemon.json
添加如下內(nèi)容
{"registry-mirrors": ["http://74ecfe5d.m.daocloud.io"],
"runtimes": {
"nvidia": {
"path": "/usr/bin/nvidia-container-runtime",
"runtimeArgs": []
}
}
}
保存退出城豁。
systemctl daemon-reload
systemctl restart docker
重啟docker.
使用hello-world命令驗(yàn)證docker是否安裝成功。
sudo docker run hello-world
出現(xiàn)如下圖片說(shuō)明配置成功。
6 下載serving鏡像
docker pull tensorflow/serving:latest-devel
由于上文已經(jīng)配置網(wǎng)絡(luò)位置，所以本步不會(huì)出現(xiàn)連接超時(shí)的錯(cuò)誤。
使用命令查看安裝好的鏡像邀层。
sudo docker images
tensorflow/serving為本步安裝好的鏡像。
7使用 serving鏡像創(chuàng)建容器：
docker run -it -p 8500:8500 tensorflow/serving:latest-devel
如下圖遂庄，說(shuō)明已經(jīng)進(jìn)入docker.
8 模型導(dǎo)出
我們這里直接使用 https://github.com/opensourcesblog/tensorflow-mnist/tree/master/cps 下已經(jīng)train好導(dǎo)出的checkpoint文件寥院，使用下述腳本進(jìn)行模型導(dǎo)出工作。腳本中的路徑根據(jù)自己實(shí)際情況替換涛目。
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import tensorflow as tf
W = tf.Variable(tf.zeros([784, 10]))
b = tf.Variable(tf.zeros([10]))
x = tf.placeholder("float", [None, 784], name="x")
y = tf.nn.softmax(tf.matmul(x, W) + b, name="y")
saver = tf.train.Saver()
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
ckpt = tf.train.get_checkpoint_state("./cps/")
if ckpt and ckpt.model_checkpoint_path:
print(ckpt.model_checkpoint_path)
saver.restore(sess, ckpt.model_checkpoint_path)
# summary = tf.summary.merge_all()
# summary_writer = tf.summary.FileWriter('/Users/andy/Downloads/mnist_logs_2', sess.graph)
builder = tf.saved_model.builder.SavedModelBuilder("/Users/andy/Downloads/mnist_tfserving_model")
prediction_signature = tf.saved_model.signature_def_utils.build_signature_def(
inputs={
'x': tf.saved_model.utils.build_tensor_info(x),
},
outputs={
'y': tf.saved_model.utils.build_tensor_info(y),
},
method_name=tf.saved_model.signature_constants.PREDICT_METHOD_NAME)
legacy_init_op = tf.group(
tf.tables_initializer(), name='legacy_init_op')
builder.add_meta_graph_and_variables(
sess, [tf.saved_model.tag_constants.SERVING],
signature_def_map={
'mnist':
prediction_signature,
},
clear_devices=False,
legacy_init_op=legacy_init_op)
builder.save()
print("model export done.")
導(dǎo)出的模型需要在外層加一層目錄命名為 1 秸谢，后續(xù)tfserving會(huì)以此作為模型的版本標(biāo)識(shí)。目錄結(jié)構(gòu)如下：
9 模型傳輸
在ubuntu終端（需要另開一個(gè)終端霹肝，記住不要在docker容器里面）將自己的模型文件拷貝到容器中估蹄，
sudo docker cp /home/user/zhaobing/docker/tensorflow-mnist/mnist_tfserving_model bafaaaa573b4:/
左側(cè)為模型文件本地位置，右側(cè)為docker容器位置沫换，bafaaaa573b4為container id,如果沒有commit,每次啟動(dòng)docker 臭蚁，container id會(huì)改變，可以使用commit進(jìn)行固定讯赏。container id查詢命令為
sudo docker ps
10 在容器中運(yùn)行tensorflow_model_server服務(wù)
tensorflow_model_server --port=8500 --model_name=mnist --model_base_path=/mnist_tfserving_model/
model_name自己設(shè)定即可垮兑，注意文件路徑可能引起的錯(cuò)誤。
11 鏡像保存
默認(rèn)情況下漱挎，鏡像退出后系枪，所有操作都將清零，可以使用commit命令進(jìn)行對(duì)現(xiàn)有鏡像進(jìn)行新的構(gòu)建磕谅。
使用exit命令退出現(xiàn)有的docker
exit
構(gòu)建新的鏡像
sudo docker commit 614122c0aabb tensorflow/models
614122c0aabb為上文退出的鏡像的 container ID (用sudo docker ps)
tensorflow/models為目標(biāo)鏡像倉(cāng)庫(kù)私爷、鏡像名〔布校可自行設(shè)定衬浑。
進(jìn)入鏡像,即為新構(gòu)建的鏡像，之前做的修改均可復(fù)用放刨。
sudo docker run -it -p 8500:8500 tensorflow/models
注意
使用命令進(jìn)入docker環(huán)境時(shí)嚎卫，
user@user-PowerEdge-T630:~$ sudo docker run -it -p 8500:8500 tensorflow/serving:latest-devel
默認(rèn)進(jìn)入的路徑為：
root@ea549459413d:/tensorflow-serving#
而將本地文件傳輸至docker中需要傳入其上級(jí)路徑，故上文路徑這樣規(guī)定。
sudo docker cp /home/user/zhaobing/docker/tensorflow-mnist/mnist_tfserving_model bafaaaa573b4:/
