版權聲明：本文為博主原創(chuàng)文章事哭，未經(jīng)博主允許不得轉載抠艾。 https://blog.csdn.net/thriving_fcl/article/details/75213361
saved_model模塊主要用于TensorFlow Serving。TF Serving是一個將訓練好的模型部署至生產(chǎn)環(huán)境的系統(tǒng)捌浩，主要的優(yōu)點在于可以保持Server端與API不變的情況下快集，部署新的算法或進行試驗，同時還有很高的性能葵袭。
保持Server端與API不變有什么好處呢涵妥？有很多好處，我只從我體會的一個方面舉例子說明一下坡锡，比如我們需要部署一個文本分類模型蓬网，那么輸入和輸出是可以確定的，輸入文本鹉勒，輸出各類別的概率或類別標簽帆锋。為了得到較好的效果，我們可能想嘗試很多不同的模型禽额，CNN锯厢，RNN，RCNN等脯倒，這些模型訓練好保存下來以后实辑，在inference階段需要重新載入這些模型，我們希望的是inference的代碼有一份就好盔憨，也就是使用新模型的時候不需要針對新模型來修改inference的代碼徙菠。這應該如何實現(xiàn)呢？
在TensorFlow 模型保存/載入的兩種方法中總結過郁岩。
1. 僅用Saver來保存/載入變量婿奔。這個方法顯然不行，僅保存變量就必須在inference的時候重新定義Graph(定義模型)问慎，這樣不同的模型代碼肯定要修改萍摊。即使同一種模型，參數(shù)變化了如叼，也需要在代碼中有所體現(xiàn)冰木，至少需要一個配置文件來同步，這樣就很繁瑣了笼恰。
2. 使用tf.train.import_meta_graph導入graph信息并創(chuàng)建Saver踊沸， 再使用Saver restore變量。相比第一種社证，不需要重新定義模型逼龟，但是為了從graph中找到輸入輸出的tensor，還是得用graph.get_tensor_by_name()來獲取追葡，也就是還需要知道在定義模型階段所賦予這些tensor的名字腺律。如果創(chuàng)建各模型的代碼都是同一個人完成的奕短，還相對好控制，強制這些輸入輸出的命名都一致即可匀钧。如果是不同的開發(fā)者翎碑，要在創(chuàng)建模型階段就強制tensor的命名一致就比較困難了。這樣就不得不再維護一個配置文件之斯，將需要獲取的tensor名稱寫入日杈，然后從配置文件中讀取該參數(shù)。
經(jīng)過上面的分析發(fā)現(xiàn)吊圾，要實現(xiàn)inference的代碼統(tǒng)一达椰，使用原來的方法也是可以的，只不過TensorFlow官方提供了更好的方法项乒，并且這個方法不僅僅是解決這個問題啰劲，所以還是得學習使用saved_model這個模塊。
saved_model 保存/載入模型
先列出會用到的API
class tf.saved_model.builder.SavedModelBuilder
# 初始化方法
__init__(export_dir)
# 導入graph與變量信息
add_meta_graph_and_variables(
? ? sess,
? ? tags,
? ? signature_def_map=None,
? ? assets_collection=None,
? ? legacy_init_op=None,
? ? clear_devices=False,
? ? main_op=None
)
# 載入保存好的模型
tf.saved_model.loader.load(
? ? sess,
? ? tags,
? ? export_dir,
? ? **saver_kwargs
)
(1) 最簡單的場景檀何，只是保存/載入模型
保存
要保存一個已經(jīng)訓練好的模型蝇裤，使用下面三行代碼就可以了。
builder = tf.saved_model.builder.SavedModelBuilder(saved_model_dir)
builder.add_meta_graph_and_variables(sess, ['tag_string'])
builder.save()
首先構造SavedModelBuilder對象频鉴，初始化方法只需要傳入用于保存模型的目錄名栓辜，目錄不用預先創(chuàng)建。
add_meta_graph_and_variables方法導入graph的信息以及變量垛孔，這個方法假設變量都已經(jīng)初始化好了藕甩，對于每個SavedModelBuilder這個方法一定要執(zhí)行一次用于導入第一個meta graph。
第一個參數(shù)傳入當前的session周荐，包含了graph的結構與所有變量狭莱。
第二個參數(shù)是給當前需要保存的meta graph一個標簽，標簽名可以自定義概作，在之后載入模型的時候腋妙，需要根據(jù)這個標簽名去查找對應的MetaGraphDef，找不到就會報如RuntimeError: MetaGraphDef associated with tags 'foo' could not be found in SavedModel這樣的錯讯榕。標簽也可以選用系統(tǒng)定義好的參數(shù)骤素，如tf.saved_model.tag_constants.SERVING與tf.saved_model.tag_constants.TRAINING。
save方法就是將模型序列化到指定目錄底下愚屁。
保存好以后到saved_model_dir目錄下济竹，會有一個saved_model.pb文件以及variables文件夾。顧名思義霎槐，variables保存所有變量送浊，saved_model.pb用于保存模型結構等信息。
載入
使用tf.saved_model.loader.load方法就可以載入模型栽燕。如
meta_graph_def = tf.saved_model.loader.load(sess, ['tag_string'], saved_model_dir)
1
第一個參數(shù)就是當前的session罕袋，第二個參數(shù)是在保存的時候定義的meta graph的標簽，標簽一致才能找到對應的meta graph碍岔。第三個參數(shù)就是模型保存的目錄浴讯。
load完以后，也是從sess對應的graph中獲取需要的tensor來inference蔼啦。如
x = sess.graph.get_tensor_by_name('input_x:0')
y = sess.graph.get_tensor_by_name('predict_y:0')
# 實際的待inference的樣本
_x = ...
sess.run(y, feed_dict={x: _x})
這樣和之前的第二種方法一樣榆纽，也是要知道tensor的name。那么如何可以在不知道tensor name的情況下使用呢捏肢？ 那就需要給add_meta_graph_and_variables方法傳入第三個參數(shù)奈籽，signature_def_map。
(2) 使用SignatureDef
關于SignatureDef我的理解是鸵赫，它定義了一些協(xié)議衣屏，對我們所需的信息進行封裝，我們根據(jù)這套協(xié)議來獲取信息辩棒，從而實現(xiàn)創(chuàng)建與使用模型的解耦狼忱。SignatureDef的結構以及相關詳細的文檔在：https://github.com/tensorflow/serving/blob/master/tensorflow_serving/g3doc/signature_defs.md
相關API
# 構建signature
tf.saved_model.signature_def_utils.build_signature_def(
? ? inputs=None,
? ? outputs=None,
? ? method_name=None
)
# 構建tensor info
tf.saved_model.utils.build_tensor_info(tensor)
SignatureDef，將輸入輸出tensor的信息都進行了封裝一睁，并且給他們一個自定義的別名钻弄，所以在構建模型的階段，可以隨便給tensor命名者吁，只要在保存訓練好的模型的時候窘俺，在SignatureDef中給出統(tǒng)一的別名即可。
TensorFlow的關于這部分的例子中用到了不少signature_constants复凳，這些constants的用處主要是提供了一個方便統(tǒng)一的命名瘤泪。在我們自己理解SignatureDef的作用的時候，可以先不用管這些染坯，遇到需要命名的時候均芽，想怎么寫怎么寫。
保存
假設定義模型輸入的別名為“input_x”单鹿，輸出的別名為“output” 掀宋，使用SignatureDef的代碼如下
builder = tf.saved_model.builder.SavedModelBuilder(saved_model_dir)
# x 為輸入tensor, keep_prob為dropout的prob tensor
inputs = {'input_x': tf.saved_model.utils.build_tensor_info(x),
? ? ? ? ? ? 'keep_prob': tf.saved_model.utils.build_tensor_info(keep_prob)}
# y 為最終需要的輸出結果tensor
outputs = {'output' : tf.saved_model.utils.build_tensor_info(y)}
signature = tf.saved_model.signature_def_utils.build_signature_def(inputs, outputs, 'test_sig_name')
builder.add_meta_graph_and_variables(sess, ['test_saved_model'], {'test_signature':signature})
builder.save()
上述inputs增加一個keep_prob是為了說明inputs可以有多個， build_tensor_info方法將tensor相關的信息序列化為TensorInfo protocol buffer仲锄。
inputs劲妙，outputs都是dict，key是我們約定的輸入輸出別名儒喊，value就是對具體tensor包裝得到的TensorInfo镣奋。
然后使用build_signature_def方法構建SignatureDef，第三個參數(shù)method_name暫時先隨便給一個怀愧。
創(chuàng)建好的SignatureDef是用在add_meta_graph_and_variables的第三個參數(shù)signature_def_map中侨颈，但不是直接傳入SignatureDef對象余赢。事實上signature_def_map接收的是一個dict，key是我們自己命名的signature名稱哈垢，value是SignatureDef對象妻柒。
載入
載入與使用的代碼如下
## 略去構建sess的代碼
signature_key = 'test_signature'
input_key = 'input_x'
output_key = 'output'
meta_graph_def = tf.saved_model.loader.load(sess, ['test_saved_model'], saved_model_dir)
# 從meta_graph_def中取出SignatureDef對象
signature = meta_graph_def.signature_def
# 從signature中找出具體輸入輸出的tensor name
x_tensor_name = signature[signature_key].inputs[input_key].name
y_tensor_name = signature[signature_key].outputs[output_key].name
# 獲取tensor 并inference
x = sess.graph.get_tensor_by_name(x_tensor_name)
y = sess.graph.get_tensor_by_name(y_tensor_name)
# _x 實際輸入待inference的data
sess.run(y, feed_dict={x:_x})
從上面兩段代碼可以知道，我們只需要約定好輸入輸出的別名耘分，在保存模型的時候使用這些別名創(chuàng)建signature举塔，輸入輸出tensor的具體名稱已經(jīng)完全隱藏，這就實現(xiàn)創(chuàng)建模型與使用模型的解耦求泰。
---------------------
作者：thriving_fcl
來源：CSDN
原文：https://blog.csdn.net/thriving_fcl/article/details/75213361
版權聲明：本文為博主原創(chuàng)文章央渣，轉載請附上博文鏈接！
