0、安裝tensorflow
- 安裝方法并不困難，只需要按照tensorflow官網(wǎng)https://www.tensorflow.org/install/（中文顯示）的指導完成就行灾前。有各個操作系統(tǒng)下的安裝指導。
- 大致分為以下步驟
1、安裝python3（更推薦直接安裝包括了python3基本庫以及多個科學計算庫"numpy网杆、sklearn等"的Anaconda）
2、在Anaconda里面再下載安裝tensorflow（34MB左右大幸磷獭）
3碳却、tensorflow分為普通版和GPU版，若有GPU則應安裝GPU版笑旺。
1昼浦、從名字理解tensorflow
- tensor
即張量的意思，也可以理解為我們常見的矩陣筒主，但每一個tensor是一個實例對象关噪。矩陣里面有很多由同一個基本數(shù)據(jù)類型組成的數(shù)據(jù)元素。所以tensor可以理解為tensorflow這種學習框架最常用的一種數(shù)據(jù)類型物舒。 - flow
即流動的意思色洞。 - tensor+flow
意為矩陣形式的數(shù)據(jù)在流動，流動就會產(chǎn)生變化冠胯。所以tensorflow的目的就是讓矩陣形式的數(shù)據(jù)經(jīng)過一系列矩陣變換火诸，得到我們想要的矩陣。
2荠察、tensor是怎么flow的置蜀？數(shù)據(jù)在哪里流動？數(shù)據(jù)流動過程中怎么發(fā)生變化悉盆？
-
graph
圖盯荤，地圖，流程圖焕盟，計算圖秋秤。類似現(xiàn)實中的黃河流域圖，在圖中能看到多個節(jié)點和路線脚翘。有多個地方有水流入黃河主干也有多個地方有水流出灼卢。黃河的水在經(jīng)過各個節(jié)點后顏色有變化，黃河的源頭在青藏高原来农，水很清澈鞋真，在流經(jīng)蘭州后變黃，然后在流經(jīng)銀川到陜西沃于、山西涩咖、河南洛陽這一帶水特別渾濁污染嚴重海诲，最后流入海洋的水也早已經(jīng)不是源頭的清水。
黃河流域圖.jpg
tensorflow的數(shù)據(jù)流動過程圖.gif
計算圖
圖中tensor如何發(fā)生變化特幔？
- w、x和b就是3個不同的tensor矩陣數(shù)據(jù)盾似，作為輸入節(jié)點——input tensor
- MatMul敬辣、Add和ReLU，是3個計算節(jié)點零院，分別代表3個對矩陣的不同的操作溉跃，就是這些操作使得tensor數(shù)據(jù)發(fā)生變化——operator
- C是由3個輸入矩陣經(jīng)過一系列變化后的輸出數(shù)據(jù)——output tensor
3、我們要怎么運行tensorflow告抄？
tensorflow的運行流程主要有2步撰茎，分別是構建模型和運行模型。
3.1打洼、構建模型
- 在構建模型階段龄糊，我們需要通過代碼構建一個圖來描述我們的模型。所謂圖募疮，可以理解為流程圖炫惩，就是將
數(shù)據(jù)的輸入節(jié)點->中間處理節(jié)點->輸出節(jié)點整個流程用代碼表示出來。并為每個節(jié)點命名阿浓，以便我們可以通過名字來訪問這些節(jié)點他嚷。 - 例如，要構建下圖中的模型芭毙，那表達式就是
Y=W*X+b ————W為權重矩陣筋蓖，b為偏差
C=ReLU(Y) ————激活函數(shù)ReLU：yi=max(0,yi)，即矩陣Y中負數(shù)全替換為0
計算流程圖Graph
- 構建模型的代碼如下：
import tensorflow as tf
import numpy as np
# 計算圖退敦，不加這一行也會提供一個默認圖
myGraph = tf.get_default_graph()
# 多個tensor數(shù)據(jù)節(jié)點
X = tf.placeholder(name="input", shape=[2, 1], dtype=tf.int32)
W = tf.get_variable(name="weight", shape=[2, 2], dtype=tf.int32,
initializer=tf.constant_initializer([[-1, 1], [-1, -1]]))
b = tf.get_variable(name="bias", shape=[2, 1], dtype=tf.int32,
initializer=tf.constant_initializer([1, 1]))
# 多個operation操作節(jié)點
Y = tf.matmul(W, X) + b
C = tf.nn.relu(Y)
上面的模型Y=W*X+b 就是構成神經(jīng)網(wǎng)絡的基礎——神經(jīng)元粘咖。函數(shù)f(?)也被稱為是神經(jīng)元的激活函數(shù)。一定是帶有激活函數(shù)的才是一個神經(jīng)元侈百。神經(jīng)元
上面的一層神經(jīng)網(wǎng)絡模型一層神經(jīng)網(wǎng)絡
-
一般構建兩層就可以認為是一個神經(jīng)網(wǎng)絡瓮下，更多層就可以認為是深度神經(jīng)網(wǎng)絡也就是深度學習。
——兩層神經(jīng)網(wǎng)絡钝域，隱藏層就是指除輸入層和輸出層外的所有中間層讽坏，中間層的數(shù)據(jù)一般是不用關心的，所以叫隱藏層（或隱含層网梢，類似黑盒子）震缭。一般輸入層數(shù)據(jù)X都認為是一個神經(jīng)元赂毯，而x1,x2,x3,xn這些只是一個輸入X的不同維度的數(shù)據(jù)战虏，或者不當做神經(jīng)元拣宰。中間隱含層的每層多個圓表示多個神經(jīng)元。兩層神經(jīng)網(wǎng)絡圖.jpg
——普通的多層神經(jīng)網(wǎng)絡又叫多層感知機多層感知機.jpg
——卷積神經(jīng)網(wǎng)絡烦感，某些神經(jīng)元的輸入信息只和部分前一層輸出神經(jīng)元有關巡社。卷積神經(jīng)網(wǎng)絡圖.jpg
——循環(huán)神經(jīng)網(wǎng)絡，某些神經(jīng)元的輸入信息手趣，不僅包括前一層的輸出晌该，還包括它自身先前狀態(tài)。也就是引入了時間上的循環(huán)绿渣，有記憶功能朝群。
循環(huán)神經(jīng)網(wǎng)絡.jpg
3.2運行模型
- 模型也可以理解為模板，是抽象的中符。只能在給這個模板輸入不同的X姜胖，得到不同的Y和C時，才能稱為一次模板的實現(xiàn)淀散。為了區(qū)分不同的模板實現(xiàn)右莱，tensorflow引入了session來控制。
- session即會話的意思档插，常用在網(wǎng)絡通信協(xié)議中表示一個會話控制對象慢蜓，session 對象存儲特定用戶會話所需的屬性及配置等信息。
-
如果不使用session郭膛，直接打印tensor只能看到對象信息晨抡，看不到具體的數(shù)據(jù)，如下代碼打印結果：未使用session
- 在session內run運行這些tensor節(jié)點才能看到具體的數(shù)據(jù)饲鄙，而且所有的operation操作節(jié)點也必須在session內run才能執(zhí)行凄诞。
import tensorflow as tf
import numpy as np
# 計算圖，不加這一行也會提供一個默認圖
myGraph = tf.get_default_graph()
# 多個tensor
hello = tf.constant("hello world !")
X = tf.placeholder(name="input", shape=[2, 1], dtype=tf.int32)
W = tf.get_variable(name="weight", shape=[2, 2], dtype=tf.int32,
initializer=tf.constant_initializer([[-1, 1], [-1, -1]]))
b = tf.get_variable(name="bias", shape=[2, 1], dtype=tf.int32,
initializer=tf.constant_initializer([1, 1]))
# 操作operation
Y = tf.matmul(W, X) + b
C = tf.nn.relu(Y)
print("打印tensor：")
print(hello)
print(X)
print(W)
# 開始運行計算圖
sess = tf.Session()
# 必須先初始化所有變量忍级，并分配內存
sess.run(tf.global_variables_initializer())
print(sess.run(hello))
print("W=", sess.run(W))
# 注意帆谍，用tensorflow產(chǎn)生的tensor只是一個類實例對象，
# 必須在執(zhí)行run之后才能變成實際的矩陣
# x_matrix = tf.ones(shape=[2, 1], dtype=tf.int32)
x_matrix = np.reshape([1, 1], (2, 1))
print("X=\n",x_matrix)
print("b=\n", sess.run(b))
# 給定輸入值
x_input = myGraph.get_tensor_by_name("input:0")
print("Y=W*X+b=\n", sess.run(Y, feed_dict={x_input: x_matrix}))
print("C=ReLU(Y)=\n", sess.run(C, feed_dict={X: x_matrix}))
sess.close()
-
輸出結果如下：使用session
矩陣運算
4轴咱、怎么用tensorflow來做一個機器學習模型汛蝙？
主要分為以下四個步驟：
- 前向傳播：模型訓練，得到輸出結果與實際結果的誤差（損失）值loss
1朴肺、構建模型
2窖剑、設計損失函數(shù)loss
- 反向傳播：目的是通過優(yōu)化函數(shù)，如梯度下降法去反向調整模型的變量——權重矩陣W和偏置b戈稿，使得loss函數(shù)取得最小值
設計優(yōu)化函數(shù)
- 訓練模型：用更新的W和b再次進行訓練西土，得到新的loss。設計循環(huán)重復進行訓練鞍盗，希望得到滿意的loss需了，當然也可能模型設計的有問題得不到loss最小值跳昼。
- 保存和使用模型：也就是保存變量W和b的值。在用于預測時加載這個模型肋乍，就可以得到分類結果鹅颊。
代碼如下：
import tensorflow as tf
import numpy as np
# 計算圖，不加這一行也會提供一個默認圖
myGraph = tf.get_default_graph()
# 訓練得到的模型保存的地址
model_path = "D:/src/ML_DL/models/model.ckpt"
# 多個tensor
hello = tf.constant("hello world !")
X = tf.placeholder(name="input", shape=[2, 1], dtype=tf.float32)
W = tf.get_variable(name="weight", shape=[2, 2], dtype=tf.float32,
initializer=tf.constant_initializer([[1, 1], [1, 1]]))
b = tf.get_variable(name="bias", shape=[2, 1], dtype=tf.float32,
initializer=tf.constant_initializer([0, 0]))
target = tf.placeholder(name="lables", shape=[2, 1], dtype=tf.float32)
# 1墓造、構建模型
Y = tf.matmul(W, X) + b
# 2堪伍、損失函數(shù)，簡單設計為均方誤差的求和
err = 0.5*(Y - target)**2
loss = tf.reduce_sum(err)
# 3觅闽、優(yōu)化函數(shù)帝雇，梯度下降法去求使得loss函數(shù)有最小值的最優(yōu)的W和b
# 參數(shù)0.1是學習率，可以控制每次下降的速度
back_transfer = tf.train.GradientDescentOptimizer(0.1).minimize(loss)
# 提供輸入值x和對應的目標值
x_matrix = np.reshape([0.9, 1.1], (2, 1))
target_matrix = np.reshape([1, 1], (2, 1))
accuracy = (1-loss)*100.0
# 查看系統(tǒng)自動分配的tensor名字蛉拙，如果自己不設定name的話
print(Y)
# 開始運行計算圖
sess = tf.Session()
# 必須先初始化所有變量摊求，并分配內存
sess.run(tf.global_variables_initializer())
print(sess.run(hello))
for i in range(20):
print("=======第%d次訓練====================" % (i+1))
print("W=\n", sess.run(W))
print("X=\n", x_matrix)
print("b=\n", sess.run(b))
x_input = myGraph.get_tensor_by_name("input:0")
print("Y=W*X+b=\n", sess.run(Y, feed_dict={x_input: x_matrix}))
print("target=\n", target_matrix)
print("err = 0.5*(Y - target)**2=\n", sess.run(err,
feed_dict={X: x_matrix, target: target_matrix}))
print("loss=\n", sess.run(loss,
feed_dict={X: x_matrix, target: target_matrix}))
acc = sess.run(accuracy,
feed_dict={X: x_matrix, target: target_matrix})
print("預測準確度= %", acc)
# 可以在適當?shù)臅r候保存模型，并結束訓練
if acc > 99.5:
saver = tf.train.Saver()
saver.save(sess, model_path)
break
# 執(zhí)行反向傳遞刘离，根據(jù)梯度下降法來更新變量——權重W和偏差b
sess.run(back_transfer, feed_dict={X: x_matrix, target: target_matrix})
sess.close()
程序運行結果：
Tensor("add:0", shape=(2, 1), dtype=float32)
b'hello world !'
=======第1次訓練====================
W=
[[1. 1.]
[1. 1.]]
X=
[[0.9]
[1.1]]
b=
[[0.]
[0.]]
Y=W*X+b=
[[2.]
[2.]]
target=
[[1]
[1]]
err = 0.5*(Y - target)**2=
[[0.5]
[0.5]]
loss=
1.0
預測準確度= % 0.0
=======第2次訓練====================
W=
[[0.91 0.89]
[0.91 0.89]]
X=
[[0.9]
[1.1]]
b=
[[-0.1]
[-0.1]]
Y=W*X+b=
[[1.6980001]
[1.6980001]]
target=
[[1]
[1]]
err = 0.5*(Y - target)**2=
[[0.24360205]
[0.24360205]]
loss=
0.4872041
預測準確度= % 51.279594
=======第3次訓練====================
W=
[[0.84718 0.81321996]
[0.84718 0.81321996]]
X=
[[0.9]
[1.1]]
b=
[[-0.16980001]
[-0.16980001]]
Y=W*X+b=
[[1.4872038]
[1.4872038]]
target=
[[1]
[1]]
err = 0.5*(Y - target)**2=
[[0.11868379]
[0.11868379]]
loss=
0.23736759
預測準確度= % 76.263245
=======第4次訓練====================
W=
[[0.8033317 0.7596275]
[0.8033317 0.7596275]]
X=
[[0.9]
[1.1]]
b=
[[-0.2185204]
[-0.2185204]]
Y=W*X+b=
[[1.3400683]
[1.3400683]]
target=
[[1]
[1]]
err = 0.5*(Y - target)**2=
[[0.05782324]
[0.05782324]]
loss=
0.115646474
預測準確度= % 88.43535
=======第5次訓練====================
W=
[[0.7727255 0.72222 ]
[0.7727255 0.72222 ]]
X=
[[0.9]
[1.1]]
b=
[[-0.25252724]
[-0.25252724]]
Y=W*X+b=
[[1.2373676]
[1.2373676]]
target=
[[1]
[1]]
err = 0.5*(Y - target)**2=
[[0.0281717]
[0.0281717]]
loss=
0.05634339
預測準確度= % 94.36566
=======第6次訓練====================
W=
[[0.75136244 0.69610953]
[0.75136244 0.69610953]]
X=
[[0.9]
[1.1]]
b=
[[-0.276264]
[-0.276264]]
Y=W*X+b=
[[1.1656828]
[1.1656828]]
target=
[[1]
[1]]
err = 0.5*(Y - target)**2=
[[0.01372539]
[0.01372539]]
loss=
0.027450787
預測準確度= % 97.25492
=======第7次訓練====================
W=
[[0.73645097 0.6778844 ]
[0.73645097 0.6778844 ]]
X=
[[0.9]
[1.1]]
b=
[[-0.2928323]
[-0.2928323]]
Y=W*X+b=
[[1.1156465]
[1.1156465]]
target=
[[1]
[1]]
err = 0.5*(Y - target)**2=
[[0.00668705]
[0.00668705]]
loss=
0.013374109
預測準確度= % 98.66259
=======第8次訓練====================
W=
[[0.7260428 0.6651633]
[0.7260428 0.6651633]]
X=
[[0.9]
[1.1]]
b=
[[-0.30439693]
[-0.30439693]]
Y=W*X+b=
[[1.0807211]
[1.0807211]]
target=
[[1]
[1]]
err = 0.5*(Y - target)**2=
[[0.00325795]
[0.00325795]]
loss=
0.0065159025
預測準確度= % 99.34841
=======第9次訓練====================
W=
[[0.7187779 0.656284 ]
[0.7187779 0.656284 ]]
X=
[[0.9]
[1.1]]
b=
[[-0.31246904]
[-0.31246904]]
Y=W*X+b=
[[1.0563436]
[1.0563436]]
target=
[[1]
[1]]
err = 0.5*(Y - target)**2=
[[0.0015873]
[0.0015873]]
loss=
0.0031745962
預測準確度= % 99.68254
Process finished with exit code 0
反向傳播室叉，梯度下降法優(yōu)化函數(shù)推導過程
反向傳播數(shù)學推導1反向傳播數(shù)學推導2上圖中η為學習率，控制每次下降的速度
第9次訓練就結束了
保存的模型
5硫惕、使用訓練好的模型做預測
使用保存好的模型
代碼如下：
import tensorflow as tf
import numpy as np
# 測試剛才保存的模型的變量是不是我們最后訓練得到的
sess = tf.Session()
saver = tf.train.import_meta_graph("D:/src/ML_DL/models/model.ckpt.meta")
saver.restore(sess, tf.train.latest_checkpoint("D:/src/ML_DL/models/"))
graph2 = tf.get_default_graph()
weight = graph2.get_tensor_by_name("weight:0")
bias = graph2.get_tensor_by_name("bias:0")
print("weight=\n", sess.run(weight))
print("bias=\n", sess.run(bias))
# 輸入相同的X值茧痕，查看輸出Y是否與之前的一樣
input_x = graph2.get_tensor_by_name("input:0")
x_value = np.reshape([0.9, 1.1], (2, 1))
output_y = graph2.get_tensor_by_name("add:0")
print("Y=\n", sess.run(output_y, feed_dict={input_x: x_value}))
sess.close()
更詳細的總結博客：https://blog.csdn.net/ztf312/article/details/72722184
