本文使用的tensorlow版本:1.4
tensorlow安裝:pip install tensorflow
1杯聚、Tensorflow簡介
TensorFlow是采用數(shù)據(jù)流圖(data flow graphs)來計(jì)算, 所以首先我們得創(chuàng)建一個(gè)數(shù)據(jù)流流圖,然后再將我們的數(shù)據(jù)(數(shù)據(jù)以張量(tensor)的形式存在)放在數(shù)據(jù)流圖中計(jì)算. 節(jié)點(diǎn)(Nodes)在圖中表示數(shù)學(xué)操作,圖中的邊(edges)則表示在節(jié)點(diǎn)間相互聯(lián)系的多維數(shù)據(jù)數(shù)組, 即張量(tensor).訓(xùn)練模型時(shí)tensor會不斷的從數(shù)據(jù)流圖中的一個(gè)節(jié)點(diǎn)flow到另一節(jié)點(diǎn), 這就是TensorFlow名字的由來.
張量(Tensor):張量有多種. 零階張量為 純量或標(biāo)量 (scalar) 也就是一個(gè)數(shù)值. 比如 [1],一階張量為 向量 (vector), 比如 一維的 [1, 2, 3],二階張量為 矩陣 (matrix), 比如 二維的 [[1, 2, 3],[4, 5, 6],[7, 8, 9]],以此類推, 還有 三階 三維的 …
2、從一個(gè)例子講起
首先悬秉,我們來看一個(gè)簡單的例子:
import tensorflow as tf
import numpy as np
#tensorflow中大部分?jǐn)?shù)據(jù)是float32
#create real data
x_data = np.random.rand(100).astype(np.float32)
y_data = x_data * 0.1 + 0.3
### create tensorflow structure start ###
#定義變量
Weights = tf.Variable(tf.random_uniform([1],-1.0,1.0))
biases = tf.Variable(tf.zeros([1]))
#如何計(jì)算預(yù)測值
y = Weights * x_data + biases
# loss function
loss = tf.reduce_mean(tf.square(y-y_data))
#梯度下降優(yōu)化器澄步,定義learning rate
optimizer = tf.train.GradientDescentOptimizer(0.5)
#訓(xùn)練目標(biāo)是loss最小化
train = optimizer.minimize(loss)
#初始化變量冰蘑,即初始化 Weights 和 biases
init = tf.global_variables_initializer()
#創(chuàng)建session和泌,進(jìn)行參數(shù)初始化
sess = tf.Session()
sess.run(init)
#開始訓(xùn)練200步,每隔20步輸出一下兩個(gè)參數(shù)
for step in range(201):
sess.run(train)
if step % 20 == 0:
print(step,sess.run(Weights),sess.run(biases))
### create tensorflow structure end ###
在上面的例子中祠肥,我們想要預(yù)測的方程式y(tǒng)=0.1*x + 0.3,給定訓(xùn)練樣本武氓,通過梯度下降法來預(yù)測參數(shù)W和偏置b,我們使用numpy生成了我們的訓(xùn)練數(shù)據(jù):
x_data = np.random.rand(100).astype(np.float32)
y_data = x_data * 0.1 + 0.3
隨后仇箱,我們使用tf.Variable定義了我們的變量Weights和biases(以下簡稱w和b)县恕,Weights通過一個(gè)均勻分布隨機(jī)產(chǎn)生,而bias則設(shè)置為0剂桥,同時(shí)二者的形狀均為1維忠烛,因?yàn)榫鸵粋€(gè)數(shù)嘛:
Weights = tf.Variable(tf.random_uniform([1],-1.0,1.0))
biases = tf.Variable(tf.zeros([1]))
好了,有了變量权逗,我們想要學(xué)習(xí)w和b美尸,只需要用訓(xùn)練數(shù)據(jù)x來得到預(yù)測值,最小化預(yù)測值和實(shí)際值的差距就好斟薇,所以师坎,我們定義了損失函數(shù)為平方損失函數(shù),并通過0.5學(xué)習(xí)率的梯度下降法來進(jìn)行參數(shù)調(diào)整:
#如何計(jì)算預(yù)測值
y = Weights * x_data + biases
# loss function
loss = tf.reduce_mean(tf.square(y-y_data))
#梯度下降優(yōu)化器堪滨,定義learning rate
optimizer = tf.train.GradientDescentOptimizer(0.5)
#訓(xùn)練目標(biāo)是loss最小化
train = optimizer.minimize(loss)
在tf中定義的變量都需要經(jīng)過初始化的操作胯陋,所以我們定義了一個(gè)初始化變量的操作:
#初始化變量,即初始化 Weights 和 biases
init = tf.global_variables_initializer()
接下來我們就可以開始訓(xùn)練了袱箱,訓(xùn)練必須創(chuàng)建一個(gè)session遏乔,通過run方法對指定的節(jié)點(diǎn)進(jìn)行訓(xùn)練,這里一定要注意先要對參數(shù)進(jìn)行初始化发笔,否則后面是無法開始訓(xùn)練的盟萨。想要觀察訓(xùn)練過程中的參數(shù)變化的話,也需要通過run方法:
#創(chuàng)建session筐咧,進(jìn)行參數(shù)初始化
sess = tf.Session()
sess.run(init)
#開始訓(xùn)練200步鸯旁,每隔20步輸出一下兩個(gè)參數(shù)
for step in range(201):
sess.run(train)
if step % 20 == 0:
print(step,sess.run(Weights),sess.run(biases))
這里 我們直接run的是train這一步噪矛,想要運(yùn)行這一步,必須先得到optimizier和loss铺罢,想要得到loss就要得到預(yù)測值....依次往前推艇挨,所以run(train)實(shí)際上就是對整個(gè)tensor流圖的訓(xùn)練。
好啦韭赘,說了這么多缩滨,我們來看一下我們的輸出結(jié)果吧:
0 [ 0.65090138] [-0.04130311]
20 [ 0.23774943] [ 0.21987261]
40 [ 0.13388598] [ 0.2802889]
60 [ 0.10833587] [ 0.29515111]
80 [ 0.10205062] [ 0.2988072]
100 [ 0.10050445] [ 0.29970658]
120 [ 0.10012411] [ 0.29992783]
140 [ 0.10003054] [ 0.29998225]
160 [ 0.10000751] [ 0.29999563]
180 [ 0.10000186] [ 0.29999894]
200 [ 0.10000047] [ 0.29999974]
可以看到,經(jīng)過200步泉瞻,準(zhǔn)確的說在80步左右的時(shí)候脉漏,我們的tensorflow已經(jīng)能夠很準(zhǔn)確的將Weights和Bias學(xué)習(xí)出來了,有木有感覺很強(qiáng)大袖牙,哈哈侧巨!
3、tf.Session
Session 是 Tensorflow 為了控制,和輸出文件的執(zhí)行的語句. 運(yùn)行 session.run() 可以獲得你要得知的運(yùn)算結(jié)果, 或者是你所要運(yùn)算的部分鞭达,有兩種使用Session的方式司忱,我們可以從下面的例子中看出來,但在實(shí)際中,我們更推薦后者:
import tensorflow as tf
matrix1 = tf.constant([[3,3]])
matrix2 = tf.constant([[2],[2]])
product = tf.matmul(matrix1,matrix2)
sess = tf.Session()
result = sess.run(product)
print(result)
sess.close()
with tf.Session() as sess:
result2 = sess.run(product)
print(result2)
4畴蹭、tf.Variable
在 Tensorflow 中坦仍,定義了某字符串是變量,它才是變量叨襟,這一點(diǎn)是與 Python 所不同的繁扎。定義語法: state = tf.Variable().如果你在 Tensorflow 中設(shè)定了變量,那么初始化變量是最重要的:觥梳玫!所以定義了變量以后, 一定要定義 init = tf.global_variables_initializer().到這里變量還是沒有被激活,需要再在 sess 里, sess.run(init) , 激活 init 這一步.
import tensorflow as tf
#定義變量墓怀,給定初始值和name
state = tf.Variable(0,name="counter")
#counter:0
print(state.name)
one = tf.constant(1)
new_value = tf.add(state,one)
update = tf.assign(state,new_value)
#這里只是定義汽纠,必須用session.run來執(zhí)行
init = tf.global_variables_initializer()
with tf.Session() as sess:
sess.run(init)
for _ in range(3):
sess.run(update)
print(sess.run(state))
5、TF placeholder
placeholder 是 Tensorflow 中的占位符傀履,暫時(shí)儲存變量.
Tensorflow 如果想要從外部傳入data, 那就需要用到 tf.placeholder(), 然后以這種形式傳輸數(shù)據(jù) sess.run(***, feed_dict={input: **}).
import tensorflow as tf
input1 = tf.placeholder(dtype=tf.float32)
input2 = tf.placeholder(dtype=tf.float32)
output = tf.multiply(input1,input2)
with tf.Session() as sess:
print(sess.run(output,feed_dict={input1:[3.],input2:[5]}))