1谭贪、 tensorflow簡(jiǎn)介

Tensorflow 是 google 開源的機(jī)器學(xué)習(xí)工具，在2015年11月其實(shí)現(xiàn)正式開源箭跳，開源協(xié)議Apache 2.0懂版。

Tensorflow采用數(shù)據(jù)流圖（data　flow　graphs）來(lái)計(jì)算, 所以首先我們得創(chuàng)建一個(gè)數(shù)據(jù)流流圖,然后再將我們的數(shù)據(jù)（數(shù)據(jù)以張量(tensor)的形式存在）放在數(shù)據(jù)流圖中計(jì)算. 節(jié)點(diǎn)（Nodes）在圖中表示數(shù)學(xué)操作,圖中的邊（edges）則表示在節(jié)點(diǎn)間相互聯(lián)系的多維數(shù)據(jù)數(shù)組, 即張量（tensor).訓(xùn)練模型時(shí)tensor會(huì)不斷的從數(shù)據(jù)流圖中的一個(gè)節(jié)點(diǎn)flow到另一節(jié)點(diǎn), 這就是TensorFlow名字的由來(lái).

張量（Tensor):張量有多種. 零階張量為 純量或標(biāo)量 (scalar) 也就是一個(gè)數(shù)值. 比如 [1],一階張量為 向量 (vector), 比如 一維的 [1, 2, 3],二階張量為 矩陣 (matrix), 比如 二維的 [[1, 2, 3],[4, 5, 6],[7, 8, 9]],以此類推, 還有三維以上的多維。

2档玻、 tensorflow基礎(chǔ)

實(shí)際上編寫tensorflow可以總結(jié)為兩步.

（1）組裝一個(gè)graph;

（2）使用session去執(zhí)行g(shù)raph中的operation怀泊。

2.1、概念說(shuō)明

下面是 graph , session , operation , tensor 四個(gè)概念的簡(jiǎn)介误趴。

Tensor：類型化的多維數(shù)組霹琼，圖的邊；

Operation:執(zhí)行計(jì)算的單元凉当，圖的節(jié)點(diǎn)枣申；

Graph：一張有邊與點(diǎn)的圖，其表示了需要進(jìn)行計(jì)算的任務(wù)看杭；

Session:稱之為會(huì)話的上下文糯而，用于執(zhí)行圖。

2.2泊窘、一個(gè)例子：

import tensorflowas tf

import numpyas np

#tensorflow中大部分?jǐn)?shù)據(jù)是float32

# create real data 用numpy生成訓(xùn)練數(shù)據(jù)

x_data= np.random.rand(100).astype(np.float32)

y_data= x_data* 0.1 + 0.3

### create tensorflow structure start! ###

# 定義變量 用tf.Variable來(lái)定義變量w和b

Weights= tf.Variable(tf.random_uniform([1], -1.0, 1.0))

biases= tf.Variable(tf.zeros([1]))

# 定義如何計(jì)算預(yù)測(cè)值

y= Weights* x_data+ biases

# 損失函數(shù) 平方損失函數(shù)

loss= tf.reduce_mean(tf.square(y- y_data))

# 梯度下降優(yōu)化器,定義learning rate  optimizer = 優(yōu)化器

optimizer= tf.train.GradientDescentOptimizer(0.5)

# 訓(xùn)練目標(biāo)是損失最小化

train= optimizer.minimize(loss)

# 初始化變量熄驼， 即初始化weights和biases

init= tf.global_variables_initializer()

# 創(chuàng)建session，進(jìn)行參數(shù)初始化

sess= tf.Session()

sess.run(init)

# 開始訓(xùn)練200步烘豹， 每20步輸出一下兩個(gè)參數(shù)

for stepin range(201):

    sess.run(train)

if step% 20 == 0:

        print(step, sess.run(Weights), sess.run(biases))

### create tensorflow structure end ###

在上面的例子中瓜贾，我們想要預(yù)測(cè)的方程式y(tǒng)=0.1*x + 0.3,給定訓(xùn)練樣本，通過(guò)梯度下降法來(lái)預(yù)測(cè)參數(shù)W和偏置b携悯，我們使用numpy生成了我們的訓(xùn)練數(shù)據(jù)：

x_data = np.random.rand(100).astype(np.float32)
y_data = x_data * 0.1 + 0.3

隨后祭芦，我們使用tf.Variable定義了我們的變量Weights和biases(以下簡(jiǎn)稱w和b），Weights通過(guò)一個(gè)均勻分布隨機(jī)產(chǎn)生憔鬼，而bias則設(shè)置為0龟劲，同時(shí)二者的形狀均為1維，即就是一個(gè)數(shù)：

Weights = tf.Variable(tf.random_uniform([1],-1.0,1.0))
biases = tf.Variable(tf.zeros([1]))

好了轴或，有了變量昌跌，我們想要學(xué)習(xí)w和b，只需要用訓(xùn)練數(shù)據(jù)x來(lái)得到預(yù)測(cè)值照雁，最小化預(yù)測(cè)值和實(shí)際值的差距就好蚕愤，所以，我們定義了損失函數(shù)為平方損失函數(shù)，并通過(guò)0.5學(xué)習(xí)率的梯度下降法來(lái)進(jìn)行參數(shù)調(diào)整：

#如何計(jì)算預(yù)測(cè)值

y = Weights * x_data + biases# loss functionloss = tf.reduce_mean(tf.square(y-y_data))

#梯度下降優(yōu)化器萍诱，定義learning rate

optimizer = tf.train.GradientDescentOptimizer(0.5)

#訓(xùn)練目標(biāo)是loss最小化

train = optimizer.minimize(loss)

在tf中定義的變量都需要經(jīng)過(guò)初始化的操作悬嗓，所以我們定義了一個(gè)初始化變量的操作：

#初始化變量，即初始化 Weights 和 biases

init = tf.global_variables_initializer()

接下來(lái)我們就可以開始訓(xùn)練了裕坊，訓(xùn)練必須創(chuàng)建一個(gè)session包竹，通過(guò)run方法對(duì)指定的節(jié)點(diǎn)進(jìn)行訓(xùn)練，這里一定要注意先要對(duì)參數(shù)進(jìn)行初始化籍凝，否則后面是無(wú)法開始訓(xùn)練的映企。想要觀察訓(xùn)練過(guò)程中的參數(shù)變化的話，也需要通過(guò)run方法：

#創(chuàng)建session静浴，進(jìn)行參數(shù)初始化

# 開始訓(xùn)練200步堰氓， 每20步輸出一下兩個(gè)參數(shù)

for step in range(201):

    sess.run(train)

    if step% 20 == 0:

        print(step, sess.run(Weights), sess.run(biases))

這里我們直接run的是train這一步，想要運(yùn)行這一步苹享，必須先得到optimizier和loss双絮，想要得到loss就要得到預(yù)測(cè)值....依次往前推，所以run(train)實(shí)際上就是對(duì)整個(gè)tensor流圖的訓(xùn)練得问。

最后貼出來(lái)看一下輸出結(jié)果：

0 [-0.05120224] [ 0.5192185]
20 [ 0.04687011] [ 0.32806551]
40 [ 0.08647783] [ 0.307143]
60 [ 0.09655845] [ 0.30181798]
80 [ 0.09912409] [ 0.30046269]
100 [ 0.09977707] [ 0.30011776]
120 [ 0.09994329] [ 0.30002996]
140 [ 0.09998558] [ 0.30000764]
160 [ 0.09999632] [ 0.30000195]
180 [ 0.09999906] [ 0.30000052]
200 [ 0.09999976] [ 0.30000013]

2.3囤攀、數(shù)據(jù)結(jié)構(gòu)

Tensorflow的數(shù)據(jù)結(jié)構(gòu)有著rank,shape,data types的概念，下面來(lái)分別講解宫纬。

（1）rank

Rank一般是指數(shù)據(jù)的維度焚挠，其與線性代數(shù)中的rank不是一個(gè)概念。
例如我們所說(shuō)的標(biāo)量(Scalar)：
s = 8,維數(shù)為 0漓骚，所以它的 rank 為 0蝌衔。

例如矢量(Vector)：
v = [1, 2, 3]，rank 為 1蝌蹂。

例如矩陣(Matrix)：
一個(gè)二維矩陣 rank 為 2

又例如 rank 為 3 的 tensor：
t = [[[2], [4], [6]], [[8], [10], [12]], [[14], [16], [18]]],以此類推噩斟。

（2）shape
tensorflow 用 3 種方式描述一個(gè) tensor 的維數(shù)：
rank, shape(shape指tensor每個(gè)維度數(shù)據(jù)的個(gè)數(shù)), 以及 dimension number (維數(shù))
所以 shape 和 rank 的意思的一樣的，只是表達(dá)的形式不同孤个。

shape 寫成只包含整數(shù)的 list 或者 tuple 形式剃允，例如 [1, 4, 2]

（3）datatype

tensor 的數(shù)據(jù)結(jié)構(gòu)除了 維數(shù)(dimensionality)，還有 數(shù)據(jù)類型(data type)齐鲤。
例如 32位浮點(diǎn)數(shù)(32 bits floating point) 等等斥废，可以從下面的鏈接中查看完整的：
https://www.tensorflow.org/programmers_guide/dims_types#data_types

3、 Variables

（1）介紹

當(dāng)訓(xùn)練模型時(shí)给郊，需要使用Variables保存與更新參數(shù)牡肉。Variables會(huì)保存在內(nèi)存當(dāng)中，所有tensor一旦擁有Variables的指向就不會(huì)在session中丟失丑罪。其必須明確的初始化而且可以通過(guò)Saver保存到磁盤上荚板。Variables可以通過(guò)Variables初始化凤壁。

weights = tf.Variable(tf.random_normal([784, 200], stddev=0.35),name="weights")
biases = tf.Variable(tf.zeros([200]), name="biases")

其中吩屹，tf.random_normal是隨機(jī)生成一個(gè)正態(tài)分布的tensor跪另，其shape是第一個(gè)參數(shù)，stddev是其標(biāo)準(zhǔn)差煤搜。tf.zeros是生成一個(gè)全零的tensor免绿。之后將這個(gè)tensor的值賦值給Variable。

（2）初始化

實(shí)際在其初始化過(guò)程中做了很多的操作擦盾，比如初始化空間嘲驾，賦初值（等價(jià)于tf.assign），并把Variable添加到graph中等操作迹卢。注意在計(jì)算前需要初始化所有的Variable辽故。一般會(huì)在定義graph時(shí)定義global_variables_initializer，其會(huì)在session運(yùn)算時(shí)初始化所有變量腐碱。

直接調(diào)用global_variables_initializer會(huì)初始化所有的Variable誊垢，如果僅想初始化部分Variable可以調(diào)用tf.variables_initializer。

Init_ab = tf.variables_initializer([a,b],name=”init_ab”)

Variables可以通過(guò)eval顯示其值症见，也可以通過(guò)assign進(jìn)行賦值喂走。Variables支持很多數(shù)學(xué)運(yùn)算，具體可以參照官方文檔谋作。

（3）Variables與constant的區(qū)別

值得注意的是Variables與constant的區(qū)別芋肠。Constant一般是常量，可以被賦值給Variables遵蚜，constant保存在graph中帖池，如果graph重復(fù)載入那么constant也會(huì)重復(fù)載入，其非常浪費(fèi)資源吭净，如非必要盡量不使用其保存大量數(shù)據(jù)碘裕。而Variables在每個(gè)session中都是單獨(dú)保存的，甚至可以單獨(dú)存在一個(gè)參數(shù)服務(wù)器上攒钳“锟祝可以通過(guò)代碼觀察到constant實(shí)際是保存在graph中。

（4）命名

另外一個(gè)值得注意的地方是盡量每一個(gè)變量都明確的命名不撑，這樣易于管理命令空間文兢，而且在導(dǎo)入模型的時(shí)候不會(huì)造成不同模型之間的命名沖突，這樣就可以在一張graph中容納很多個(gè)模型焕檬。

4姆坚、 placeholders與feed_dict

當(dāng)我們定義一張graph時(shí)，有時(shí)候并不知道需要計(jì)算的值实愚，比如模型的輸入數(shù)據(jù)兼呵，其只有在訓(xùn)練與預(yù)測(cè)時(shí)才會(huì)有值兔辅。這時(shí)就需要placeholder(用占位符表示)與feed_dict的幫助。占位符并沒(méi)有初始值击喂，它只會(huì)分配必要的內(nèi)存维苔。在會(huì)話中，占位符可以使用 feed_dict 饋送數(shù)據(jù)懂昂。
feed_dict是一個(gè)字典介时，在字典中需要給出每一個(gè)用到的占位符的取值。（sess.run使用的時(shí)候要給出前面的占位符的取值凌彬。）

定義一個(gè)placeholder沸柔，可以使用tf.placeholder(dtype,shape=None,name=None)函數(shù)。

foo = tf.placeholder(tf.int32,shape=[1],name='foo')
bar = tf.constant(2,name='bar')
result = foo + bar
with tf.Session() as sess:
   print(sess.run(result)) 

在上面的代碼中铲敛，會(huì)拋出錯(cuò)誤（InvalidArgumentError）褐澎，因?yàn)橛?jì)算result需要foo的具體值，而在代碼中并沒(méi)有給出伐蒋。這時(shí)候需要將實(shí)際值賦給foo工三。最后一行修改如下（其中最后的dict就是一個(gè)feed_dict，一般會(huì)使用python讀入一些值后傳入咽弦，當(dāng)使用minbatch的情況下徒蟆，每次輸入的值都不同）：

print(sess.run(result,{foo:[3]}))