寫在前面
最近在學習Tensorflow的一些知識祖灰。做一些記錄方便自己查閱，如果有可能也希望能幫大家更好的學習沦辙。文中有不當?shù)牡胤秸埶叫盼一蛄粞苑蛑玻蠹夜餐M步。
一油讯、相關資源
（1）官網(wǎng)
最關鍵的資源是tensorflow的官網(wǎng).注意tensorflow中國站不是org結尾的網(wǎng)站,而是以cn結尾的站點。不用翻墻也能訪問延欠。
https://tensorflow.google.cn/
（2）github
Google在github上有一個tensorflow倉庫陌兑，里面特別需要關注的是research文件夾。有很多功能有已經(jīng)有相關實現(xiàn)由捎。
https://github.com/tensorflow/tensorflow
二兔综、基礎知識
根據(jù)例子來講解可能效果會更好，下面給出一個例子狞玛，原文來自
http://www.reibang.com/p/ce213e6b2dc0
當然類似的例子官網(wǎng)里也有软驰，有興趣的同學可以去看看。
import tensorflow as tf
import numpy as np
x_data = np.random.rand(100).astype(np.float32)
y_data = x_data * 0.1 + 0.3
### create tensorflow structure start
### #定義變量
Weights = tf.Variable(tf.random_uniform([1],-1.0,1.0))
biases = tf.Variable(tf.zeros([1]))
#如何計算預測值
y = Weights * x_data + biases
# loss function
loss = tf.reduce_mean(tf.square(y-y_data))
#梯度下降優(yōu)化器心肪，定義learning rate
optimizer = tf.train.GradientDescentOptimizer(0.5) #訓練目標是loss最小化
train = optimizer.minimize(loss)
#初始化變量锭亏，即初始化 Weights 和 biases
init = tf.global_variables_initializer()
#創(chuàng)建session，進行參數(shù)初始化
sess = tf.Session()
sess.run(init)
#開始訓練200步硬鞍，每隔20步輸出一下兩個參數(shù)
for step in range(201):
sess.run(train)
if step % 20 == 0:
print(step,sess.run(Weights),sess.run(biases)) ### create tensorflow structure end ###
上面的代碼很簡單慧瘤，輸入是100個二維坐標點（x,y）這些點均落在y=0.1x+0.3這條線上戴已。
假設我們只知道100個點的坐標，我們能否根據(jù)這些點找到y(tǒng)=0.1x+0.3“這條線”锅减？
顯然是可以的糖儡。
現(xiàn)在我們根據(jù)上述代碼，來引出tensorflow的一些基本知識怔匣。
（一）tf.Variable
這里我們已經(jīng)知道這“可能是”一個線性函數(shù)握联。所以要擬合線性函數(shù)，就是確定斜率和偏置每瞒。
Weights = tf.Variable(tf.random_uniform([1],-1.0,1.0))
biases = tf.Variable(tf.zeros([1]))
關于Variable的介紹拴疤，可以參考官網(wǎng)的API文檔
https://tensorflow.google.cn/api_docs/python/tf/Variable
原文是這么說的：
A variable maintains state in the graph across calls to run(). You add a variable to the graph by constructing an instance of the class Variable.
這句話的大概意思就是說就像數(shù)據(jù)結構里的圖，variable就像圖上的節(jié)點独泞。需要注意的是和python里可以“肆意”賦值呐矾，自動完成類型轉換不同。Variable若需修改類型需要顯示聲明懦砂，在次不再贅述蜒犯。
（二）tf.reduce_mean
先來看看函數(shù)原型：
tf.reduce_mean(input_tensor, axis=None, keep_dims=False, name=None, reduction_indices=None)
這個函數(shù)的含義是：
Computes the mean of elements across dimensions of a tensor.
又引用了一次API……這個函數(shù)是用來計算沿某一維度向量元素的均值的。
比如給出一個3*2的tensor荞膘，怎么計算均值罚随？六個數(shù)相加除6，還是三三分組羽资，兩兩分組淘菩？所以得要指定一下沿哪個維度計算均值。
回到上面的代碼屠升，似乎也沒指定維度axis啊潮改。
loss = tf.reduce_mean(tf.square(y-y_data))
其實在這種情況下，整個tensor所有元素求和再平均腹暖。
下面再看個例子可能更好懂汇在。仔細觀察一下維度0和1分別是什么方向？
# 'x' is [[1., 1.]
# [2., 2.]]
tf.reduce_mean(x) ==> 1.5
tf.reduce_mean(x, 0) ==> [1.5, 1.5]
tf.reduce_mean(x, 1) ==> [1., 2.]
我們可以發(fā)現(xiàn)reduction_indices=1時脏答，每個二維向量“內(nèi)部求和”糕殉。下面有張圖可以說明一下這個問題。其實也就二維的情況容易混淆殖告，其它情況（三維或更多維）沿哪個維度壓縮應當是清晰的阿蝶。
（三）tf.train
我們再看看一個相當重要的部分train。
#梯度下降優(yōu)化器黄绩，定義learning rate
optimizer = tf.train.GradientDescentOptimizer(0.5) #訓練目標是loss最小化
train = optimizer.minimize(loss)
這部分的內(nèi)容其實比較多羡洁，建議看看training的文檔。
https://tensorflow.google.cn/versions/master/api_guides/python/train
下面我們理一理宝与，這個train的用途焚廊。
1冶匹、Optimizers（優(yōu)化器）
2、Gradient Computation（計算梯度）
3咆瘟、Gradient Clipping（梯度裁剪）
4嚼隘、Decaying the learning rate（學習率衰減）
5、Moving Averages（滑動平均）
6袒餐、Coordinator and QueueRunner
7飞蛹、Distributed execution
8、Reading Summaries from Event Files
9灸眼、Training Hooks
10卧檐、Training Utilities
列舉了很多但是不一定會都用到，碰到哪個講哪兒吧焰宣！今天先說說Optimizers霉囚。
Optimizers
The Optimizer base class provides methods to compute gradients for a loss and apply gradients to variables. A collection of subclasses implement classic optimization algorithms such as GradientDescent and Adagrad.
Optimizer就是用來計算loss的梯度，怎么計算呢匕积？
以GradientDescentOptimizer為例盈罐，我們注意到
先是定義了一個optimizer，再將loss傳遞給optimizer闪唆。
train = optimizer.minimize(loss)
minimize是什么呢盅粪？從字面看最小化loss。
其實我們知道悄蕾，怎么去實現(xiàn)一個BP算法最小化loss票顾？至少需要兩個過程吧？一是計算梯度帆调，二是將梯度賦值奠骄。不斷重復兩個過程。minimize就是這兩個過程的合并贷帮。它把一些細節(jié)性的東西戚揭，比如每算完一輪梯度賦值，總輪數(shù)加一等等這些事情都做了撵枢。我們只要抽象的理解成經(jīng)過這一步驟出來的loss是“足夠小的”。其它優(yōu)化器類似精居。
剩下的部分建議參考
http://www.reibang.com/p/ce213e6b2dc0
寫的很好锄禽，本文不再贅述。祝您學習愉快靴姿！
