1 手寫字體MNIST數(shù)據(jù)集介紹
當我們開始學習編程的時候听皿，第一件事往往是學習打印“Hello World”阳欲，機器學習（深度學習）入門的MNIST就相當于編程入門的“Hello World”者蠕。
MNIST是一個入門級的計算機視覺數(shù)據(jù)集檩奠，總共有70000張圖片翁锡，其中60000張圖片作為訓練數(shù)據(jù)蔓挖，10000張圖片作為測試數(shù)據(jù)。（實際上馆衔，TensorFlow將60000張圖片的訓練數(shù)據(jù)拆分成了兩部分瘟判，一部分是55000張的圖片訓練數(shù)據(jù)，另一部分是5000張的圖片驗證數(shù)據(jù)哈踱。）MNIST數(shù)據(jù)集官方網(wǎng)址為：http://yann.lecun.com/exdb/mnist/ 荒适，在MNIST數(shù)據(jù)集中的每一張圖片都代表了0-9中的一個數(shù)字，每張圖片的像素都是28x28开镣，且數(shù)字都會出現(xiàn)在圖片的正中間刀诬。
我們把這個數(shù)組展開成一個一維數(shù)組，長度是28x28=784邪财，以方便TensorFlow將圖片的像素矩陣提供給神經(jīng)網(wǎng)絡的輸入層陕壹。這樣的話，訓練集中的圖片就相當于一個[60000树埠，784]的張量糠馆，第一個維度數(shù)字用來索引圖片，第二個維度數(shù)字用來索引每張圖片中的像素點怎憋。在此張量里的每一個元素又碌，都表示某張圖片里的某個像素的強度值九昧，值介于0和1之間。
相對應的MNIST數(shù)據(jù)集的標簽是介于0到9的數(shù)字毕匀，用來描述給定圖片里表示的數(shù)字铸鹰。使用one-hot編碼，一個one-hot向量除了某一位的數(shù)字是1以外其余各維度數(shù)字都是0皂岔。數(shù)字n將表示成一個只有在第n維度（從0開始）數(shù)字為1的10維向量蹋笼。比如，標簽3將表示成[0躁垛，0剖毯，0，1教馆，0逊谋，0，0活玲，0涣狗，0，0舒憾，0]镀钓。因此，訓練集中的標簽是一個[60000镀迂，10] 的張量丁溅。
2 Softmax回歸
MNIST的每一張圖片都表示一個數(shù)字，我們希望得到給定圖片代表每個數(shù)字的概率探遵。比如窟赏，一張包含9的圖片，模型可能預測為數(shù)字9的概率是80%箱季，預測為數(shù)字8的概率是10%（因為8和9都有上半部分的小圓）涯穷，然后給予它代表其他數(shù)字的概率更小的值。
對于二分類問題藏雏，可以使用Logistic回歸模型拷况，多分類問題可以使用Softmax回歸。Softmax回歸模型是Logistic回歸模型在多分類問題上的推廣掘殴，在多分類問題中赚瘦，類標簽 y 可以取兩個以上的值，Softmax模型可以求出不同標簽值對應的分配概率奏寨。對于MNIST手寫數(shù)字分類問題起意，其目的是辨識10個不同的單個數(shù)字，所以可以使用Softmax回歸模型病瞳。
為了得到一張給定圖片屬于某個特定數(shù)字類的證據(jù)（evidence）揽咕，我們對圖片像素值進行加權(quán)求和奴烙。如果這個像素具有很強的證據(jù)說明這張圖片不屬于該類拓萌，那么相應的權(quán)值為負數(shù)攒岛，相反如果這個像素擁有有利的證據(jù)支持這張圖片屬于這個類萄唇，那么權(quán)值是正數(shù)般堆。
下面的圖片顯示了一個模型學習到的圖片上每個像素對于特定數(shù)字類的權(quán)值莫矗。紅色代表負數(shù)權(quán)值绑蔫，藍色代表正數(shù)權(quán)值蛔垢。
我們也需要加入一個額外的偏置量（bias）嚎于，因為輸入往往會帶有一些無關(guān)的干擾量掘而。
相關(guān)的計算公式為：
這里的softmax可看成是一個激勵（activation）函數(shù)，把我們定義的線性函數(shù)的輸出轉(zhuǎn)換成我們想要的樣式于购，也就是關(guān)于10個數(shù)字類的概率分布袍睡。因此，給定一張圖片肋僧，它對于每一個數(shù)字的吻合度可以被softmax函數(shù)轉(zhuǎn)換成為一個概率值斑胜。
假設(shè)預測模型的結(jié)果總共有A、B嫌吠、C三類止潘，一個樣本經(jīng)過權(quán)重和偏差的作用之后，得到的結(jié)果為[-1辫诅，2凭戴，3]，那么對應的softmax值為[exp(-1)炕矮，exp(2)么夫，exp(3)]=[0.36788，7.38906肤视，20.08554]档痪，總和為0.36788+7.38906+20.08554=27.84248，歸一化之后的結(jié)果為[0.36788/27.84248邢滑，7.38906/27.84248腐螟，20.08554/27.84248]=[0.013213，0.269429殊鞭，0.717358]遭垛，也就是該樣本屬于A、B操灿、C類的概率分別為0.013213锯仪，0.269429，0.717358趾盐。
實際上庶喜，在計算過程中小腊，為了防止出現(xiàn)數(shù)據(jù)溢出（+∞），在進行softmax的時候久窟，會在分母求和的時候加上一個很小的數(shù)字秩冈，比如10的-8次方。
3 代碼講解
關(guān)于Windows系統(tǒng)下安裝TensorFlow斥扛，參考鏈接：http://www.reibang.com/p/c3a4a0ff82a6入问。
# 1 導入相關(guān)包
from time import time # 計算訓練模型總時間
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
# 2 加載mnist數(shù)據(jù)
start_time = time()
mnist = input_data.read_data_sets('MNIST_data/', one_hot=True)
# 3 定義模型參數(shù)（權(quán)重、偏差）及占位符
x = tf.placeholder(tf.float32, [None, 784])
W = tf.Variable(tf.zeros([784, 10]))
b = tf.Variable(tf.zeros([10]))
# 4 計算y的預測值稀颁，定義y標簽值的占位符
y_predict = tf.nn.softmax(tf.matmul(x, W) + b)
y_label = tf.placeholder(tf.float32, [None, 10])
# 5 定義交叉熵損失芬失，選擇梯度下降優(yōu)化方法
cross_entropy = tf.reduce_mean(-tf.reduce_sum( y_label * tf.log(y_predict), axis=[1]))
train_step = tf.train.GradientDescentOptimizer(learning_rate=0.5).minimize(cross_entropy)
# 6 創(chuàng)建會話，初始化所有變量
init = tf.global_variables_initializer()
sess = tf.InteractiveSession()
sess.run(init)
# 7 用批數(shù)據(jù)循環(huán)訓練模型1000次匾灶，評估模型
for _ in range(1000):
batch_xs, batch_ys = mnist.train.next_batch(100)
sess.run(train_step, feed_dict={x: batch_xs, y_label: batch_ys})
correct_predict = tf.equal(tf.argmax(y_predict,1), tf.argmax(y_label, 1))
accuracy = tf.reduce_mean(tf.cast(correct_predict, dtype='float'))
print(sess.run(accuracy, feed_dict={x: mnist.test.images, y_label: mnist.test.labels}))
print('模型訓練總耗時：%.4f' %(time() - start_time)+'秒')
sess.close()
第6步和第7步也可以合并為：
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
for _ in range(1000):
batch_xs, batch_ys = mnist.train.next_batch(100)
sess.run(train_step, feed_dict={x: batch_xs, y_label: batch_ys})
correct_predict = tf.equal(tf.argmax(y_predict,1), tf.argmax(y_label, 1))
accuracy = tf.reduce_mean(tf.cast(correct_predict, dtype='float'))
print(sess.run(accuracy, feed_dict={x: mnist.test.images, y_label: mnist.test.labels}))
print('模型訓練總耗時：%.4f' %(time() - start_time)+'秒')
