此篇為基于Nielsen的《Networks and Deep Learning》一書(shū)的手寫(xiě)系列終結(jié)篇橙凳，最后我們研究下CNN。書(shū)中用到theano模塊來(lái)進(jìn)行學(xué)習(xí)笑撞，本文決定采用當(dāng)前比較流行的tensorflow模塊岛啸。

install tensorflow（windows 10， mac linux）

1. cpu計(jì)算版本

   pip install --upgrade tensorflow
   

2. GPU(CUDA加速茴肥，相比CPU快很多)
   開(kāi)始采用的CPU方式（安裝省心）坚踩，發(fā)現(xiàn)訓(xùn)練模型確實(shí)慢，這里果斷選擇GPU版本（善其事必利其器）瓤狐。

la.la.la...入坑開(kāi)始Ｋ仓！４∪瘛嗓节！
step1：檢查計(jì)算機(jī)顯卡是否是英偉達(dá)系列
step2: step1滿足，看看顯卡是否支持CUDA加速（地址點(diǎn)解鏈接）
step3：Python3.5
step4：下載CUDA皆警、cuDNN拦宣，版本型號(hào)要對(duì)應(yīng)
step5: 將cuDNN解壓，將cuDNN的3個(gè)文件的路徑添加path中耀怜。cmd中運(yùn)行nvcc -V恢着，看看是否出現(xiàn)對(duì)應(yīng)CADU版本信息
step6:需要vs2015,忘記自己折騰啥的時(shí)候已經(jīng)安裝了

捕獲.PNG

where MSVCP140.DLL 查看改文件是否存在（上面安裝vs2015就是為了安裝這個(gè)），存在后將路徑添加到path環(huán)境變量中财破。
step7：pip install --upgrade tensorflow-gpu

import tensorflow盡然報(bào)錯(cuò)掰派。參考https://stackoverflow.com/questions/42011070/on-windows-running-import-tensorflow-generates-no-module-named-pywrap-tenso嚴(yán)格執(zhí)行一遍，盡然還是報(bào)同樣錯(cuò)左痢。靡羡。。俊性。略步。仔細(xì)在研究下官方install介紹，得知cuDNN5.1版本不行可以嘗試其他的版本定页。這里940MX顯卡趟薄，嘗試cuDNN6.0 for CUDA8.0，結(jié)果行了.....(wtf５浠病：技濉６鞴弧）。

CNN（tensorflow）

# encoding: utf-8

"""
@version: python3.5.2 
@author: kaenlee  @contact: lichaolfm@163.com
@software: PyCharm Community Edition
@time: 2017/8/8 22:15
purpose:http://www.tensorfly.cn/tfdoc/tutorials/mnist_pros.html
"""

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

mnist = input_data.read_data_sets('data/', one_hot=True)

# 交互模式我們使用更加方便的InteractiveSession類羡铲。通過(guò)它蜂桶，你可以更加靈活地構(gòu)建你的代碼。
# 它能讓你在運(yùn)行圖的時(shí)候也切，插入一些計(jì)算圖扑媚，這些計(jì)算圖是由某些操作(operations)構(gòu)成的。
# 這對(duì)于工作在交互式環(huán)境中的人們來(lái)說(shuō)非常便利雷恃，比如使用IPython疆股。
# 如果你沒(méi)有使用InteractiveSession，那么你需要在啟動(dòng)session之前構(gòu)建整個(gè)計(jì)算圖褂萧，然后啟動(dòng)該計(jì)算圖押桃。
sess = tf.InteractiveSession()

# 占位符
x = tf.placeholder("float", shape=[None, 784])
y_ = tf.placeholder("float", shape=[None, 10])

# 10 個(gè)softmax節(jié)點(diǎn)權(quán)重以及偏置初始變量：僅僅用10個(gè)softmax輸出節(jié)點(diǎn)
W = tf.Variable(tf.zeros([784, 10]))
b = tf.Variable(tf.zeros([10]))

# 初始化變量
sess.run(tf.global_variables_initializer())
y = tf.nn.softmax(tf.matmul(x, W) + b)  # None X 10
loss = -tf.reduce_sum(y_ * tf.log(y))  # 似然函數(shù)損失函數(shù)

# 訓(xùn)練模型
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(loss)
for e in range(1000):
    # 計(jì)算每個(gè)batch的loss最優(yōu)更新模型的權(quán)重
    mini_batch = mnist.train.next_batch(50)  # 每次batch選取50個(gè)樣本來(lái)替代估計(jì)總體的估計(jì)誤差
    train_step.run(feed_dict={x: mini_batch[0], y_: mini_batch[1]})

# 評(píng)估模型訓(xùn)練集合的準(zhǔn)確率
correct_bool = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))  # 最大值得位置是否一致y的每一個(gè)樣本輸出每種可能的概率，即最大概率的index為預(yù)測(cè)結(jié)果

accuracy = tf.reduce_mean(tf.cast(correct_bool, 'float'))
print(accuracy.eval(feed_dict={x: mnist.test.images, y_: mnist.test.labels}))


# 下面構(gòu)建一個(gè)多層卷積神經(jīng)網(wǎng)絡(luò),為了創(chuàng)建這個(gè)模型导犹，我們需要?jiǎng)?chuàng)建大量的權(quán)重和偏置項(xiàng)唱凯。
# 這個(gè)模型中的權(quán)重在初始化時(shí)應(yīng)該加入少量的噪聲來(lái)打破對(duì)稱性以及避免0梯度。由于我
# 們使用的是ReLU神經(jīng)元谎痢，因此比較好的做法是用一個(gè)較小的正數(shù)來(lái)初始化偏置項(xiàng)磕昼，以避
# 免神經(jīng)元節(jié)點(diǎn)輸出恒為0的問(wèn)題（dead neurons）。為了不在建立模型的時(shí)候反復(fù)做初始化
# 操作节猿，我們定義兩個(gè)函數(shù)用于初始化票从。

def weight_variable(shape):
    initial = tf.truncated_normal(shape, stddev=0.1)
    return tf.Variable(initial)


def bias_variable(shape):
    initial = tf.constant(0.1, shape=shape)
    return tf.Variable(initial)


# 卷積和池化
# TensorFlow在卷積和池化上有很強(qiáng)的靈活性。我們?cè)趺刺幚磉吔绫踔觯坎介L(zhǎng)應(yīng)該設(shè)多大峰鄙？在這個(gè)實(shí)例里，
# 我們會(huì)一直使用vanilla版本太雨。我們的卷積使用1步長(zhǎng)（stride size）吟榴，0邊距（padding size）的模板，
# 保證輸出和輸入是同一個(gè)大小囊扳。我們的池化用簡(jiǎn)單傳統(tǒng)的2x2大小的模板做max pooling吩翻。為了代碼更簡(jiǎn)潔，我們把這部分抽象成一個(gè)函數(shù)锥咸。

def conv2d(x, W):
    return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')


def max_pool_2x2(x):
    return tf.nn.max_pool(x, ksize=[1, 2, 2, 1],
                          strides=[1, 2, 2, 1], padding='SAME')


# 第一層卷積
# 它由一個(gè)卷積接一個(gè)max pooling完成狭瞎。卷積在每個(gè)5x5的patch中算出32個(gè)特征。卷積的權(quán)重張量形狀是[5, 5, 1, 32]搏予，
# 前兩個(gè)維度是patch的大小熊锭，接著是輸入的通道數(shù)目，最后是輸出的通道數(shù)目。 而對(duì)于每一個(gè)輸出通道都有一個(gè)對(duì)應(yīng)的偏置量碗殷。
W_conv1 = weight_variable([5, 5, 1, 32])
b_conv1 = bias_variable([32])

# 為了用這一層劣针，我們把x變成一個(gè)4d向量，其第2亿扁、第3維對(duì)應(yīng)圖片的寬、高鸟廓，最后一維代表圖片的顏色通道數(shù)(因?yàn)槭腔叶葓D所以這里的通道數(shù)為1从祝，
# 如果是rgb彩色圖，則為3)引谜。

x_image = tf.reshape(x, [-1, 28, 28, 1])
# 為了用這一層牍陌，我們把x變成一個(gè)4d向量，其第2员咽、第3維對(duì)應(yīng)圖片的寬毒涧、高，最后一維代表圖片的顏色通道數(shù)(因?yàn)槭腔叶葓D所以這里的通道數(shù)為1贝室，如果是rgb彩色圖契讲，則為3)。
x_image = tf.reshape(x, [-1, 28, 28, 1])

# 我們把x_image和權(quán)值向量進(jìn)行卷積滑频，加上偏置項(xiàng)捡偏，然后應(yīng)用ReLU激活函數(shù)，最后進(jìn)行max pooling峡迷。

h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)
h_pool1 = max_pool_2x2(h_conv1)

# 第二層卷積
# 為了構(gòu)建一個(gè)更深的網(wǎng)絡(luò)银伟，我們會(huì)把幾個(gè)類似的層堆疊起來(lái)。第二層中绘搞，每個(gè)5x5的patch會(huì)得到64個(gè)特征彤避。

W_conv2 = weight_variable([5, 5, 32, 64])
b_conv2 = bias_variable([64])

h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)
h_pool2 = max_pool_2x2(h_conv2)

# 密集連接層
# 現(xiàn)在，圖片尺寸減小到7x7夯辖，我們加入一個(gè)有1024個(gè)神經(jīng)元的全連接層琉预，用于處理整個(gè)圖片。我們把池化層輸出的張量reshape成一些向量楼雹，乘上權(quán)重矩陣模孩，加上偏置，然后對(duì)其使用ReLU贮缅。

W_fc1 = weight_variable([7 * 7 * 64, 1024])
b_fc1 = bias_variable([1024])

h_pool2_flat = tf.reshape(h_pool2, [-1, 7 * 7 * 64])
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)

# Dropout
# 為了減少過(guò)擬合榨咐，我們?cè)谳敵鰧又凹尤雂ropout。我們用一個(gè)placeholder來(lái)代表一個(gè)神經(jīng)元的輸出在dropout中保持不變的概率谴供。
# 這樣我們可以在訓(xùn)練過(guò)程中啟用dropout块茁，在測(cè)試過(guò)程中關(guān)閉dropout。 TensorFlow的tf.nn.dropout操作除了可以屏蔽神經(jīng)元的輸出外，
# 還會(huì)自動(dòng)處理神經(jīng)元輸出值的scale数焊。所以用dropout的時(shí)候可以不用考慮scale永淌。
keep_prob = tf.placeholder("float")
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)

# 最后，我們添加一個(gè)softmax層佩耳，就像前面的單層softmax regression一樣遂蛀。
W_fc2 = weight_variable([1024, 10])
b_fc2 = bias_variable([10])
y_conv = tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)

# 訓(xùn)練和評(píng)估模型
# 為了進(jìn)行訓(xùn)練和評(píng)估，我們使用與之前簡(jiǎn)單的單層SoftMax神經(jīng)網(wǎng)絡(luò)模型幾乎相同的一套代碼干厚，只是我們會(huì)用更加復(fù)雜的ADAM優(yōu)化器來(lái)做梯度最速下降李滴，
# 在feed_dict中加入額外的參數(shù)keep_prob來(lái)控制dropout比例。然后每100次迭代輸出一次日志蛮瞄。

cross_entropy = -tf.reduce_sum(y_ * tf.log(y_conv))
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
correct_prediction = tf.equal(tf.argmax(y_conv, 1), tf.argmax(y_, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))
sess.run(tf.initialize_all_variables())
for i in range(20000):
    batch = mnist.train.next_batch(50)
    if i % 100 == 0:
        train_accuracy = accuracy.eval(feed_dict={
            x: batch[0], y_: batch[1], keep_prob: 1.0})
        print("step %d, training accuracy %g" % (i, train_accuracy))
    train_step.run(feed_dict={x: batch[0], y_: batch[1], keep_prob: 0.5})

print("test accuracy %g" % accuracy.eval(feed_dict={
    x: mnist.test.images, y_: mnist.test.labels, keep_prob: 1.0}))