先挖坑，后面填。
CNN
參考：
- CS231n Convolutional Neural Networks for Visual Recognition
- 基于tensorflow的MNIST手寫字識別（一）--白話卷積神經(jīng)網(wǎng)絡模型
以MINST數(shù)字識別為例示启，一般模型為：
- 輸入層 28*28
- 卷積層1 32@28*28
- 池化層1 32@14*14
- 卷積層2 64@14*14
- 池化層2 64@7*7
- 全連接層 1024個神經(jīng)元
- 輸出層 10個神經(jīng)元
輸入層是28*28，對應圖片像素大小
卷積patch為5*5，又稱為感受野（receptive field）
池化的stride為[1,1,1,1], padding選擇為SAME
池化層有的地方又稱為亞采樣概漱。
卷積的生物意義是捕捉圖像的局部特征...
LSTM
LSTM 四層，三個門
- 每個門通過h(t-1)喜喂，x(t)確定輸出比例瓤摧，就是sigmoid函數(shù)
- 對于當前單元，先從C(t-1)獲取信息玉吁，然后從h(t-1)照弥，x(t)獲取信息，兩者相加得到當前Cell state保存的信息C(t)
- 基于Cell state保存信息輸出信息
細分：
- forget gate: 控制從C(t-1)獲取多少信息
- input gate: 控制從h(t-1)进副，x(t)獲取多少信息
- output gate: 控制從C(t)輸出多少信息
seq2seq
待補充
