Environment
- TensorFlow： 1.2.0
- Python： 3.6
- Python IDE： PyCharm 2017.2
- Android IDE： Android Studio 3.0
Train & Evaluate（Python+TensorFlow）
訓(xùn)練和評(píng)估部分主要目的是生成用于測(cè)試用的pb文件哗蜈，其保存了利用TensorFlow python API構(gòu)建訓(xùn)練后的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和參數(shù)信息，實(shí)現(xiàn)方式有很多種稠屠，除了cnn外還可以使用rnn逆皮，fcnn等憔鬼。
其中基于cnn的函數(shù)也有兩套，分別為tf.layers.conv2d和tf.nn.conv2d， tf.layers.conv2d使用tf.nn.conv2d作為后端處理胯舷，參數(shù)上filters是整數(shù)完慧，filter是4維張量谋旦。原型如下：
convolutional.py文件
def conv2d(inputs, filters, kernel_size, strides=(1, 1), padding='valid', data_format='channels_last',
dilation_rate=(1, 1), activation=None, use_bias=True, kernel_initializer=None,
bias_initializer=init_ops.zeros_initializer(), kernel_regularizer=None, bias_regularizer=None,
activity_regularizer=None, kernel_constraint=None, bias_constraint=None, trainable=True, name=None,
reuse=None)
gen_nn_ops.py 文件
def conv2d(input, filter, strides, padding, use_cudnn_on_gpu=True, data_format="NHWC", name=None)
官方Demo實(shí)例中使用的是layers module，結(jié)構(gòu)如下：
- Convolutional Layer #1：32個(gè)5×5的filter，使用ReLU激活函數(shù)
- Pooling Layer #1：2×2的filter做max pooling蛤织，步長為2
- Convolutional Layer #2：64個(gè)5×5的filter赴叹，使用ReLU激活函數(shù)
- Pooling Layer #2：2×2的filter做max pooling，步長為2
- Dense Layer #1：1024個(gè)神經(jīng)元指蚜，使用ReLU激活函數(shù)乞巧，dropout率0.4 (為了避免過擬合，在訓(xùn)練的時(shí)候摊鸡，40%的神經(jīng)元會(huì)被隨機(jī)去掉)
- Dense Layer #2 (Logits Layer)：10個(gè)神經(jīng)元绽媒，每個(gè)神經(jīng)元對(duì)應(yīng)一個(gè)類別（0-9）
核心代碼在cnn_model_fn(features, labels, mode)函數(shù)中，完成卷積結(jié)構(gòu)的完整定義免猾，核心代碼如下.
也可以采用傳統(tǒng)的tf.nn.conv2d函數(shù), 核心代碼如下是辕。
Test（Android+TensorFlow）
核心是使用API??接口： TensorFlowInferenceInterface.java
配置gradle或者自編譯TensorFlow源碼導(dǎo)入jar和so
compile 'org.tensorflow:tensorflow-android:1.2.0'-
導(dǎo)入pb文件.pb文件放assets目錄，然后讀取
String actualFilename = labelFilename.split(“file:///android_asset/“)[1];
Log.i(TAG, “Reading labels from: “ + actualFilename);
BufferedReader br = null;
br = new BufferedReader(new InputStreamReader( assetManager.open(actualFilename)));
String line;
while ((line = br.readLine()) != null) {
c.labels.add(line);
}
br.close();
最終效果：
Theory
MNIST
MNIST猎提，最經(jīng)典的機(jī)器學(xué)習(xí)模型之一获三，包含0~9的數(shù)字，28*28大小的單色灰度手寫數(shù)字圖片數(shù)據(jù)庫锨苏，其中共60,000 training examples和10,000 test examples疙教。
文件目錄如下，主要包括4個(gè)二進(jìn)制文件伞租，分別為訓(xùn)練和測(cè)試圖片及Label贞谓。如下為訓(xùn)練圖片的二進(jìn)制結(jié)構(gòu)，在真實(shí)數(shù)據(jù)前（pixel）葵诈，有部分描述字段（魔數(shù)裸弦，圖片個(gè)數(shù)，圖片行數(shù)和列數(shù)）作喘，真實(shí)數(shù)據(jù)的存儲(chǔ)采用大端規(guī)則理疙。（大端規(guī)則，就是數(shù)據(jù)的高字節(jié)保存在低內(nèi)存地址中徊都，低字節(jié)保存在高內(nèi)存地址中）在具體實(shí)驗(yàn)使用沪斟，需要提取真實(shí)數(shù)據(jù)，可采用專門用于處理字節(jié)的庫struct中的unpack_from方法暇矫，核心方法如下： struct.unpack_from(self._fourBytes2, buf, index)
MNIST作為AI的Hello World入門實(shí)例數(shù)據(jù)主之，TensorFlow封裝對(duì)其封裝好了函數(shù)，可直接使用
mnist = input_data.read_data_sets('MNIST', one_hot=True)
CNN（Convolutional Neural Network）
CNN Keys
- CNN李根，Convolutional Neural Network槽奕，中文全稱卷積神經(jīng)網(wǎng)絡(luò)，即所謂的卷積網(wǎng)（ConvNets）房轿。
- 卷積（Convolution）可謂是現(xiàn)代深度學(xué)習(xí)中最最重要的概念了粤攒，它是一種數(shù)學(xué)運(yùn)算所森，讀者可以從下面鏈接[23]中卷積相關(guān)數(shù)學(xué)機(jī)理，包括分別從傅里葉變換和狄拉克δ函數(shù)中推到卷積定義夯接，我們可以從字面上宏觀粗魯?shù)睦斫獬蓪⒁蜃臃D(zhuǎn)相乘卷起來焕济。
- 卷積動(dòng)畫。演示如下圖[26]盔几，更多動(dòng)畫演示可參考[27]
神經(jīng)網(wǎng)絡(luò)晴弃。一個(gè)由大量神經(jīng)元（neurons）組成的系統(tǒng)，如下圖所示[21] 其中x表示輸入向量逊拍，w為權(quán)重上鞠，b為偏值bias，f為激活函數(shù)芯丧。
Activation Function 激活函數(shù)： 常用的非線性激活函數(shù)有Sigmoid芍阎、tanh、ReLU等等缨恒，公式如下如所示谴咸。
Sigmoid缺點(diǎn)
函數(shù)飽和使梯度消失（神經(jīng)元在值為0 或1 的時(shí)候接近飽和，這些區(qū)域肿轨，梯度幾乎為0）
sigmoid 函數(shù)不是關(guān)于原點(diǎn)中心對(duì)稱的（無0中心化）
tanh： 存在飽和問題寿冕，但它的輸出是零中心的蕊程，因此實(shí)際中tanh 比sigmoid 更受歡迎椒袍。
ReLU
優(yōu)點(diǎn)1：ReLU 對(duì)于SGD 的收斂有巨大的加速作用
優(yōu)點(diǎn)2：只需要一個(gè)閾值就可以得到激活值，而不用去算一大堆復(fù)雜的（指數(shù)）運(yùn)算
缺點(diǎn)：需要合理設(shè)置學(xué)習(xí)率（learning rate）藻茂，防止訓(xùn)練時(shí)dead驹暑，還可以使用Leaky ReLU/PReLU/Maxout等代替
感謝本文博主SkySeraph，官方鏈接 http://skyseraph.com/2018/01/10/AI/AIHandwritingAndroid/
Pooling池化辨赐。一般分為平均池化mean pooling和最大池化max pooling优俘，如下圖所示[21]為max pooling，除此之外掀序，還有重疊池化（OverlappingPooling）[24]帆焕，空金字塔池化（Spatial Pyramid Pooling）[25]
平均池化：計(jì)算圖像區(qū)域的平均值作為該區(qū)域池化后的值。
最大池化：選圖像區(qū)域的最大值作為該區(qū)域池化后的值不恭。
CNN Architecture
三層神經(jīng)網(wǎng)絡(luò)叶雹。分別為輸入層（Input layer）,輸出層（Output layer）,隱藏層（Hidden layer），如下圖所示[21]
CNN層級(jí)結(jié)構(gòu)换吧。斯坦福cs231n中闡述了一種[INPUT-CONV-RELU-POOL-FC]折晦，如下圖所示[21]，分別為輸入層沾瓦，卷積層满着，激勵(lì)層谦炒，池化層，全連接層风喇。
CNN通用架構(gòu)分為如下三層結(jié)構(gòu)：
Convolutional layers 卷積層
Pooling layers 匯聚層
Dense (fully connected) layers 全連接層
動(dòng)畫演示宁改。參考[22]。
Regression + Softmax
機(jī)器學(xué)習(xí)有監(jiān)督學(xué)習(xí)（supervised learning）中兩大算法分別是分類算法和回歸算法魂莫，分類算法用于離散型分布預(yù)測(cè)透且，回歸算法用于連續(xù)型分布預(yù)測(cè)。
回歸的目的就是建立一個(gè)回歸方程用來預(yù)測(cè)目標(biāo)值豁鲤，回歸的求解就是求這個(gè)回歸方程的回歸系數(shù)秽誊。
其中回歸（Regression）算法包括Linear Regression，Logistic Regression等琳骡， Softmax Regression是其中一種用于解決多分類（multi-class classification）問題的Logistic回歸算法的推廣锅论，經(jīng)典實(shí)例就是在MNIST手寫數(shù)字分類上的應(yīng)用。
Linear Regression
Linear Regression是機(jī)器學(xué)習(xí)中最基礎(chǔ)的模型楣号，其目標(biāo)是用預(yù)測(cè)結(jié)果盡可能地?cái)M合目標(biāo)label
-
多元線性回歸模型定義
image.png -
多元線性回歸求解
image.png
Mean Square Error (MSE)
Gradient Descent（梯度下降法）
Normal Equation（普通最小二乘法）
局部加權(quán)線性回歸（LocallyWeightedLinearRegression, LWLR )：針對(duì)線性回歸中模型欠擬合現(xiàn)象最易，在估計(jì)中引入一些偏差以便降低預(yù)測(cè)的均方誤差。
嶺回歸（ridge regression)和縮減方法
選擇： Normal Equation相比Gradient Descent炫狱，計(jì)算量大（需計(jì)算X的轉(zhuǎn)置與逆矩陣）藻懒，只適用于特征個(gè)數(shù)小于100000時(shí)使用；當(dāng)特征數(shù)量大于100000時(shí)使用梯度法视译。當(dāng)X不可逆時(shí)可替代方法為嶺回歸算法嬉荆。LWLR方法增加了計(jì)算量，因?yàn)樗鼘?duì)每個(gè)點(diǎn)做預(yù)測(cè)時(shí)都必須使用整個(gè)數(shù)據(jù)集酷含，而不是計(jì)算出回歸系數(shù)得到回歸方程后代入計(jì)算即可鄙早，一般不選擇。
調(diào)優(yōu)： 平衡預(yù)測(cè)偏差和模型方差（高偏差就是欠擬合椅亚，高方差就是過擬合）
獲取更多的訓(xùn)練樣本- 解決高方差
嘗試使用更少的特征的集合- 解決高方差
嘗試獲得其他特征- 解決高偏差
嘗試添加多項(xiàng)組合特征- 解決高偏差
嘗試減小λ - 解決高偏差
嘗試增加λ -解決高方差
Softmax Regression
Softmax Regression估值函數(shù)（hypothesis）
Softmax Regression代價(jià)函數(shù)（cost function）
理解：
Softmax Regression & Logistic Regression：
多分類& 二分類限番。Logistic Regression為K=2時(shí)的Softmax Regression
針對(duì)K類問題，當(dāng)類別之間互斥時(shí)可采用Softmax Regression呀舔，當(dāng)非斥時(shí)弥虐，可采用K個(gè)獨(dú)立的Logistic Regression
總結(jié)： Softmax Regression適用于類別數(shù)量大于2的分類，本例中用于判斷每張圖屬于每個(gè)數(shù)字的概率媚赖。
References & Recommends
MNIST
- [01]Mnist官網(wǎng)
- [02]Visualizing MNIST: An Exploration of Dimensionality Reduction
- [03]TensorFlow Mnist官方實(shí)例
- [04]Sample code for “Tensorflow and deep learning, without a PhD”
Softmax
- [11]Convex functions
- [12]斯坦福大學(xué)機(jī)器學(xué)習(xí)第七課-正則化-regularization
- [13]MachineLearning_Python
CNN
- [21]Stanford University's Convolutional Neural Networks for Visual Recognition course materials 翻譯
- [22]July CNN筆記：通俗理解卷積神經(jīng)網(wǎng)絡(luò)
- [23]理解卷積Convolution
- [24]Imagenet classification with deep convolutional neural networks
- [25]Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
- [26]Convolutional Neural Networks-Basics
- [27]A technical report on convolution arithmetic in the context of deep learning
TensorFlow+CNN / TensorFlow+Android
