上午說到了BP神經(jīng)網(wǎng)絡，現(xiàn)在就把神經(jīng)網(wǎng)絡的具體實現(xiàn)做一下簡單的解析。
BP的實現(xiàn)原理可以參考這里：http://blog.csdn.net/u013007900/article/details/50118945
在上次的講解中，我們說到了
接下來開始利用該式子簡要論述BP實現(xiàn)的原理：
由上式可以看出，網(wǎng)絡輸入誤差是各層權值ωjκ却邓、υij的函數(shù)硕糊，因此調(diào)整權值可改變誤差 E。 顯然腊徙，調(diào)整權值的原則是使誤差不斷減小简十，因此應使權值與誤差的梯度下降成正比。
故訓練一個BP神經(jīng)網(wǎng)絡撬腾，實際上就是調(diào)整網(wǎng)絡的權重和偏置這兩個參數(shù)螟蝙，BP神經(jīng)網(wǎng)絡的訓練過程分兩部分：
前向傳輸，逐層波浪式的傳遞輸出值民傻；
逆向反饋胰默，反向逐層調(diào)整權重和偏置；
到此漓踢，我們已經(jīng)大致明白了神經(jīng)網(wǎng)絡的訓練過程牵署，但是怎么進行訓練的實現(xiàn)和網(wǎng)絡的使用呢？
在我看來喧半，代碼實現(xiàn)的關鍵步驟只有3步：
1.創(chuàng)建網(wǎng)絡（create函數(shù)）
2.訓練網(wǎng)絡（train函數(shù)）
3.實現(xiàn)網(wǎng)絡（predict函數(shù)）
當然奴迅，一個網(wǎng)絡訓練好后可以將其保存為xml文件，下次再次使用時只需要讀取該xml文件就可以得到上次訓練過的神經(jīng)網(wǎng)絡了挺据，因此半沽，又可以分為兩步：
1）網(wǎng)絡的創(chuàng)建：
1.創(chuàng)建網(wǎng)絡（create函數(shù)）
2.訓練網(wǎng)絡（train函數(shù)）
3.保存網(wǎng)絡（save函數(shù)）
2）網(wǎng)絡使用
1.讀取網(wǎng)絡（load函數(shù)）
2.實現(xiàn)網(wǎng)絡（predict函數(shù)）
當然，如果不想保存該網(wǎng)絡的話也可以訓練好直接使用的吴菠。
實現(xiàn)網(wǎng)絡的訓練首先需要準備好兩組數(shù)據(jù)者填，分別是：樣本數(shù)組和樣本標記數(shù)組，拿上次的兩個數(shù)相與的例子來說做葵，樣本數(shù)組即為：{{0占哟，0}，{0酿矢，1}榨乎，{1，0}瘫筐，{1蜜暑，1}}，而樣本標記數(shù)組則是每個樣本的結(jié)果分類策肝，共有4組數(shù)據(jù)肛捍，每組數(shù)據(jù)的結(jié)果都有2種可能隐绵，四組數(shù)據(jù)的輸出結(jié)果是0，0拙毫，0依许，1，那么缀蹄，標記樣本數(shù)組則可以初始化為： { {1,0}, {1,0}, {1,0}, {0,1} }需要注意的是峭跳，兩個樣本都是由Mat類型儲存，且數(shù)據(jù)類型都定義為CV_32FC1缺前。
因此如果需要就該題進行BP神經(jīng)系統(tǒng)的訓練蛀醉，可以初始化樣本數(shù)組和標記數(shù)組如下：
float labels[4][2] = { {1,0}, {1,0}, {1,0}, {0,1} };
Mat labelsMat(4,2, CV_32FC1, labels);
float trainingData[4][2] = { { 0, 0 }, { 0, 1 }, { 1, 0 }, { 1, 1 } };
Mat trainingDataMat(4, 2, CV_32FC1, trainingData);
在理解了以上講解，那么進行神經(jīng)網(wǎng)絡的搭建也就簡單得多了衅码，我們還拿這個簡單的例子來進行分析：
創(chuàng)建神經(jīng)網(wǎng)絡
首先滞欠，這組數(shù)據(jù)的每組輸入數(shù)據(jù)有兩組，故輸入層的感知器有兩個肆良，輸出的數(shù)組每組也有兩個，故輸出層感知器個數(shù)為2逸绎，隱藏層一般情況下都有一到兩個惹恃，但是在本題中由于不需要隱藏層就可以解決，故無需用到隱藏層棺牧，所以該ANN共有兩層：輸入層（兩個感知器）和輸出層（兩個感知器）巫糙，（但是按照邏輯來講，建立隱藏層以后仍舊是可以得到想要的答案的）創(chuàng)建神經(jīng)網(wǎng)絡的函數(shù)可以寫為：
CvANN_MLP bp;
Mat layerSizes = (Mat_<int>(1, 2) <<2,2);
bp.create(layerSizes, CvANN_MLP::SIGMOID_SYM);
CvANN_MLP::SIGMOID_SYM ：選用sigmoid作為激勵函數(shù)颊乘，即上次所說的S形函數(shù)（包括單極性S形函數(shù)和雙極性S形函數(shù)）
除此之外参淹，BP所使用的激勵函數(shù)還有：
CvANN_MLP::GAUSSIAN：GAUSS函數(shù)
CvANN_MLP::IDENTITY：階躍函數(shù)。
訓練神經(jīng)網(wǎng)絡
在進行神經(jīng)網(wǎng)絡的訓練時乏悄，我們就需要用到實現(xiàn)進行初始化好的樣本數(shù)組和標記數(shù)組了浙值，為了方便在圖像中顯示，我們將樣本數(shù)組：{{0檩小，0}开呐，{0，1}规求，{1筐付，0}，{1阻肿，1}}瓦戚，進行擴大：{ { 50, 50 }, { 50, 100 }, { 100, 50 }, { 100, 100 } }，擴大后直接調(diào)用訓練函數(shù)：
bp.train(trainingDataMat, labelsMat, Mat(), Mat(), params);
關于train函數(shù)的參數(shù)：
int CvANN_MLP::train(constMat& inputs, constMat& outputs,
constMat& sampleWeights, constMat& sampleIdx=Mat(),
CvANN_MLP_TrainParams params=CvANN_MLP_TrainParams(), intflags=0 );```
1) inputs：輸入矩陣丛塌。它存儲了所有訓練樣本的特征较解。假設所有樣本總數(shù)為nSamples畜疾，而我們提取的特征維數(shù)為ndims，
則inputs是一個nSamples?ndims的矩陣哨坪，每個樣本的特征占一行庸疾。
2) outputs：輸出矩陣。我們實際在訓練中当编，我們知道每個樣本所屬的種類届慈，假設一共有nClass類。那么我們將outputs設置為
一個nSample*nClass列的矩陣忿偷，每一行表示一個樣本的預期輸出結(jié)果金顿，該樣本所屬的那類對應的列設置為1，其他都為0鲤桥。
比如我們需要識別0-9這10個數(shù)字揍拆，則總的類數(shù)為10類，那么樣本數(shù)字“3”的預期輸出為[0,0,1,0,0,0,0,0,0,0];
3) sampleWeights：一個在使用RPROP方法訓練時才需要的數(shù)據(jù)茶凳，如果使用的是BACKPROP方法則不設置嫂拴，直接設置為Mat()即可。
4) sampleIdx：相當于一個遮罩贮喧，它指定哪些行的數(shù)據(jù)參與訓練筒狠。如果設置為Mat()，則所有行都參與箱沦。
5) params：這個在剛才已經(jīng)說過了辩恼，是訓練相關的參數(shù)。
其中谓形，params是CvANN_MLP_TrainParams類型的參數(shù)灶伊，是經(jīng)過初始化的，訓練相關的參數(shù)
CvANN_MLP_TrainParams params;
params.train_method=CvANN_MLP_TrainParams::BACKPROP;
params.bp_dw_scale=0.1;
params.bp_moment_scale=0.1;
//params.train_method=CvANN_MLP_TrainParams::RPROP;
//params.rp_dw0 = 0.1;
//params.rp_dw_plus = 1.2;
//params.rp_dw_minus = 0.5;
//params.rp_dw_min = FLT_EPSILON;
//params.rp_dw_max = 50.;
以上是其初始化參數(shù)方法寒跳，可以看出聘萨，共有兩種初始化方法，其中BACKPROP有兩個初始化參數(shù)童太，RPROP有五個初始化參數(shù)匈挖， BACKPROP表示使用back-propagation的訓練方法，RPROP即最簡單的propagation訓練方法康愤。Opencv的神經(jīng)網(wǎng)絡實現(xiàn)了MLP算法儡循，具體為BACKPROP算法和RPROP算法兩種，BACKPROP算法使用的是在線方法征冷，RPROP算法使用的是批量方法择膝。
在這里我們使用第一種，即BACKPROP方法检激。
#保存和加載神經(jīng)網(wǎng)絡
到此神經(jīng)網(wǎng)絡已經(jīng)搭建完成了肴捉，我們可以選擇
bp.save("name.xml");
保存神經(jīng)網(wǎng)絡腹侣，保存后直接退出或者是繼續(xù)使用該網(wǎng)絡，但是保存后下次使用該神經(jīng)網(wǎng)絡就不必再訓練了齿穗，只需要使用函數(shù)：
bp.load("name.xml");
即可傲隶。
#使用神經(jīng)網(wǎng)絡
圖像進行特征提取，把它保存在sampleMat里窃页，通過調(diào)用predict函數(shù)跺株，我們得到一個輸出向量，它是一個1*nClass的行向量脖卖，(nClass是可能出現(xiàn)的結(jié)果種類數(shù)目)
其中每一列說明它與該類的相似程度（0-1之間）乒省，也可以說是置信度。我們只用對output求一個最大值畦木，就可得到結(jié)果袖扛。
這個函數(shù)的返回值是一個無用的float值，可以忽略十籍。
在本例子中蛆封，由于輸入層的感知器數(shù)目為2，是圖像的坐標勾栗，那么惨篱，在圖像的每一個坐標都去進行分類，得到的是 輸出層感知器數(shù)目的個數(shù)個輸出矩陣械姻，每個數(shù)代表該種結(jié)果的符合率
如：將一個坐標 帶入后p[0]==0.1,p[1]==0.5，那么机断，取擬合率較大的楷拳，訓練結(jié)果是1。
for (int i = 0; i < image.rows; ++i){
for (int j = 0; j < image.cols; ++j){
Mat sampleMat = (Mat_<float>(1, 2) << i, j);
Mat responseMat;
bp.predict(sampleMat, responseMat);
float* p = responseMat.ptr<float>(0);
if (p[0] > p[1]){
image.at<Vec3b>(i,j) = green;
}
else{
image.at<Vec3b>(i,j) = blue;
}
}
}
把所有代碼總結(jié)起來：
include <opencv2/core/core.hpp>
include <opencv2/highgui/highgui.hpp>
include <opencv2/ml/ml.hpp>
include <iostream>
include <string>
using namespace std;
using namespace cv;
int main()
{
CvANN_MLP bp;
CvANN_MLP_TrainParams params;
params.train_method = CvANN_MLP_TrainParams::BACKPROP;
params.bp_dw_scale = 0.1;
params.bp_moment_scale = 0.1;
float labels[4][2] = { {1,0}, {1,0}, {1,0}, {0,1} };
Mat labelsMat(4,2, CV_32FC1, labels);
float trainingData[4][2] = { { 50, 50 }, { 50, 100 }, { 100, 50 }, { 100, 100 } };
Mat trainingDataMat(4, 2, CV_32FC1, trainingData);
Mat layerSizes = (Mat_<int>(1, 2) <<2,2);
bp.create(layerSizes, CvANN_MLP::SIGMOID_SYM);
bp.train(trainingDataMat, labelsMat, Mat(), Mat(), params);
int width = 150, height =150;
Mat image = Mat::zeros(height, width, CV_8UC3);
Vec3b green(0, 255, 0), blue(255, 0, 0);
// Show the decision regions
for (int i = 0; i < image.rows; ++i){
for (int j = 0; j < image.cols; ++j){
Mat sampleMat = (Mat_<float>(1, 2) << i, j);
Mat responseMat;
bp.predict(sampleMat, responseMat);
float* p = responseMat.ptr<float>(0);
if (p[0] > p[1]){
image.at<Vec3b>(i,j) = green;
}
else{
image.at<Vec3b>(i,j) = blue;
}
}
}
int thickness = -1;
int lineType = 8;
circle(image, Point(50, 50), 5, Scalar(255, 255, 255), thickness, lineType);
circle(image, Point(50, 100), 5, Scalar(255, 255, 255), thickness, lineType);
circle(image, Point(100, 50), 5, Scalar(255, 255, 255), thickness, lineType);
circle(image, Point(100, 100), 5, Scalar(0,0,0), thickness, lineType);
imwrite("result.png", image); // save the image
imshow("BP Simple Example", image); // show it to the user
waitKey(0);
return 0;
}
運行結(jié)果：