logistic分類
1.神經(jīng)網(wǎng)絡(luò)的基本組成部分
2.每個神經(jīng)元(cell)都可以看做是進行了一次logistic分類
3.二分類法菲茬，能將數(shù)據(jù)分成0和1兩類
logistic分類步驟
1.線性求和
假設(shè)有一個n維的輸入列向量?x劈猿，也有一個n維的參數(shù)列向量h，還有一個偏置量b，那么就可以線性求和得到z.?
Z的值域？
2.sigmoid函數(shù)激活
將z的值映射到[0,1]之間
3.計算誤差
假設(shè)期望輸入x的判定是y，而實際得到的判定值是a,定義一個損失函數(shù) C(a,y) (很多種) ?
在凸優(yōu)化問題中，C的最小值就是它的極小值
計算極小值拟逮，即C對h和b求導(dǎo)為0
4.修正參數(shù)
假設(shè)期望輸入x的判定是y，而實際得到的判定值是a,定義一個損失函數(shù) C(a,y) (很多種) ?
復(fù)雜情況下（數(shù)據(jù)量大适滓，非凸優(yōu)化）
通過迭代的方法得到局部最優(yōu)解
Example
取損失函數(shù)C:
C對h和b分別求偏導(dǎo)：
代入迭代敦迄，參數(shù)更新：
a
擴展：多分類
例如有3個分類，則輸出一個長度為3的列向量凭迹，對應(yīng)項為1
計算誤差和參數(shù)更新公式也得矩陣化：
簡單神經(jīng)網(wǎng)絡(luò)及后向傳播算法BP?
輸入層罚屋，隱藏層，輸出層嗅绸，分別記為x,h,y.
從輸入層到隱藏層的矩陣記為Whx, 偏置向量bh;
從隱藏層到輸出層的矩陣記為Wyh, 偏置向量為by
logistic分類沿后，只能做到根據(jù)誤差來更新Wyh?和by
后向算法,鏈?zhǔn)椒▌t
