吳恩達(dá)-機(jī)器學(xué)習(xí)課程--08: Neural Networks的學(xué)習(xí)總結(jié)：
復(fù)雜的非線性分類問題上，特征維數(shù)n非常大，邏輯回歸算法將不適用疾嗅。
使用簡單的邏輯單元模型模擬神經(jīng)元工作：
輸出豪嗽，在神經(jīng)網(wǎng)絡(luò)中θ被稱為權(quán)重weights
有時也畫出x0谴蔑，（x0=1）被稱為偏置單元(bias?unit)
神經(jīng)網(wǎng)絡(luò)就是不同的神經(jīng)元組合在一起的集合：
Layer1：輸入層 ??Layer2：隱藏層（可能多個） ? Layer3：輸出層 ?
隱層和輸出層節(jié)點的輸入和輸出之間具有函數(shù)關(guān)系，這個函數(shù)稱為激勵函數(shù)（activation function）龟梦，此處是s型函數(shù)（sigmoid function）作為激勵函數(shù)隐锭。?
表示第2層的第1個神經(jīng)元/激勵。 ? ? 激勵：由一個具體的神經(jīng)元讀入計算并輸出的值
?(j)?是一個控制 j 到 j+1 層函數(shù)映射的參數(shù)/權(quán)重矩陣计贰，?(j)?是一是一個[X
+1]的矩陣
是j層的神經(jīng)元個數(shù)钦睡，
是j+1層的神經(jīng)元個數(shù)
x0，a0是偏置單元(bias?unit)蹦玫，等于1赎婚，（圖中未畫出x0，a0）
矩陣?(1）樱溉、?(2）如下圖所示：
高效計算：
我們做如下定義：
挣输，那么
，
, ?
=[
福贞，
撩嚼，
]轉(zhuǎn)置
，
挖帘，這種從輸入層的激勵開始完丽，然后傳播給隱藏層計算，最終得出輸出層激勵的方式為拇舀，正向傳播（forward?propagation）?
舉例學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)：
例1：用神經(jīng)網(wǎng)絡(luò)擬合“與運算”“或運算”
x1逻族、x2取0或1，y為x1 AND x2 ?或?x1 OR x2 ?
假設(shè)-30,+20,+20是已經(jīng)訓(xùn)練好的模型中的參數(shù)
依次帶入x1骄崩，x2的值預(yù)測函數(shù)給出的預(yù)測值正好和“與運算”的結(jié)果一致聘鳞”「ǎ“或運算”同理。
例2：用神經(jīng)網(wǎng)絡(luò)擬合XNOR“同或門”抠璃，XNOR:（x1 AND x2）OR ?[（NOT x1 ) AND (NOT x2）]
即為 x1 AND x2的激勵結(jié)果站楚。還加上了偏置單元。
用神經(jīng)網(wǎng)絡(luò)做多類別分類：
假設(shè)有四個分類搏嗡，那么輸出層將有四個神經(jīng)元
期望輸出為下：
