第三周 淺層神經(jīng)網(wǎng)絡(luò)：
3.1 神經(jīng)網(wǎng)絡(luò)概覽
3.2 神經(jīng)網(wǎng)絡(luò)表示
loss function L(a失都，y)
神經(jīng)網(wǎng)絡(luò)通過(guò)輸入層糖埋，隱藏層和輸出層。
視頻中激活函數(shù)指的就是sigmoid函數(shù)
3.3 計(jì)算神經(jīng)網(wǎng)絡(luò)的輸出
其中茵宪，x表示輸入特征乖杠，a表示每個(gè)神經(jīng)元的輸出缤削，w表示特征的權(quán)重窘哈，上標(biāo)表示神經(jīng)網(wǎng)絡(luò)的層數(shù)（隱藏層為1），下標(biāo)表示該層的第幾個(gè)神經(jīng)元亭敢。
3.4 多樣本向量化
3.5 向量化實(shí)現(xiàn)的解釋
其中多樣本是從單樣本進(jìn)行推廣矩陣來(lái)的滚婉，另外再計(jì)算的過(guò)程中不要使用For循環(huán)的形式，因?yàn)檫@太低效了吨拗。
3.6 激活函數(shù)
這里除了sigmoid函數(shù)外满哪，另外介紹了tanh函數(shù)作為激活函數(shù)
吳恩達(dá)在視頻中說(shuō)婿斥，在討論優(yōu)化算法時(shí)，有一點(diǎn)要說(shuō)明：我基本已經(jīng)不用sigmoid激活函數(shù)了哨鸭，tanh函數(shù)在所有場(chǎng)合都優(yōu)于sigmoid函數(shù)民宿。不過(guò)再二分類問(wèn)題中因?yàn)檩敵龅慕Y(jié)果還是0或者1，所以需要使用sigmoid激活函數(shù)
這有一些選擇激活函數(shù)的經(jīng)驗(yàn)法則：
如果輸出是0像鸡、1值（二分類問(wèn)題）活鹰，則輸出層選擇sigmoid函數(shù)，然后其它的所有單元都選擇Relu函數(shù)只估。
快速概括一下不同激活函數(shù)的過(guò)程和結(jié)論：
sigmoid激活函數(shù)：除了輸出層是一個(gè)二分類問(wèn)題基本不會(huì)用它志群。
tanh激活函數(shù)：tanh是非常優(yōu)秀的，幾乎適合所有場(chǎng)合蛔钙。
ReLu激活函數(shù)：最常用的默認(rèn)函數(shù)锌云，，如果不確定用哪個(gè)激活函數(shù)吁脱，就使用ReLu或者Leaky ReLu桑涎。
3.7 為什么需要非線性激活函數(shù)？
實(shí)際上兼贡，在我理解攻冷，就是如果使用了非線性激活函數(shù)，那么中間的很多隱藏層將起不到作用遍希。
因?yàn)槿绻闶怯镁€性激活函數(shù)或者叫恒等激勵(lì)函數(shù)等曼，那么神經(jīng)網(wǎng)絡(luò)只是把輸入線性組合再輸出≡渌猓總而言之禁谦，不能在隱藏層用線性激活函數(shù)，可以用ReLU或者tanh或者leaky ReLU或者其他的非線性激活函數(shù)篙程，唯一可以用線性激活函數(shù)的通常就是輸出層枷畏；
3.8 激活函數(shù)的導(dǎo)數(shù)
主要是求三個(gè)激活函數(shù)别厘，sigmoid虱饿、tanh和Relu函數(shù)的導(dǎo)數(shù)。
3.9 神經(jīng)網(wǎng)絡(luò)的梯度下降法
3.10 （選修）直觀理解反向傳播
3.11 隨機(jī)初始化
參考鏈接：
深度學(xué)習(xí)
Andrew-NG
deeplearning-assignment
stanford cs20課程
