課程背景
什么是神經(jīng)網(wǎng)絡(luò)
圖像語(yǔ)音密集矩陣
文本稀疏矩陣
課程安排
網(wǎng)絡(luò)結(jié)構(gòu)
eg 在圖中四個(gè)隱含層报慕，一個(gè)輸出層
從x到y(tǒng) 一個(gè)預(yù)測(cè)的過(guò)程
更深的網(wǎng)絡(luò)比更寬的網(wǎng)絡(luò)在計(jì)算上節(jié)省，當(dāng)深度層增加，每一層增加一個(gè)解叮叹，見(jiàn)微知著宙项，不斷剖析，對(duì)應(yīng)神經(jīng)網(wǎng)絡(luò)的深度增長(zhǎng)畅形。
每一個(gè)神經(jīng)元的設(shè)計(jì)體現(xiàn)非線性分析
對(duì)每一個(gè)神經(jīng)元
這是一個(gè)神經(jīng)元結(jié)點(diǎn)的結(jié)構(gòu)
第一部分：對(duì)輸入線性組合
第二部分：進(jìn)行非線性處理 g（z）對(duì)線性組合轉(zhuǎn)化成非線性的結(jié)果
邏輯回歸
最小的結(jié)構(gòu)單元：每個(gè)神經(jīng)元節(jié)點(diǎn)獨(dú)立具有判斷問(wèn)題的能力养距，該結(jié)點(diǎn)本身是一個(gè)邏輯回歸的模型
對(duì)單獨(dú)一個(gè)神經(jīng)元
同樣可以進(jìn)行機(jī)器學(xué)習(xí)的過(guò)程，左側(cè)輸入日熬，右側(cè)輸出（預(yù)測(cè)值）棍厌，通過(guò)W和B這兩個(gè)參數(shù)對(duì)x進(jìn)行線性化，通過(guò)激勵(lì)函數(shù)的到預(yù)測(cè)值
激勵(lì)函數(shù)
模擬神經(jīng)元被激發(fā)的狀態(tài)變化（非線性）竖席，對(duì)大腦中的傳遞遞質(zhì)的動(dòng)作模擬
常用神經(jīng)元
RELU簡(jiǎn)單常用耘纱，是首選
損失函數(shù)
梯度下降
通過(guò)漸進(jìn)性方式調(diào)整整個(gè)函數(shù)的形態(tài)or performance
調(diào)整參數(shù)為W b 找到合理組合使得機(jī)器學(xué)習(xí)得到的y值與現(xiàn)實(shí)中監(jiān)督的真正y值一致，從而指導(dǎo)預(yù)測(cè)結(jié)果
根據(jù)運(yùn)算結(jié)果預(yù)測(cè)值x0在凸的部分進(jìn)行數(shù)學(xué)處理毕荐。束析。。憎亚。
（：=代表同步更新）
在進(jìn)行運(yùn)算员寇，指導(dǎo)w.b趨向穩(wěn)定值
網(wǎng)絡(luò)向量化
傳播過(guò)程
輸入到隱含層弄慰，四個(gè)隱含層生成一個(gè)輸出值，即訓(xùn)練得到的y值
寫(xiě)成對(duì)應(yīng)的矩陣表達(dá)式
把這種簡(jiǎn)單模型進(jìn)行推廣
對(duì)比較大的神經(jīng)網(wǎng)絡(luò)
得到層與層之間的關(guān)系
網(wǎng)絡(luò)梯度下降
*對(duì)神經(jīng)元的參數(shù)的調(diào)教（反向傳播）
通過(guò)運(yùn)算結(jié)果逆向調(diào)整wb參數(shù)
向前傳播的規(guī)則
對(duì)每一層
訓(xùn)練過(guò)程
eg蝶锋。簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)
再進(jìn)行運(yùn)算，再更新扳缕。
反復(fù)這兩個(gè)訓(xùn)練過(guò)程
按層計(jì)算慌闭，算好后更新
總結(jié)
