第三章
- 是每個(gè)神經(jīng)元的計(jì)算過(guò)程替蛉。而不是整體的運(yùn)算過(guò)程。
- 每個(gè)神經(jīng)元的計(jì)算過(guò)程就是上面一層每個(gè)神經(jīng)元的輸出值乘以權(quán)重和加上損失函數(shù)b
- 這里用了矩陣的運(yùn)算拄氯。所以看起來(lái)是一次性的躲查。
- 還講了一些激活函數(shù)。就是2中的結(jié)果放入激活函數(shù)進(jìn)行計(jì)算译柏。做為本神經(jīng)元的輸出值镣煮。而激活函數(shù)則是按照不同的方式進(jìn)行計(jì)算。
- 神經(jīng)元的輸出值鄙麦，如果為0和1表示是否被激活典唇。而介于0到1之間則表示是概率镊折。具體看具體函數(shù)。
第四章
介紹了一個(gè)最簡(jiǎn)單的一個(gè)模型的訓(xùn)練介衔。
關(guān)于梯度的理解：
梯度只是標(biāo)識(shí)函數(shù)變小(變化)最大的方向恨胚，并不是最大最小值的概念。
所以?xún)?yōu)化炎咖，本質(zhì)是簡(jiǎn)化找尋的過(guò)程赃泡，而不是優(yōu)化結(jié)果〕伺危或者說(shuō)升熊，降低試錯(cuò)成本，提高試錯(cuò)的次數(shù)蹦肴。
而問(wèn)題完全可以是局部的僚碎。是通過(guò)反復(fù)的重復(fù)過(guò)程，找到最低點(diǎn)阴幌。
而最后一個(gè)例子勺阐，就是一個(gè)訓(xùn)練過(guò)程∶基本上來(lái)說(shuō)渊抽，就是以下過(guò)程的迭代。
第一步：隨機(jī)生成參數(shù)
第二步议忽，計(jì)算梯度
第三不懒闷，根據(jù)梯度更新參數(shù)。
第五章
這一章是前面的一章的延續(xù)栈幸，主要是做了兩點(diǎn)愤估。
- 抽象成層的概念。把層的代碼由以前離散的速址。變成了現(xiàn)在的抽象成一層一層的玩焰。
- backford的目的是求梯度和求導(dǎo)。類(lèi)似于前一章中的求導(dǎo)芍锚。
- 計(jì)算圖的主要作用還是使得整個(gè)過(guò)程能夠圖像化昔园。簡(jiǎn)單化。
