deeplearning.ai 是機(jī)器學(xué)習(xí)領(lǐng)域大牛Andrew Ng在Coursera上公布的新的深度學(xué)習(xí)的課程,相比之前機(jī)器學(xué)習(xí)的課程财著,本課程更偏重于深度學(xué)習(xí)的領(lǐng)域胎食。
本文是課程一《Neural Networks and Deep Learning》的第四周筆記逗宜,上周給大家介紹了Shallow Neural Networks庆尘,本周我們將為大家介紹Deep Neural Networks剃诅。
注:如果沒(méi)有任何機(jī)器學(xué)習(xí)基礎(chǔ),直接學(xué)習(xí)本課程可能會(huì)有些費(fèi)力驶忌,建議大家先去學(xué)習(xí)Andrew Ng機(jī)器學(xué)習(xí)課程矛辕,傳送門(mén)在此 Coursera Machine Learning
一、基本概念
深層神經(jīng)網(wǎng)絡(luò)付魔,顧名思義聊品,就是有很多隱藏層的神經(jīng)網(wǎng)絡(luò),所以其符號(hào)表示與神經(jīng)網(wǎng)絡(luò)是一樣的几苍,即使用中括號(hào)的上角標(biāo)來(lái)表示第幾層翻屈,比如a[0]表示第0層,即輸入層妻坝;a[2]則表示第二層隱藏層伸眶。
下圖即邏輯回歸、淺層神經(jīng)網(wǎng)絡(luò)與深層神經(jīng)網(wǎng)絡(luò)的對(duì)比惠勒。
由于其符號(hào)表示、前向傳播爬坑、反向傳播纠屋、參數(shù)及向量化已在前一章介紹過(guò)了,這里就不再贅述了盾计,不清楚的可以回顧下上一周的筆記售担。
這里只是多了層數(shù)而已赁遗,完全套用前一章神經(jīng)網(wǎng)絡(luò)的前向傳播和反向傳播即可。
二族铆、直觀解釋
下圖為深層神經(jīng)網(wǎng)絡(luò)的直觀解釋?zhuān)e了圖像識(shí)別岩四、語(yǔ)音識(shí)別等例子,詳細(xì)講解可以去看下視頻哥攘。 為什么使用深層表示.
三剖煌、參數(shù)與超參數(shù)
在神經(jīng)網(wǎng)絡(luò)中的參數(shù)指的是W,b,它們是在一次次梯度下降算法的迭代中不斷優(yōu)化的逝淹。
超參數(shù)指的是學(xué)習(xí)率耕姊、迭代數(shù)、隱藏層的層數(shù)和隱藏神經(jīng)元的個(gè)數(shù)(神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu))及激活函數(shù)的選擇等栅葡,超參數(shù)是需要我們?cè)谟?xùn)練前手動(dòng)設(shè)定的茉兰。
超參數(shù)的選擇會(huì)決定了最終的參數(shù)W,b,還會(huì)影響模型的訓(xùn)練速度等欣簇,所以超參數(shù)的選擇非常重要规脸,在下一章中我們會(huì)講解如何選擇超參數(shù)。
四熊咽、本周內(nèi)容回顧
通過(guò)本周學(xué)習(xí)莫鸭,我們學(xué)習(xí)到了:
- 深層神經(jīng)網(wǎng)絡(luò)的基本概念
- 深層神經(jīng)網(wǎng)絡(luò)的前向傳播和反向傳播
- 參數(shù)與超參數(shù)的解釋
最后貼出網(wǎng)易云課堂的鏈接,有興趣的可以關(guān)注下我的知乎或博客网棍,鏈接在最下方黔龟,可以交流下學(xué)習(xí)經(jīng)驗(yàn)哈