這篇臺(tái)灣大學(xué)李宏毅教授的文章應(yīng)該是關(guān)于深度學(xué)習(xí)入門最淺顯易懂的了。
深度學(xué)習(xí)介紹
先簡(jiǎn)單的介紹了一下深度學(xué)習(xí)大致分為三步嘉抓，建立一組方法-從中選出性能更好的-挑出最佳的。
神經(jīng)網(wǎng)絡(luò)
神經(jīng)網(wǎng)絡(luò)的神經(jīng)元構(gòu)成如下，
而每一個(gè)神經(jīng)元都可以賦以不同的權(quán)重和偏差值脑题，
如下是一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)缝裤，sigmoid函數(shù)是神經(jīng)網(wǎng)絡(luò)中一種常用的激活函數(shù)屏轰，可以看到，分別用初值乘以權(quán)重再加上偏差值代入激活函數(shù)就得到下一層的數(shù)據(jù)憋飞，以此類推霎苗，
由此我們可以得到一個(gè)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如下，分為輸入層搀崭、輸出層和隱藏層叨粘，
下面是一個(gè)具體示例，
評(píng)估方法的優(yōu)劣
在神經(jīng)網(wǎng)絡(luò)的進(jìn)行過(guò)程中瘤睹，所得到的預(yù)測(cè)值和所需要的目標(biāo)值之間往往會(huì)有一個(gè)差值loss升敲，將其進(jìn)行比對(duì)，所以評(píng)估一個(gè)方法的優(yōu)劣轰传，也就是讓這個(gè)loss盡可能的小驴党。
尋找最優(yōu)方法
這里采用的是梯度下降法，不過(guò)也會(huì)進(jìn)入局部最優(yōu)的誤區(qū)获茬。
Why Deep港庄？
這里可以看出倔既，參數(shù)越多，性能越好鹏氧，
同時(shí)還提出一個(gè)疑問(wèn)渤涌，為什么一定要更深， 更寬難道不行么把还，這里做了一個(gè)對(duì)比实蓬，
先看結(jié)論，
作者認(rèn)為deep可以帶來(lái)模塊化的好處吊履，
這樣模塊化可以使得隨著層級(jí)的深入安皱，神經(jīng)網(wǎng)絡(luò)可以將像素元素逐步歸納出一些基本的特征，進(jìn)而變成紋理艇炎，再變成對(duì)象酌伊。
Tips for training DNN
作者總結(jié)了兩種在訓(xùn)練過(guò)程中的情況，
- 第一是得不到很好的訓(xùn)練結(jié)果缀踪，那就需要重新選擇訓(xùn)練方法居砖；
- 第二是得不到很好的測(cè)試結(jié)果，往往是由過(guò)擬合導(dǎo)致的辜贵，這就需要重新定義方法了悯蝉。
作者總結(jié)了五種優(yōu)化訓(xùn)練方法的手段，
-
Choosing proper loss托慨，選擇適當(dāng)?shù)膌oss function：這里舉例鼻由，使用cross entropy要優(yōu)于square error；
-
mini-batch：每次使用少量數(shù)據(jù)而不使用全部數(shù)據(jù)厚棵；
