上一篇：AI學(xué)習(xí)筆記：[0]什么是矩陣

學(xué)習(xí)吳恩達(dá)在網(wǎng)易云課堂上的《深度學(xué)習(xí)工程師》課程有一周了，差不多學(xué)完了4周的課程（只是理論學(xué)習(xí)，而非動(dòng)手實(shí)踐）坐搔。

1. 學(xué)習(xí)材料

在看吳恩達(dá)的課程前日麸，我找了不少資料，比如：

1. Deep Learning（深度學(xué)習(xí)）學(xué)習(xí)筆記整理系列
2. 關(guān)于深度學(xué)習(xí)恩够，看這一篇就夠了
3. 深度學(xué)習(xí)如何入門(mén)
4. 臺(tái)灣李宏毅教授《1天搞懂深度學(xué)習(xí)》
5. DeepLearningBook讀書(shū)筆記
6. Tensorflow中文社區(qū)
7. 神經(jīng)網(wǎng)絡(luò)入門(mén)
8. Andrew Ng機(jī)器學(xué)習(xí)入門(mén)學(xué)習(xí)筆記
9. 超智能體-分享最通俗易懂的深度學(xué)習(xí)教程
10. 無(wú)痛的機(jī)器學(xué)習(xí)

需要的話還可以列出更多，但是這些只會(huì)讓你越看越糊涂羡铲，什么是Sigmoid蜂桶、LSTM、RNN也切、CNN扑媚，然后再加上一堆推導(dǎo)公式妥曲，讓人直接暈菜。相比之下钦购，吳恩達(dá)的課程則是從基本的理論開(kāi)始檐盟，更單純清晰，并輔于簡(jiǎn)單的Numpy的方法調(diào)用押桃，很容易理解葵萎。

有時(shí)候?qū)W習(xí)太著急了反而不容易學(xué)好，因此還是推薦踏踏實(shí)實(shí)將這個(gè)課程視頻看完唱凯。

當(dāng)然課余資料仍然是不可避免的羡忘，我看了如下一些資料值得推薦：

1. 書(shū)籍 《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》：其中關(guān)于神經(jīng)網(wǎng)絡(luò)的歷史、感知機(jī)磕昼、以及基于Neuroph這個(gè)Java神經(jīng)網(wǎng)絡(luò)框架的演示非常棒（我目前只閱讀到這部分）
2. 博客 《神經(jīng)網(wǎng)絡(luò)入門(mén)》：形象講解了神經(jīng)元的工作原理卷雕、如何通過(guò)數(shù)學(xué)來(lái)進(jìn)行建模
3. 知乎專(zhuān)欄# 無(wú)痛的機(jī)器學(xué)習(xí)第一季：其中對(duì)于梯度下降算法等的解釋非常詳細(xì)，其他的內(nèi)容我尚未閱讀票从。

2. 吳恩達(dá)課程大綱

吳恩達(dá)的課程分為5個(gè)部分：

1. 神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)
2. 改善深層神經(jīng)網(wǎng)絡(luò)：超參數(shù)調(diào)試漫雕、正則化以及優(yōu)化
3. 結(jié)構(gòu)化機(jī)器學(xué)習(xí)項(xiàng)目
4. 卷積神經(jīng)網(wǎng)絡(luò)
5. 序列模型

其中第一部分[神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)]又分為4周的課程：

1. 深度學(xué)習(xí)概論：深度神經(jīng)網(wǎng)絡(luò)可以干什么
2. 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)：logistic回歸、梯度下降法峰鄙、計(jì)算圖浸间、向量化、以及python的numpy和Jupyter的使用
3. 淺層神經(jīng)網(wǎng)絡(luò)：神經(jīng)網(wǎng)絡(luò)表示吟榴、激活函數(shù)魁蒜、激活函數(shù)的導(dǎo)數(shù)、神經(jīng)網(wǎng)絡(luò)的梯度下降法
4. 深層神經(jīng)網(wǎng)絡(luò)：深層神經(jīng)網(wǎng)絡(luò)的表示吩翻、前向和后向傳播兜看、超參數(shù)

我總結(jié)成了以下思維導(dǎo)圖，其中紅色部分是本文涉及到的狭瞎。

Deep Learning Specialization.png

下面细移，進(jìn)入正文。

3. 神經(jīng)元

要理解什么是神經(jīng)網(wǎng)絡(luò)脚作，需要從什么是神經(jīng)元以及如何對(duì)神經(jīng)元進(jìn)行抽象建模進(jìn)行了解葫哗，神經(jīng)元也就是神經(jīng)細(xì)胞缔刹。

神經(jīng)元.png

上圖是生物課上學(xué)習(xí)到過(guò)的神經(jīng)元球涛，比較有意思的是如下兩個(gè)組成部分：

1. 細(xì)胞核周邊冒出來(lái)的分支稱(chēng)為“樹(shù)突”，用于接收刺激信號(hào)
2. 中間長(zhǎng)長(zhǎng)的絲稱(chēng)為“軸突”校镐，其末端也有一些分支亿扁，和其他神經(jīng)元的“樹(shù)突”連在一起，作用是將信號(hào)傳遞給其他神經(jīng)細(xì)胞

人類(lèi)的中樞神經(jīng)系統(tǒng)中約有1000億個(gè)神經(jīng)元鸟廓，每個(gè)神經(jīng)元大概與1萬(wàn)個(gè)其他神經(jīng)元相連从祝，要用電腦去模擬人類(lèi)的神經(jīng)系統(tǒng)即便是大數(shù)據(jù)時(shí)代也是非常困難的襟己。甚至有人將人類(lèi)的大腦比喻成宇宙，因?yàn)橛钪嬷械暮阈堑臄?shù)量可能和大腦中的神經(jīng)元是差不多量級(jí)的牍陌，因此說(shuō)每個(gè)人都頂著一個(gè)宇宙擎浴。

神經(jīng)元的工作模式非常簡(jiǎn)單，接受來(lái)自“樹(shù)突”的信號(hào)毒涧，來(lái)決定是否要“激發(fā)”贮预，并且將狀態(tài)通過(guò)“軸突”傳遞給下一個(gè)神經(jīng)元∑踅玻可以用簡(jiǎn)單的數(shù)據(jù)模型描述如下仿吞。

4.神經(jīng)元的數(shù)據(jù)模型

神經(jīng)元建模.png

在吳恩達(dá)的課程中，輸入被描述成

信號(hào)處理函數(shù)分為兩部分（這兩個(gè)部分很重要捡偏，是后續(xù)所有探討的基石唤冈，一定要先搞懂）：

1. 權(quán)重加權(quán)（每個(gè)輸入信號(hào)x₁, x₂, x₃，對(duì)應(yīng)的權(quán)重分別為w₁, w₂, w₃银伟，然后加上內(nèi)部強(qiáng)度（用 b 表示）
2. 激活函數(shù)（用 a=σ(z) 表示）

整個(gè)公式為：

用向量表示為：

其中：

如果你看過(guò)我的上一篇文章《AI學(xué)習(xí)筆記：[0]什么是矩陣》你虹，你就會(huì)發(fā)現(xiàn)那篇文章最后一部分提到了這個(gè)公式。這里再重新敘述一次：w和x都是 3x1 的列向量彤避，其中w轉(zhuǎn)置后為 1x3 的行向量售葡，因此與x相乘后為標(biāo)量（實(shí)數(shù)），然后和 b 相加就得到標(biāo)量 z忠藤。

z被代入到激活函數(shù) a=σ(z) 得到神經(jīng)元的輸出挟伙，這里的 a 表示神經(jīng)元的激活狀態(tài)。

注意到這里的σ(z)還沒(méi)有具體展開(kāi)模孩。 σ(z)被稱(chēng)為激活函數(shù)尖阔，具體有很多種，在整個(gè)神經(jīng)網(wǎng)絡(luò)中不同層的神經(jīng)元可以使用不同的激活函數(shù)榨咐，以下將列舉幾種介却。

5. 激活函數(shù)

σ(z)激活函數(shù)有好幾種，吳恩達(dá)講的比較多的是這四種：

Sigmoid函數(shù)（知名度最高块茁，但其實(shí)只是激活函數(shù)的其中一種）

Tanh函數(shù)

ReLu函數(shù)

Leaky ReLu函數(shù)

這四個(gè)函數(shù)的圖形分別為：

激活函數(shù)圖形.png

吳恩達(dá)在課程中說(shuō)：

1. 幾乎所有的情況下 Tanh 都要比 Sigmoid 要好
2. 默認(rèn)用 ReLu 就很好齿坷，可以參考下 ReLu(Rectified Linear Units)激活函數(shù)

至于為什么是這樣，應(yīng)該需要閱讀好多論文才能懂数焊，暫且先記住吧永淌。

6. 神經(jīng)網(wǎng)絡(luò)

整個(gè)神經(jīng)網(wǎng)絡(luò)分為：輸入層，隱藏層佩耳，輸出層遂蛀。一般說(shuō)L層神經(jīng)網(wǎng)絡(luò)，指的是有L個(gè)隱層干厚，輸入層和輸出層都不計(jì)算在內(nèi)的李滴。

兩層神經(jīng)網(wǎng)絡(luò).jpg

在吳恩達(dá)的課程中螃宙，神經(jīng)網(wǎng)絡(luò)分為 淺層神經(jīng)網(wǎng)絡(luò) 和 深層神經(jīng)網(wǎng)絡(luò)，下圖是 神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)Week4 中的圖所坯。

1. 一個(gè)神經(jīng)元被稱(chēng)為 邏輯斯蒂回歸（logistic regression）
2. 隱層（hidden layer）較少的被稱(chēng)為 淺層谆扎，而隱層較多的（比如這個(gè)圖中的5 hidden layer）被稱(chēng)為 深層

基本上是層次越深越好，但是帶來(lái)的計(jì)算成本都會(huì)增加芹助，有時(shí)候不知道個(gè)該用多少的時(shí)候燕酷，就從logistic回歸開(kāi)始，一層一層增加周瞎。

神經(jīng)網(wǎng)絡(luò)的分類(lèi)

7. 神經(jīng)網(wǎng)絡(luò)的表達(dá)

在 4.神經(jīng)元的數(shù)據(jù)模型 中已經(jīng)清楚地用公式表達(dá)了一個(gè)樣本輸入一個(gè)神經(jīng)元后的輸出苗缩。下面看一個(gè)樣本輸入第一個(gè)隱層(1 hidden layer)如何表達(dá)。

以“神經(jīng)網(wǎng)絡(luò)的分類(lèi)”圖中的“1 hidden layer”為例声诸，輸入樣本有3個(gè)特征x₁, x₂, x₃

輸入量表達(dá)為 x=(x₁, x₂, x₃)酱讶，對(duì)于一個(gè)神經(jīng)元而言w=(w₁, w₂, w₃)，對(duì)于第一個(gè)有3個(gè)神經(jīng)元的隱層而言：

其中彼乌，w_n^[l] 右上方括號(hào)中的l（字母L的小寫(xiě)泻肯，代表layer）表示第l個(gè)隱層，下標(biāo)n表示第l層中的第n個(gè)神經(jīng)元慰照。w_n^[l]T 在本例中是1x3的行向量灶挟，因?yàn)橛械谝粚佑腥齻€(gè)神經(jīng)元，因此w是 3x3 的矩陣毒租。

這里稚铣，b_n^[l]表示第l層的第n個(gè)節(jié)點(diǎn)的內(nèi)部強(qiáng)度，是一個(gè)實(shí)數(shù)墅垮，因此這里的 b 是一個(gè) 3x1 的列向量惕医。

所以，對(duì)第一層神經(jīng)元而言算色，第一步計(jì)算z：

簡(jiǎn)化一下抬伺，就是

第二步計(jì)算a：

抽象一下，第 l-1 層輸出到第 l 層的公式就是：

注意這里灾梦，用 a^[l-1] 替代了 x峡钓，因?yàn)椋瑢?shí)際上而言a^[0]就是輸入層x若河。

到此為止能岩，已經(jīng)通過(guò)數(shù)學(xué)公式歸納出一個(gè)樣本輸入到神經(jīng)網(wǎng)絡(luò)中并計(jì)算其輸出的遞歸公式。仔細(xì)分析還是挺簡(jiǎn)單的牡肉，基本上只涉及簡(jiǎn)單的線性代數(shù)知識(shí)捧灰。

實(shí)際上以上就是吳恩達(dá)課程中的 向量化 的主要內(nèi)容了淆九。至于如何將 m 個(gè)樣本整合到一個(gè)矩陣中统锤，就請(qǐng)聽(tīng)下回分解了毛俏，本篇內(nèi)容已經(jīng)很多了，連我自己都感覺(jué)有點(diǎn)燒腦饲窿。

8. 下一步

下一步要學(xué)習(xí)和總結(jié) 計(jì)算圖 和 損失函數(shù)煌寇，以及如何通過(guò) 梯度下降法 求解 w^[l] 和 b^[l]，還會(huì)涉及到一些 導(dǎo)數(shù)逾雄、偏導(dǎo)數(shù)和 Numpy 的內(nèi)容阀溶。

如果你喜歡本文，請(qǐng)不要吝嗇你的點(diǎn)贊或打賞鸦泳，畢竟一個(gè)紅心就能讓我高興半天

請(qǐng)關(guān)注我的賬號(hào)银锻，預(yù)計(jì)會(huì)以一周一篇的頻率進(jìn)行更新~

下一篇：《AI學(xué)習(xí)筆記：[2]神經(jīng)網(wǎng)絡(luò)向量化和成本函數(shù)》