深度學習數(shù)學基礎(chǔ)(三)之簡單數(shù)學

以下有部分公式推姻，如果無法顯示，請訪問原文鏈接

從本文開始监徘，之后的三四篇我們都將沐浴在數(shù)學的海洋里，拼命地撲騰吧碾，這個系列我會盡力以通俗易懂的方式來講述這些數(shù)學知識凰盔。

1 函數(shù)

1.1 一次函數(shù)

在數(shù)學函數(shù)中最基本、最重要的就是一次函數(shù)倦春。也就是函數(shù)之基礎(chǔ)户敬、根本。它在神經(jīng)網(wǎng)絡(luò)的世界里也同樣重要睁本。

1.1.1 一元一次函數(shù)

這個函數(shù)可以用下面的式表示尿庐。 $a$ 被稱為斜率(用來控制直線的方向)， $b$ 被稱為截距（用來控制直線和原點的偏移）
$y=ax+b（a呢堰、b為常數(shù)抄瑟，a\neq 0）$

當x、y兩個變量滿足上述公式時枉疼，就稱為變量y和變量x是一次函數(shù)關(guān)系皮假。

有兩個變量 $x$ 和 $y$ ，如果對每個 $x$ 都有唯一確定的 $y$ 與它對應(yīng)骂维，則稱 $y$ 是 $x$ 的函數(shù)惹资，用 $y=f(x)$ 表示。此時航闺，稱 $x$ 為自變量褪测， $y$ 為因變量猴誊。

一次函數(shù)的圖像是直線，如下圖的直線所示侮措。

示例：一次函數(shù) $y=2x+1$ 的圖像如下圖所示懈叹，截距為 1，斜率為 2萝毛。

1.1.2 多元一次函數(shù)

上面我們說的 $y=ax+b$ 中有一個變量x项阴，我們稱為一元，如果有多個變量笆包，我們就稱為是多元的，比如下面的式子略荡。（有幾個變量就是幾元的庵佣，也可以理解為維度）
$y=ax_1+bx_2+...+c（a、b汛兜、c為常數(shù)巴粪，a\neq 0，b\neq 0）$

當多個變量滿足上述公式時粥谬，也稱為變量y與變量是一次函數(shù)關(guān)系肛根。

就像我們之前說的神經(jīng)元的加權(quán)輸入 $z$ 就可以表示為一次函數(shù)關(guān)系。如果把作為參數(shù)的權(quán)重 $w_1漏策、w_2派哲、...、w_n$ 與偏置 $b$ 看作常數(shù)掺喻，那么加權(quán)輸入 $z$ h和 $w_1芭届、w_2、...感耙、w_n$ 就是一次函數(shù)關(guān)系褂乍。
$z=w_1x_1+w_2x_2+...+w_nx_n+b$

1.2 二次函數(shù)

1.2.1 一元二次函數(shù)

剛剛我們接觸了一次函數(shù)，下面說說二次函數(shù)即硼。二次函數(shù)很重要逃片，像我們經(jīng)常使用的代價函數(shù)平方誤差就是二次函數(shù)。二次函數(shù)由下面的式表示只酥。
$y=ax^2+bx+c（a褥实、b、c為常數(shù)层皱，a\neq 0）$

二次函數(shù)的圖像是拋物線性锭，如下圖所示。我們會發(fā)現(xiàn)拋物線的凹凸（開口朝向）是通過上方式子中 $a$ 的正負來決定的叫胖。

當 $a>0$ 時草冈，拋物線向上開口，向下凸起
當 $a<0$ 時，拋物線向下開口怎棱，向上凸起哩俭。

所以當 $a>0$ 時該函數(shù)的 $y$ 存在最小值。（該性質(zhì)是后面講的最小二乘法的基礎(chǔ)）

示例：二次函數(shù) $y=(x-1)^2+2$ 的圖像如右圖所示拳恋。從圖像中可以看到凡资，當 $x=1$ 時，函數(shù)取得最小值 $y=2$ 谬运。

1.2.2 多元二次函數(shù)

在我們實際的神經(jīng)網(wǎng)絡(luò)中需要處理更多變量的二次函數(shù)隙赁，這些二次函數(shù)統(tǒng)稱多元二次函數(shù)，學會了一元二次函數(shù)梆暖，那么多元二次函數(shù)就不會太難了伞访，下面我們以一個二元二次函數(shù)進行舉例。

就像我們使用的代價函數(shù)平方誤差c就是多元二次函數(shù):
$C=(x_1-t_1)^2$

1.3 單位階躍函數(shù)

之前轰驳，我們已經(jīng)接觸過它了厚掷，還記得嗎，作為生物界神經(jīng)元的激活函數(shù)级解。下面我們再說一遍吧冒黑。

單位階躍函數(shù)，在原點處不連續(xù)勤哗，也就是在原點處不可導抡爹，由于這兩個性質(zhì)，所以單位階躍函數(shù)不能成為主要的激活函數(shù)俺陋。

$u(x)=\left\\{ \begin{matrix} 0\quad (x<0) \\\\ 1\quad (x\ge 0) \end{matrix} \right\\}$

單位階躍函數(shù)的圖像如下：

1.4 指數(shù)函數(shù)

什么是指數(shù)函數(shù)呢豁延？我們之前講了一次函數(shù)和二次函數(shù)，其實只要把變量放到冪的位置腊状，其實就是指數(shù)函數(shù)了诱咏，具有以下形狀的函數(shù)稱為指數(shù)函數(shù)，常數(shù) $a$ 被稱為函數(shù)的底數(shù)缴挖。
$y=a^x（a為正的常數(shù)袋狞，a\neq 1）$

指數(shù)函數(shù)的圖像是類似于撇的一種樣式，如下所示

上面說到底數(shù)映屋，就不得不說自然常數(shù) $e$ ,又叫納皮爾數(shù)或歐拉數(shù)苟鸯，它和派 $\pi$ 類似，是一個無限不循環(huán)小數(shù)棚点，它的值如下
$e\approx 2.71828...$

1.4.1 sigmoid函數(shù)

上面說到自然常數(shù)e早处，那么就不得不提到大名鼎鼎的自然指數(shù)函數(shù) $e^x$ ,它在數(shù)學界有自己的標識exp或exp(x)

而我們這里所要講的是包含自然指數(shù)函數(shù)的復(fù)合函數(shù)sigmoid函數(shù)，它是神經(jīng)網(wǎng)絡(luò)中很具有代表性的激活函數(shù)瘫析。它的公式如下
$\sigma (x)=\frac { 1 }{ 1+{ e }^{ -x } } =\frac { 1 }{ 1+exp(-x) }$

通過下方的圖像,我們可以看到砌梆，這個函數(shù)是光滑的默责，這就代表著這個函數(shù)處處可導，函數(shù)的取值在(0,1)區(qū)間內(nèi)咸包，那么這個函數(shù)值就可以用概率來解釋

1.5 正態(tài)分布的概率密度函數(shù)

在計算機實際確定神經(jīng)網(wǎng)絡(luò)時桃序，我們需要首先給權(quán)重和偏置設(shè)定初始值，這樣神經(jīng)網(wǎng)絡(luò)才能進行計算烂瘫。而這個初始值怎么取呢媒熊，這個時候我們就會用到一個非常有用的工具，叫做正態(tài)分布坟比，這里就不長篇大論的解釋啥是正態(tài)分布了芦鳍，它也沒什么高大上的地方，就是概率分布中的一種分布方式葛账，但是這個分布方式是及其復(fù)合人類和自然界的怜校，有興趣的朋友可以去深入了解下。在這里只說一下注竿，我們在給神經(jīng)網(wǎng)絡(luò)分配權(quán)重和偏置時分配一個服從正態(tài)分布的隨機數(shù)，會比較容易取得好的結(jié)果魂贬。

正態(tài)分布是服從下面的概率密度函數(shù)的概率分布巩割。公式如下
$f\left( x \right) =\frac { 1 }{ \sqrt { 2\pi \sigma } } { e }^{ -\frac { { (x-\mu ) }^{ 2 } }{ 2{ \sigma }^{ 2 } } }$

常數(shù) $\mu$ ：期望值（平均值）
$\sigma$ ：標注差

它的圖像如下须眷，由于形狀像教堂的鐘为黎，所以被稱為叫鐘形曲線

示例：試作出期望值 $\mu$ 為0锈至、標準差 $\sigma$ 為1 的正態(tài)分布的概率密度函數(shù)的圖像佑力。
$f\left( x \right)=\frac { 1 }{ \sqrt { 2\pi } } e^{ -\frac { x^{ 2 } }{ 2 } }$

2 數(shù)列

2.1 數(shù)列的含義

數(shù)列就是數(shù)的序列级历，比如下面就是偶數(shù)列的數(shù)列
$2,4,6,8,...$

數(shù)列中的每一個數(shù)都被稱為項腥光，排在第一位的項叫做首項懒构，排在第二位的項叫做第2項,以此類推众羡，排在第n位的項叫做第n項(是不是有點廢話)勋颖，神經(jīng)網(wǎng)絡(luò)中出現(xiàn)的數(shù)列都是有限的數(shù)列嗦嗡，這種數(shù)列叫做有窮數(shù)列，在有窮數(shù)列中最后一項稱為末項,數(shù)列中的數(shù)量稱為項數(shù),而像上面的偶數(shù)列是無窮數(shù)列

示例：考察下面的有窮數(shù)列的首項饭玲，末項以及項數(shù)
$1,3,5,7,9$

這個數(shù)列的首項是1侥祭，末項是9，項數(shù)是5

2.2 數(shù)列的通項公式

數(shù)列中排在第 $n$ 項的數(shù)通常用 $a_n$ 表示茄厘，這里 $a$ 是數(shù)列的名字矮冬，可隨意取。當想要表達整個數(shù)列時次哈，使用集合的符號來表示胎署，如 $\left\\{a_n\right\\}$

將數(shù)列的第 $n$ 項用一個關(guān)于 $n$ 的式子標書出來，那么這個式子被稱為通項公式窑滞，比如偶數(shù)列的通項公式就是下方的式子
$a_n=2n$

示例：求以下數(shù)列 $\left\\{b_n\right\\}$ 的通項公式
$1,3,5,7,9$
通項公式為 $b_n=2n-1$

在神經(jīng)網(wǎng)絡(luò)中琼牧，神經(jīng)元的加權(quán)輸入和輸出可以看成數(shù)列恢筝，比如使用下方的展示方式：

加權(quán)輸入：第 $l$ 層的第 $j$ 個神經(jīng)元的加權(quán)輸入用 $z_j^l$
輸出：第 $l$ 層的第 $j$ 個神經(jīng)元的輸出用 $a_j^l$

2.3 數(shù)列與遞推關(guān)系式

除了通項公式外，數(shù)列還有另外一種表示方式障陶，就是用相鄰的關(guān)系式來表示滋恬，這種表示法被稱為數(shù)列的遞歸定義

一般，如果已知首項 $a_n$ 以及相鄰的兩項 $a\_n抱究、a\_{n+1}$ 的關(guān)系式恢氯，那么就可以確定這個序列，這個關(guān)系式叫遞推關(guān)系式

示例：已知首項 $a_1=1$ 以及關(guān)系式 $a\_{n+1}=a\_n+2$ 鼓寺，可以確定以下數(shù)列勋拟，這個關(guān)系式就是數(shù)列的遞推關(guān)系式。
$a\_{1}=1\\\\a\_{2}=a\_{1+1}=a\_{1}+2=1+2=3\\\\a\_{3}=a\_{2+1}=a\_{2}+2=3+2=5\\\\a\_{4}=a\_{3+1}=a\_{3}+2=5+2=7\\\\...\\\\a\_{1}=1,a\_{n+1}=a\_{n}+2$

2.4 聯(lián)立遞推關(guān)系式

下面我們演示一個問題妈候，這個算法就是神經(jīng)網(wǎng)絡(luò)中的誤差反向傳播中所用到的數(shù)列的解題算法聯(lián)立遞推算法敢靡。

示例：求以下兩個地推關(guān)系是定義的數(shù)列前3項，其中 $a_1=b_1=1$
$\begin{cases} a\_{ n+1 }=a\_{ n }+2b\_{ n }+2 \\\\ b\_{n+1}=2a\_{n}+3b\_{n}+1 \end{cases}$

解題：
$\begin{cases} a\_{ 2 }=a\_{ 1 }+2b\_{ 1 }+2=1+2\times 1=5 \\\\ b\_2=2a\_1+3b\_1+1=2\times 1+3\times 1+1=6 \end{cases}$
$\begin{cases} a\_{ 3 }=a\_{ 2 }+2b\_{ 2 }+2=5+2\times 6+2=19 \\\\ b\_{ 3 }=2a\_{ 2 }+3b\_{ 2 }+1=2\times 5+3\times 6+1=39 \end{cases}$

像這樣苦银，將多個數(shù)列的遞推關(guān)系式聯(lián)合起來組成一組啸胧，稱為聯(lián)立遞推關(guān)系式。在神經(jīng)網(wǎng)絡(luò)的世界中幔虏，所有神經(jīng)元的輸入和輸出在數(shù)學上都可以認為是用聯(lián)立遞推式聯(lián)系起來的纺念。例如，我們來看看之前文章中看過的一個神經(jīng)元的圖片

在箭頭前端標記的是權(quán)重想括，神經(jīng)元的圓圈中標記的是神經(jīng)單元的輸出變量陷谱。于是，如果以 $a(z)$ 為激活函數(shù)瑟蜈， $b_1^3$ 烟逊、 $b_2^3$ 為第3層各個神經(jīng)元的偏置，那么以下關(guān)系式成立：
${ a }\_{ 1 }^{ 3 }=a({ w }\_{ 11 }^{ 3 }{ a }\_{ 1 }^{ 2 }+{ w }\_{ 12 }^{ 3 }{ a }\_{ 2 }^{ 2 }+{ w }\_{ 13 }^{ 3 }{ a }\_{ 3 }^{ 2 }+{ b }\_{ 1 }^{ 3 })$
${ a }\_{ 2 }^{ 3 }=a({ w }\_{ 21 }^{ 3 }{ a }\_{ 1 }^{ 2 }+{ w }\_{ 22 }^{ 3 }{ a }\_{ 2 }^{ 2 }+{ w }\_{ 23 }^{ 3 }{ a }\_{ 3 }^{ 2 }+{ b }\_{ 2 }^{ 3 })$

根據(jù)這些關(guān)系式铺根，第3層的輸出 $a_1^3$ 和 $a_2^3$ 由第2層的輸出 $a_1^2$ 宪躯、 $a_2^2$ 、 $a_3^2$ 決定夷都。也就是說眷唉，第2層的輸出與第3層的輸出由聯(lián)立遞推關(guān)系式聯(lián)系起來。我們之后學的誤差反向傳播就是將這種觀點應(yīng)用在神經(jīng)網(wǎng)絡(luò)中囤官。

為什么要將聯(lián)立遞推應(yīng)用在神經(jīng)網(wǎng)絡(luò)中呢冬阳？

其實是因為對比計算冗長的偏導關(guān)系式，計算機更加擅長計算遞推關(guān)系党饮。

評論請轉(zhuǎn)至原文鏈接
本文來自納蘭小筑肝陪，本文不予回復(fù)，評論請追溯原文

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末刑顺，一起剝皮案震驚了整個濱河市氯窍，隨后出現(xiàn)的幾起案子饲常，更是在濱河造成了極大的恐慌，老刑警劉巖狼讨，帶你破解...
沈念sama閱讀 206,839評論 6贊 482
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件贝淤，死亡現(xiàn)場離奇詭異，居然都是意外死亡政供，警方通過查閱死者的電腦和手機播聪，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 88,543評論 2贊 382
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來布隔，“玉大人离陶，你說我怎么就攤上這事⌒铺矗” “怎么了招刨？”我有些...
開封第一講書人閱讀 153,116評論 0贊 344
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長哀军。經(jīng)常有香客問我沉眶，道長，這世上最難降的妖魔是什么杉适？我笑而不...
開封第一講書人閱讀 55,371評論 1贊 279
?港島之戀（遺憾婚禮）
正文為了忘掉前任沦寂，我火速辦了婚禮，結(jié)果婚禮上淘衙，老公的妹妹穿的比我還像新娘。我一直安慰自己腻暮，他們只是感情好彤守，可當我...
茶點故事閱讀 64,384評論 5贊 374
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布。她就那樣靜靜地躺著哭靖，像睡著了一般具垫。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發(fā)上试幽，一...
開封第一講書人閱讀 49,111評論 1贊 285
城市分裂傳說
那天筝蚕，我揣著相機與錄音，去河邊找鬼铺坞。笑死起宽，一個胖子當著我的面吹牛，可吹牛的內(nèi)容都是我干的济榨。我是一名探鬼主播坯沪，決...
沈念sama閱讀 38,416評論 3贊 400
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼擒滑！你這毒婦竟也來了腐晾？” 一聲冷哼從身側(cè)響起叉弦，我...
開封第一講書人閱讀 37,053評論 0贊 259
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎藻糖，沒想到半個月后淹冰，有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 43,558評論 1贊 300
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡巨柒，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點故事閱讀 36,007評論 2贊 325
?白月光啟示錄
正文我和宋清朗相戀三年樱拴，在試婚紗的時候發(fā)現(xiàn)自己被綠了。大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片潘拱。...
茶點故事閱讀 38,117評論 1贊 334
活死人
序言：一個原本活蹦亂跳的男人離奇死亡疹鳄，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出芦岂，到底是詐尸還是另有隱情瘪弓，我是刑警寧澤，帶...
沈念sama閱讀 33,756評論 4贊 324
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布禽最，位于F島的核電站腺怯，受9級特大地震影響，放射性物質(zhì)發(fā)生泄漏川无。R本人自食惡果不足惜呛占，卻給世界環(huán)境...
茶點故事閱讀 39,324評論 3贊 307
男人毒藥：我在死后第九天來索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望懦趋。院中可真熱鬧晾虑，春花似錦、人聲如沸仅叫。這莊子的主人今日做“春日...
開封第一講書人閱讀 30,315評論 0贊 19
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽诫咱。三九已至笙隙，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間坎缭，已是汗流浹背竟痰。一陣腳步聲響...
開封第一講書人閱讀 31,539評論 1贊 262
情欲美人皮
我被黑心中介騙來泰國打工，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留掏呼，地道東北人坏快。一個月前我還...
沈念sama閱讀 45,578評論 2贊 355
代替公主和親
正文我出身青樓，卻偏偏與公主長得像憎夷，于是被迫代替她去往敵國和親假消。傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當晚...
茶點故事閱讀 42,877評論 2贊 345