概述
簡(jiǎn)而言之凳枝，神經(jīng)網(wǎng)絡(luò)就是函數(shù)：輸入數(shù)據(jù)剧防，輸出結(jié)果旦装。
函數(shù)
我們以MNIST手寫(xiě)數(shù)字圖像識(shí)別為例笛坦，來(lái)定義一下對(duì)應(yīng)的函數(shù)形式：
- 任務(wù)類(lèi)型：圖像分類(lèi)
- 輸入：一張圖像包含28 x 28=784個(gè)像素狠持，每個(gè)像素用一個(gè)實(shí)數(shù)表示
- 輸出：0-9
- 任務(wù)描述：從圖像張識(shí)別出唯一的數(shù)字
-
函數(shù)定義
這是神經(jīng)網(wǎng)絡(luò)的一個(gè)入門(mén)級(jí)應(yīng)用疟位，輸入是一張低分辨率(28 x 28)的黑白圖片，對(duì)應(yīng)的是一個(gè)擁有784個(gè)輸入變量的函數(shù)喘垂。如果是一張百萬(wàn)像素的彩色圖片甜刻，對(duì)應(yīng)的輸入變量就會(huì)達(dá)到300萬(wàn)個(gè)。
由此可見(jiàn)正勒，用神經(jīng)網(wǎng)絡(luò)解決的都是一些復(fù)雜的問(wèn)題得院，對(duì)應(yīng)的也是復(fù)雜的函數(shù)。實(shí)現(xiàn)算法就是要構(gòu)造對(duì)應(yīng)的函數(shù)章贞。
如此復(fù)雜的函數(shù)如何構(gòu)造呢祥绞？我們可以從簡(jiǎn)單的函數(shù)開(kāi)始，最簡(jiǎn)單且最成功的的例子就是數(shù)字電路鸭限。
數(shù)字電路
數(shù)字電路是計(jì)算機(jī)的基石蜕径，構(gòu)建了我們龐大的數(shù)字世界。但是其核心卻是由與败京、或兜喻、非邏輯門(mén)所構(gòu)成。
什么是邏輯門(mén)赡麦？其實(shí)就是函數(shù)朴皆。而且都是最簡(jiǎn)單的函數(shù)帕识。
| 邏輯門(mén) | 表達(dá)式 | 函數(shù)形式 |
|---|---|---|
| 與門(mén) AND | ||
| 或門(mén) OR | ||
| 非門(mén) NOT |
- 變量類(lèi)型: 都是布爾變量，只有2個(gè)值：
遂铡，遠(yuǎn)比自然數(shù)(
)渡冻、實(shí)數(shù)(
)簡(jiǎn)單。
- 變量數(shù)：一元或二元函數(shù)忧便，也是最簡(jiǎn)單的函數(shù)形式
- 函數(shù)表示：使用真值表進(jìn)行描述。為什么不用圖像呢帽借？因?yàn)槭请x散函數(shù)珠增，在圖像上是一些孤立的點(diǎn)，不太好看砍艾。
非門(mén)NOT
與門(mén)AND蒂教、或門(mén)OR
與門(mén)圖像
或門(mén)圖像
組合邏輯門(mén)
將簡(jiǎn)單的邏輯門(mén)進(jìn)行組合，可以獲得更強(qiáng)大的函數(shù)脆荷。
構(gòu)造新的二元函數(shù)：
-
異或:
-
同或:
構(gòu)造多元函數(shù)：
-
3位與:
-
8位加法器:
- 它是一個(gè)包含16個(gè)布爾變量的16元函數(shù)
通過(guò)對(duì)簡(jiǎn)單函數(shù)的復(fù)合凝垛，可以構(gòu)造復(fù)雜的函數(shù)。這一思想也適用于神經(jīng)網(wǎng)絡(luò)蜓谋。
神經(jīng)網(wǎng)絡(luò)
神經(jīng)網(wǎng)絡(luò)也是函數(shù)梦皮。像數(shù)字電路一樣，它也是由簡(jiǎn)單的函數(shù)復(fù)合而成桃焕。數(shù)字電路的基本單位是與剑肯、或、非門(mén)观堂，而神經(jīng)網(wǎng)絡(luò)的基本單位則是神經(jīng)元让网。
神經(jīng)元
那什么是神經(jīng)元呢？生物神經(jīng)元是一個(gè)細(xì)胞师痕，有輸入的樹(shù)突溃睹，有輸出的軸突。而神經(jīng)網(wǎng)絡(luò)上的神經(jīng)元是人工神經(jīng)元胰坟，它也是一個(gè)函數(shù)因篇，更準(zhǔn)確地說(shuō)，它是一類(lèi)函數(shù)腕铸。
神經(jīng)元的輸入數(shù)量是可以變化的惜犀，也就是說(shuō)它代表的是一個(gè)元函數(shù)
，而不同神經(jīng)元的
是可以不同的狠裹。
神經(jīng)網(wǎng)絡(luò)
神經(jīng)元之間相互組合虽界，就構(gòu)成了神經(jīng)網(wǎng)絡(luò)。如下圖所示：
該神經(jīng)網(wǎng)絡(luò)包含三個(gè)神經(jīng)元：
神經(jīng)網(wǎng)絡(luò)所代表的函數(shù)為：
問(wèn)題
神經(jīng)元所代表的函數(shù)到底是什么涛菠？
只知道是個(gè)元函數(shù)可不夠莉御，數(shù)字電路中的基本單元與撇吞、或、非門(mén)可都是列出了真值表礁叔，畫(huà)出了圖像的牍颈，而神經(jīng)元呢？
參考軟件
可交互圖表版本琅关，請(qǐng)參考：
