machine_learning.jpg

1943 年，心理學(xué) W.S. McCulloch 和數(shù)學(xué)邏輯學(xué)家 W.Pitts 基于神經(jīng)元的生理特征码倦，建立了單個(gè)神經(jīng)元的數(shù)學(xué)模型(MP模型)。其實(shí)近些年神經(jīng)網(wǎng)絡(luò)并沒有什么突破锭碳，其理論早在 50 年代就已經(jīng)奠定了基礎(chǔ)袁稽。

今天神經(jīng)網(wǎng)網(wǎng)絡(luò)在算法并沒有什么突破，本質(zhì)算法相對(duì)簡(jiǎn)單而且是在五六十年代提出的擒抛。今天隨著互聯(lián)網(wǎng)和大數(shù)據(jù)的發(fā)展推汽，以及 GPU 成就了這一輪的神經(jīng)網(wǎng)絡(luò)發(fā)展。為什么說(shuō)互聯(lián)網(wǎng)有助于神經(jīng)網(wǎng)絡(luò)的發(fā)展呢歧沪，因?yàn)榛ヂ?lián)網(wǎng)搜集到大量數(shù)據(jù)才能夠培養(yǎng)出更復(fù)雜(更深的)神經(jīng)網(wǎng)絡(luò)歹撒。

nn_002.jpeg

我們來(lái)看神經(jīng)元生理結(jié)構(gòu)如上圖，首先細(xì)胞核诊胞，然后還有一個(gè)樹突暖夭，這個(gè)樹突延伸身體每一個(gè)地方，例如在手上有一個(gè)樹突，樹突接受刺激后將刺激轉(zhuǎn)換為電信號(hào)迈着，電信號(hào)會(huì)一直被傳遞到細(xì)胞核中竭望，在細(xì)胞核里對(duì)于對(duì)信號(hào)進(jìn)行一系列處理。處理結(jié)束后輸出一個(gè)電信號(hào)對(duì)身體其他部位進(jìn)行控制裕菠。

• 細(xì)胞核
• 樹突
• 軸突
• 突觸

nn_001.png

用于簡(jiǎn)單數(shù)據(jù)模型模擬上面神經(jīng)元所做的事咬清，因?yàn)闃渫唤邮茈娦盘?hào)，可以用數(shù)值來(lái)表示電信號(hào)的強(qiáng)度奴潘，這里可以用一個(gè)數(shù)值來(lái)表示旧烧，樹突對(duì)電信號(hào)進(jìn)行處理，通過一個(gè)權(quán)重對(duì)電信號(hào)進(jìn)行縮放画髓，接下來(lái)在細(xì)胞核對(duì)這些神經(jīng)元輸入進(jìn)行求和的處理粪滤，并且加一個(gè)偏置，這個(gè)偏置表示神經(jīng)元所處的環(huán)境（酸性或者堿性環(huán)境）雀扶，最后在進(jìn)行激活函數(shù)模型杖小。其實(shí)這與神經(jīng)元結(jié)構(gòu)沒有什么關(guān)系，大家只不過大家想要給這個(gè)模型找到一個(gè)依據(jù)罷了愚墓。

其實(shí)大家看了怎么一個(gè)簡(jiǎn)單數(shù)學(xué)模型能夠表示復(fù)雜神經(jīng)元的結(jié)構(gòu)嗎予权，當(dāng)你看了這個(gè)模型是否也是表示懷疑呢?這個(gè)模型在當(dāng)時(shí)提出并沒有引起生物界的注意，知道 1957 年 Frank Rosenblatt 他是搞計(jì)算機(jī)的浪册，他從純數(shù)學(xué)的角度重新考慮這一模型扫腺，指出能夠從一些輸入輸出對(duì)中通過學(xué)習(xí)算法獲取權(quán)重 W 和 b。

SVM 與神經(jīng)網(wǎng)

SVM 適合處理小樣本村象，而感知機(jī)特別是后來(lái)神經(jīng)網(wǎng)絡(luò)需要的大數(shù)據(jù)笆环。神經(jīng)網(wǎng)模型沒有 SVM 那么美，也沒有 SVM 那么嚴(yán)謹(jǐn)

SVM 是一次將全部數(shù)據(jù)都看了厚者，然后建立一個(gè)可優(yōu)化的模型躁劣，而感知機(jī)，每次只看一部分模型库菲，然后進(jìn)行學(xué)習(xí)更新參數(shù)账忘，最后看看結(jié)果怎么樣，如果結(jié)果不算好熙宇，繼續(xù)投入樣本進(jìn)行學(xué)習(xí)更新參數(shù)鳖擒。這樣學(xué)習(xí)過程更加符合我們?nèi)祟悓?shí)際情況。

生物學(xué)與神經(jīng)網(wǎng)絡(luò)

其實(shí)今天有學(xué)多交叉學(xué)科烫止，如物理和生物的交叉學(xué)科蒋荚，科學(xué)家。

感知器算法(Perceptron Algorithm)

• 隨機(jī)選擇 W 和 b
• 取一個(gè)訓(xùn)練樣本(X,y)
  • 若 且 則
  • 若 且 則
• 再取另一個(gè) 回到(2)
• 終止條件: 直到所有輸入輸出對(duì)都滿足(2)中(i)和(ii)之一馆蠕，退出循環(huán)