??
【1】Perceptron(P)?感知機(jī)
【1】感知機(jī)?
感知機(jī)是我們知道的最簡(jiǎn)單和最古老的神經(jīng)元模型再来,它接收一些輸入胶征,然后把它們加總碗短,通過(guò)激活函數(shù)并傳遞到輸出層魁衙。
【2】Feed Forward(FF)前饋神經(jīng)網(wǎng)絡(luò)
?【2】前饋神經(jīng)網(wǎng)絡(luò)
前饋神經(jīng)網(wǎng)絡(luò)(FF)伤提,這也是一個(gè)很古老的方法——這種方法起源于50年代巫俺。它的工作原理通常遵循以下規(guī)則:
1.所有節(jié)點(diǎn)都完全連接
2.激活從輸入層流向輸出,無(wú)回環(huán)
3.輸入和輸出之間有一層(隱含層)
在大多數(shù)情況下肿男,這種類(lèi)型的網(wǎng)絡(luò)使用反向傳播方法進(jìn)行訓(xùn)練介汹。
【3】Radial Basis Network(RBF) RBF神經(jīng)網(wǎng)絡(luò)
?【3】RBF神經(jīng)網(wǎng)絡(luò)
RBF?神經(jīng)網(wǎng)絡(luò)實(shí)際上是激活函數(shù)是徑向基函數(shù)而非邏輯函數(shù)的FF前饋神經(jīng)網(wǎng)絡(luò)(FF)。兩者之間有什么區(qū)別呢舶沛?
邏輯函數(shù)---將某個(gè)任意值映射到[0 ,... 1]范圍內(nèi)來(lái)嘹承,回答“是或否”問(wèn)題。適用于分類(lèi)決策系統(tǒng)如庭,但不適用于連續(xù)變量叹卷。
相反,徑向基函數(shù)---能顯示“我們距離目標(biāo)有多遠(yuǎn)”坪它。 這完美適用于函數(shù)逼近和機(jī)器控制(例如作為PID控制器的替代)骤竹。
簡(jiǎn)而言之,RBF神經(jīng)網(wǎng)絡(luò)其實(shí)就是哟楷,具有不同激活函數(shù)和應(yīng)用方向的前饋網(wǎng)絡(luò)瘤载。
【4】Deep?Feed?Forword(DFF)深度前饋神經(jīng)網(wǎng)絡(luò)
【4】DFF深度前饋神經(jīng)網(wǎng)絡(luò)?
DFF深度前饋神經(jīng)網(wǎng)絡(luò)在90年代初期開(kāi)啟了深度學(xué)習(xí)的潘多拉盒子。這些依然是前饋神經(jīng)網(wǎng)絡(luò)卖擅,但有不止一個(gè)隱含層鸣奔。那么,它到底有什么特殊性惩阶?
在訓(xùn)練傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)時(shí)挎狸,我們只向上一層傳遞了少量的誤差信息。由于堆疊更多的層次導(dǎo)致訓(xùn)練時(shí)間的指數(shù)增長(zhǎng)断楷,使得深度前饋神經(jīng)網(wǎng)絡(luò)非常不實(shí)用锨匆。直到00年代初,我們開(kāi)發(fā)了一系列有效的訓(xùn)練深度前饋神經(jīng)網(wǎng)絡(luò)的方法;?現(xiàn)在它們構(gòu)成了現(xiàn)代機(jī)器學(xué)習(xí)系統(tǒng)的核心冬筒,能實(shí)現(xiàn)前饋神經(jīng)網(wǎng)絡(luò)的功能恐锣,但效果遠(yuǎn)高于此。
【5】Recurrent Neural Network(RNN) 遞歸神經(jīng)網(wǎng)絡(luò)
【5】RNN遞歸神經(jīng)網(wǎng)絡(luò)?
RNN遞歸神經(jīng)網(wǎng)絡(luò)引入不同類(lèi)型的神經(jīng)元——遞歸神經(jīng)元舞痰。這種類(lèi)型的第一個(gè)網(wǎng)絡(luò)被稱(chēng)為約旦網(wǎng)絡(luò)(Jordan Network)土榴,在網(wǎng)絡(luò)中每個(gè)隱含神經(jīng)元會(huì)收到它自己的在固定延遲(一次或多次迭代)后的輸出。除此之外响牛,它與普通的模糊神經(jīng)網(wǎng)絡(luò)非常相似玷禽。
當(dāng)然赫段,它有許多變化 — 如傳遞狀態(tài)到輸入節(jié)點(diǎn),可變延遲等矢赁,但主要思想保持不變。這種類(lèi)型的神經(jīng)網(wǎng)絡(luò)主要被使用在上下文很重要的時(shí)候——即過(guò)去的迭代結(jié)果和樣本產(chǎn)生的決策會(huì)對(duì)當(dāng)前產(chǎn)生影響撩银。最常見(jiàn)的上下文的例子是文本——一個(gè)單詞只能在前面的單詞或句子的上下文中進(jìn)行分析给涕。
【6】Long/Short Term Memory (LSTM)?長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)
【6】LSTM長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)?
LSTM長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)引入了一個(gè)存儲(chǔ)單元,一個(gè)特殊的單元蜒蕾,當(dāng)數(shù)據(jù)有時(shí)間間隔(或滯后)時(shí)可以處理數(shù)據(jù)稠炬。遞歸神經(jīng)網(wǎng)絡(luò)可以通過(guò)“記住”前十個(gè)詞來(lái)處理文本焕阿,LSTM長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)可以通過(guò)“記住”許多幀之前發(fā)生的事情處理視頻幀咪啡。 LSTM網(wǎng)絡(luò)也廣泛用于寫(xiě)作和語(yǔ)音識(shí)別。
存儲(chǔ)單元實(shí)際上由一些元素組成暮屡,稱(chēng)為門(mén)撤摸,它們是遞歸性的,并控制信息如何被記住和遺忘褒纲。
【7】Gated?Recurrent Unit (GRU)
?【7】GRU是具有不同門(mén)的LSTM
GRU是具有不同門(mén)的LSTM准夷。
聽(tīng)起來(lái)很簡(jiǎn)單,但缺少輸出門(mén)可以更容易基于具體輸入重復(fù)多次相同的輸出莺掠,目前此模型在聲音(音樂(lè))和語(yǔ)音合成中使用得最多衫嵌。
實(shí)際上的組合雖然有點(diǎn)不同:但是所有的LSTM門(mén)都被組合成所謂的更新門(mén)(Update Gate),并且復(fù)位門(mén)(Reset Gate)與輸入密切相關(guān)彻秆。
它們比LSTM消耗資源少楔绞,但幾乎有相同的效果。
【8】Auto?Encoder (AE)?自動(dòng)編碼器
?【8】AE自動(dòng)編碼器
Autoencoders自動(dòng)編碼器用于分類(lèi)唇兑,聚類(lèi)和特征壓縮酒朵。
當(dāng)您訓(xùn)練前饋(FF)神經(jīng)網(wǎng)絡(luò)進(jìn)行分類(lèi)時(shí),您主要必須在Y類(lèi)別中提供X個(gè)示例扎附,并且期望Y個(gè)輸出單元格中的一個(gè)被激活蔫耽。 這被稱(chēng)為“監(jiān)督學(xué)習(xí)”。
另一方面留夜,自動(dòng)編碼器可以在沒(méi)有監(jiān)督的情況下進(jìn)行訓(xùn)練匙铡。它們的結(jié)構(gòu) - 當(dāng)隱藏單元數(shù)量小于輸入單元數(shù)量(并且輸出單元數(shù)量等于輸入單元數(shù))時(shí),并且當(dāng)自動(dòng)編碼器被訓(xùn)練時(shí)輸出盡可能接近輸入的方式碍粥,強(qiáng)制自動(dòng)編碼器泛化數(shù)據(jù)并搜索常見(jiàn)模式鳖眼。
【9】Variational AE (VAE)? 變分自編碼器
?【9】VAE變分自編碼器
變分自編碼器,與一般自編碼器相比即纲,它壓縮的是概率具帮,而不是特征博肋。
盡管如此簡(jiǎn)單的改變,但是一般自編碼器只能回答當(dāng)“我們?nèi)绾螝w納數(shù)據(jù)蜂厅?”的問(wèn)題時(shí)匪凡,變分自編碼器回答了“兩件事情之間的聯(lián)系有多強(qiáng)大?我們應(yīng)該在兩件事情之間分配誤差還是它們完全獨(dú)立的掘猿?”的問(wèn)題病游。
【10】Denoising AE (DAE)?降噪自動(dòng)編碼器
?【10】DAE降噪自動(dòng)編碼器
雖然自動(dòng)編碼器很酷,但它們有時(shí)找不到最魯棒的特征稠通,而只是適應(yīng)輸入數(shù)據(jù)(實(shí)際上是過(guò)擬合的一個(gè)例子)衬衬。
降噪自動(dòng)編碼器(DAE)在輸入單元上增加了一些噪聲 - 通過(guò)隨機(jī)位來(lái)改變數(shù)據(jù),隨機(jī)切換輸入中的位改橘,等等滋尉。通過(guò)這樣做,一個(gè)強(qiáng)制降噪自動(dòng)編碼器從一個(gè)有點(diǎn)嘈雜的輸入重構(gòu)輸出飞主,使其更加通用狮惜,強(qiáng)制選擇更常見(jiàn)的特征。
【11】Sparse AE (SAE)?稀疏自編碼器
【11】SAE稀疏自編碼器?
稀疏自編碼器(SAE)是另外一個(gè)有時(shí)候可以抽離出數(shù)據(jù)中一些隱藏分組樣試的自動(dòng)編碼的形式碌识。結(jié)構(gòu)和AE是一樣的碾篡,但隱藏單元的數(shù)量大于輸入或輸出單元的數(shù)量。
【12】Markov?Chain (MC)?馬爾科夫鏈
?【12】Markov?Chain (MC)?馬爾科夫鏈
馬爾可夫鏈(Markov Chain, MC)是一個(gè)比較老的圖表概念了筏餐,它的每一個(gè)端點(diǎn)都存在一種可能性开泽。過(guò)去,我們用它來(lái)搭建像“在單詞hello之后有0.0053%的概率會(huì)出現(xiàn)dear魁瞪,有0.03551%的概率出現(xiàn)you”這樣的文本結(jié)構(gòu)穆律。
這些馬爾科夫鏈并不是典型的神經(jīng)網(wǎng)絡(luò),它可以被用作基于概率的分類(lèi)(像貝葉斯過(guò)濾)佩番,用于聚類(lèi)(對(duì)某些類(lèi)別而言)众旗,也被用作有限狀態(tài)機(jī)。
【13】Hopfield Network (HN)?霍普菲爾網(wǎng)絡(luò)
【13】HN霍普菲爾網(wǎng)絡(luò)?
霍普菲爾網(wǎng)絡(luò)(HN)對(duì)一套有限的樣本進(jìn)行訓(xùn)練趟畏,所以它們用相同的樣本對(duì)已知樣本作出反應(yīng)贡歧。
在訓(xùn)練前,每一個(gè)樣本都作為輸入樣本赋秀,在訓(xùn)練之中作為隱藏樣本利朵,使用過(guò)之后被用作輸出樣本。
在HN試著重構(gòu)受訓(xùn)樣本的時(shí)候猎莲,他們可以用于給輸入值降噪和修復(fù)輸入绍弟。如果給出一半圖片或數(shù)列用來(lái)學(xué)習(xí),它們可以反饋全部樣本著洼。
【14】Boltzmann Machine (BM)?波爾滋曼機(jī)
【14】 BM 波爾滋曼機(jī)?
波爾滋曼機(jī)(BM)和HN非常相像樟遣,有些單元被標(biāo)記為輸入同時(shí)也是隱藏單元而叼。在隱藏單元更新其狀態(tài)時(shí),輸入單元就變成了輸出單元豹悬。(在訓(xùn)練時(shí)葵陵,BM和HN一個(gè)一個(gè)的更新單元,而非并行)瞻佛。
這是第一個(gè)成功保留模擬退火方法的網(wǎng)絡(luò)拓?fù)洹?/p>
多層疊的波爾滋曼機(jī)可以用于所謂的深度信念網(wǎng)絡(luò)脱篙,深度信念網(wǎng)絡(luò)可以用作特征檢測(cè)和抽取。
【15】Restricted BM (RBM)?限制型波爾滋曼機(jī)
【15】 RBM 限制型波爾滋曼機(jī)?
在結(jié)構(gòu)上伤柄,限制型波爾滋曼機(jī)(RBM)和BM很相似绊困,但由于受限RBM被允許像FF一樣用反向傳播來(lái)訓(xùn)練(唯一的不同的是在反向傳播經(jīng)過(guò)數(shù)據(jù)之前RBM會(huì)經(jīng)過(guò)一次輸入層)。
【16】Deep Belief Network (DBN)?深度信念網(wǎng)絡(luò)
【16】DBN?深度信念網(wǎng)絡(luò)?
像之前提到的那樣适刀,深度信念網(wǎng)絡(luò)(DBN)實(shí)際上是許多波爾滋曼機(jī)(被VAE包圍)秤朗。他們能被連在一起(在一個(gè)神經(jīng)網(wǎng)絡(luò)訓(xùn)練另一個(gè)的時(shí)候),并且可以用已經(jīng)學(xué)習(xí)過(guò)的樣式來(lái)生成數(shù)據(jù)蔗彤。
【17】Deep Convolutional Network (DCN)?深度卷積網(wǎng)絡(luò)
【17】?DCN?深度卷積網(wǎng)絡(luò)
當(dāng)今川梅,深度卷積網(wǎng)絡(luò)(DCN)是人工神經(jīng)網(wǎng)絡(luò)之星。它具有卷積單元(或者池化層)和內(nèi)核然遏,每一種都用以不同目的。
卷積核事實(shí)上用來(lái)處理輸入的數(shù)據(jù)吧彪,池化層是用來(lái)簡(jiǎn)化它們(大多數(shù)情況是用非線(xiàn)性方程待侵,比如max),來(lái)減少不必要的特征姨裸。
他們通常被用來(lái)做圖像識(shí)別秧倾,它們?cè)趫D片的一小部分上運(yùn)行(大約20x20像素)。輸入窗口一個(gè)像素一個(gè)像素的沿著圖像滑動(dòng)傀缩。然后數(shù)據(jù)流向卷積層那先,卷積層形成一個(gè)漏斗(壓縮被識(shí)別的特征)。從圖像識(shí)別來(lái)講赡艰,第一層識(shí)別梯度售淡,第二層識(shí)別線(xiàn),第三層識(shí)別形狀慷垮,以此類(lèi)推揖闸,直到特定的物體那一級(jí)。DFF通常被接在卷積層的末端方便未來(lái)的數(shù)據(jù)處理料身。
【18】Deconvolutional Network (DN)?去卷積網(wǎng)絡(luò)
?【18】?DN?去卷積網(wǎng)絡(luò)
去卷積網(wǎng)絡(luò)(DN)是將DCN顛倒過(guò)來(lái)汤纸。DN能在獲取貓的圖片之后生成像(狗:0,蜥蜴:0芹血,馬:0贮泞,貓:1)一樣的向量楞慈。DNC能在得到這個(gè)向量之后,能畫(huà)出一只貓啃擦。
【19】Deep Convolutional Inverse Graphics Network (DCIGN)?深度卷積反轉(zhuǎn)圖像網(wǎng)絡(luò)
【19】 DCIGN 深度卷積反轉(zhuǎn)圖像網(wǎng)絡(luò)
深度卷積反轉(zhuǎn)圖像網(wǎng)絡(luò)(DCIGN)抖部,長(zhǎng)得像DCN和DN粘在一起,但也不完全是這樣议惰。
事實(shí)上慎颗,它是一個(gè)自動(dòng)編碼器,DCN和DN并不是作為兩個(gè)分開(kāi)的網(wǎng)絡(luò)言询,而是承載網(wǎng)路輸入和輸出的間隔區(qū)俯萎。大多數(shù)這種神經(jīng)網(wǎng)絡(luò)可以被用作圖像處理,并且可以處理他們以前沒(méi)有被訓(xùn)練過(guò)的圖像运杭。由于其抽象化的水平很高夫啊,這些網(wǎng)絡(luò)可以用于將某個(gè)事物從一張圖片中移除,重畫(huà)辆憔,或者像大名鼎鼎的CycleGAN一樣將一匹馬換成一個(gè)斑馬撇眯。
【20】Generative Adversarial Network (GAN)?生成對(duì)抗網(wǎng)絡(luò)
?【20】?GAN?生成對(duì)抗網(wǎng)絡(luò)
生成對(duì)抗網(wǎng)絡(luò)(GAN)代表了有生成器和分辨器組成的雙網(wǎng)絡(luò)大家族。它們一直在相互傷害——生成器試著生成一些數(shù)據(jù)虱咧,而分辨器接收樣本數(shù)據(jù)后試著分辨出哪些是樣本枫甲,哪些是生成的。只要你能夠保持兩種神經(jīng)網(wǎng)絡(luò)訓(xùn)練之間的平衡其兴,在不斷的進(jìn)化中嫩挤,這種神經(jīng)網(wǎng)絡(luò)可以生成實(shí)際圖像。
【21】Liquid State Machine (LSM)?液體狀態(tài)機(jī)
?【21】?LSM?液體狀態(tài)機(jī)
液體狀態(tài)機(jī)(LSM)是一種稀疏的绘沉,激活函數(shù)被閾值代替了的(并不是全部相連的)神經(jīng)網(wǎng)絡(luò)煎楣。只有達(dá)到閾值的時(shí)候,單元格從連續(xù)的樣本和釋放出來(lái)的輸出中積累價(jià)值信息车伞,并再次將內(nèi)部的副本設(shè)為零择懂。
這種想法來(lái)自于人腦,這些神經(jīng)網(wǎng)絡(luò)被廣泛的應(yīng)用于計(jì)算機(jī)視覺(jué)另玖,語(yǔ)音識(shí)別系統(tǒng)困曙,但目前還沒(méi)有重大突破。
【22】Extreme? Learning Machine (ELM)?極端學(xué)習(xí)機(jī)
【22】ELM?極端學(xué)習(xí)機(jī)?
極端學(xué)習(xí)機(jī)(ELM)是通過(guò)產(chǎn)生稀疏的隨機(jī)連接的隱藏層來(lái)減少FF網(wǎng)絡(luò)背后的復(fù)雜性日矫。它們需要用到更少計(jì)算機(jī)的能量赂弓,實(shí)際的效率很大程度上取決于任務(wù)和數(shù)據(jù)。
【23】Echo State Network (ESN)?回聲狀態(tài)網(wǎng)絡(luò)
【23】?ESN?回聲狀態(tài)網(wǎng)絡(luò)
回聲狀態(tài)網(wǎng)絡(luò)(ESN)是重復(fù)網(wǎng)絡(luò)的細(xì)分種類(lèi)哪轿。數(shù)據(jù)會(huì)經(jīng)過(guò)輸入端盈魁,如果被監(jiān)測(cè)到進(jìn)行了多次迭代(請(qǐng)?jiān)试S重復(fù)網(wǎng)路的特征亂入一下),只有在隱藏層之間的權(quán)重會(huì)在此之后更新窃诉。
據(jù)我所知杨耙,除了多個(gè)理論基準(zhǔn)之外赤套,我不知道這種類(lèi)型的有什么實(shí)際應(yīng)用。珊膜。容握。。车柠。剔氏。。
【24】Deep Residual Network (DRN)?深度殘差網(wǎng)絡(luò)
?【24】?DRN?深度殘差網(wǎng)絡(luò)?
深度殘差網(wǎng)絡(luò)(DRN)是有些輸入值的部分會(huì)傳遞到下一層竹祷。這一特點(diǎn)可以讓它可以做到很深的層級(jí)(達(dá)到300層)谈跛,但事實(shí)上它們是一種沒(méi)有明確延時(shí)的RNN。
【25】Kohonen Network (KN)?Kohonen神經(jīng)網(wǎng)絡(luò)
??【25】?Kohonen神經(jīng)網(wǎng)絡(luò)
Kohonen神經(jīng)網(wǎng)絡(luò)(KN)引入了“單元格距離”的特征塑陵。大多數(shù)情況下用于分類(lèi)感憾,這種網(wǎng)絡(luò)試著調(diào)整它們的單元格使其對(duì)某種特定的輸入作出最可能的反應(yīng)。當(dāng)一些單元格更新了令花, 離他們最近的單元格也會(huì)更新阻桅。
像SVM一樣,這些網(wǎng)絡(luò)總被認(rèn)為不是“真正”的神經(jīng)網(wǎng)絡(luò)兼都。
【26】Support Vector Machine (SVM)
?【26】?SVM?支持向量機(jī)?
支持向量機(jī)(SVM)用于二元分類(lèi)工作嫂沉,無(wú)論這個(gè)網(wǎng)絡(luò)處理多少維度或輸入,結(jié)果都會(huì)是“是”或“否”俯抖。
SVM不是所有情況下都被叫做神經(jīng)網(wǎng)絡(luò)输瓜。
【27】Neural Turing Machine (NTM)?神經(jīng)圖靈機(jī)
?【27】NTM?神經(jīng)圖靈機(jī)?
神經(jīng)網(wǎng)絡(luò)像是黑箱——我們可以訓(xùn)練它們,得到結(jié)果芬萍,增強(qiáng)它們,但實(shí)際的決定路徑大多數(shù)我們都是不可見(jiàn)的搔啊。
神經(jīng)圖靈機(jī)(NTM)就是在嘗試解決這個(gè)問(wèn)題——它是一個(gè)提取出記憶單元之后的FF柬祠。一些作者也說(shuō)它是一個(gè)抽象版的LSTM。
記憶是被內(nèi)容編址的负芋,這個(gè)網(wǎng)絡(luò)可以基于現(xiàn)狀讀取記憶漫蛔,編寫(xiě)記憶,也代表了圖靈完備神經(jīng)網(wǎng)絡(luò)旧蛾。