神經(jīng)網(wǎng)絡(luò)從被人忽悠到忽悠人（六）

投稿郵箱：『editor@datartisan.com』

文章作者：『向日葵』

引子

在求解神經(jīng)網(wǎng)絡(luò)權(quán)值過程中首启，有一個(gè)點(diǎn)是經(jīng)常被人們遺忘的，神經(jīng)網(wǎng)絡(luò)的誤差是收斂，也就是說漸漸的穩(wěn)定到一個(gè)值里弛车，這種過程類似于熱力原理脓豪。符合一定的自然規(guī)律取劫，是符合規(guī)律一個(gè)過程。如果把這個(gè)特性和神經(jīng)網(wǎng)絡(luò)結(jié)合研侣，會(huì)產(chǎn)生什么效果呢谱邪？

Hopfield網(wǎng)絡(luò)

對(duì)于求權(quán)值的方法，之前的神經(jīng)網(wǎng)絡(luò)大部分采用的都是誤差方式庶诡。這種方式比較直觀明了惦银，但求解的過程沒有那么的方便。1982年末誓，Hopfield才用了能量函數(shù)扯俱，開創(chuàng)了一種新的神經(jīng)網(wǎng)絡(luò)的思路。

如果兩個(gè)熱力學(xué)系統(tǒng)中的每一個(gè)都與第三個(gè)熱力學(xué)系統(tǒng)處于熱平衡(溫度相同),則它們彼此也必定處于熱平衡.
根據(jù)熱力學(xué)的原理基显，Hopfield總結(jié)了一類網(wǎng)絡(luò)蘸吓。
Hopfield網(wǎng)絡(luò)：一類反饋動(dòng)力學(xué)系統(tǒng)，從任意初始狀態(tài)開始撩幽，網(wǎng)絡(luò)經(jīng)過有限次狀態(tài)更新后库继，都將到達(dá)該穩(wěn)定狀態(tài)。

從圖中可以看到窜醉，所有狀態(tài)的轉(zhuǎn)移都會(huì)宪萄，轉(zhuǎn)移到兩個(gè)狀態(tài) 010和111下，這兩個(gè)狀態(tài)我們稱為穩(wěn)定狀態(tài)榨惰。
以前我們把樣本拿過來訓(xùn)練，但在能量神經(jīng)網(wǎng)絡(luò)琅催，樣本的結(jié)果可以把它當(dāng)作一種穩(wěn)定狀態(tài)居凶，通過穩(wěn)定狀態(tài)，反向的來求出權(quán)重藤抡。
求權(quán)重的主要方法是內(nèi)積法侠碧。

這種以樣本作為穩(wěn)定結(jié)果的網(wǎng)絡(luò)，就可以認(rèn)為他有一定的記憶功能了缠黍。
例如：
穩(wěn)定的結(jié)果有：

如果你的輸入出現(xiàn)：

根據(jù)能量網(wǎng)絡(luò)弄兜，他會(huì)自己恢復(fù)到穩(wěn)定的狀態(tài)，就是

像這樣能量網(wǎng)絡(luò)具有恢復(fù)的功能瓷式，也就是能有記憶的特性了替饿。

Boltzmann機(jī)

20世紀(jì)80年代，Ackley贸典，Hinton等人受到了Hopfield的啟發(fā)视卢，以模擬退火思想為基礎(chǔ)，提出了Boltzmann機(jī)廊驼。

將Boltzmann機(jī)視為一動(dòng)力系統(tǒng)据过，可以證明能量函數(shù)的極小值對(duì)應(yīng)系統(tǒng)的穩(wěn)定平衡點(diǎn)颊埃，由于能量函數(shù)有界，當(dāng)網(wǎng)絡(luò)溫度T以某種方式逐漸下降到某一特定值時(shí)蝶俱，系統(tǒng)必趨于穩(wěn)定狀態(tài)。
逐漸的降溫過程饥漫，系統(tǒng)會(huì)達(dá)到穩(wěn)定的狀態(tài)榨呆。Boltzmann機(jī)是學(xué)習(xí)過程中是機(jī)器學(xué)習(xí)很重要的一種方式，是深度學(xué)習(xí)里基礎(chǔ)庸队。

受限Boltzmann機(jī)

2006年积蜻，Hinton等人提出了一種深度信念網(wǎng)絡(luò)（Deep Belief Nets），這個(gè)算法成為了其后至今深度學(xué)習(xí)算法的主要框架彻消，也就是我們現(xiàn)在所說的深度學(xué)習(xí)竿拆。

當(dāng)前RBM 為基本構(gòu)成模塊的 DBN 模型被認(rèn)為是最有效的深度學(xué)習(xí)算法之一。
受限Boltzmann網(wǎng)絡(luò)結(jié)構(gòu)具有這樣的特點(diǎn)：可視層的每一個(gè)神經(jīng)元與隱藏層的每一個(gè)神經(jīng)元相互連接宾尚；可視層神經(jīng)元之間丙笋，隱藏層神經(jīng)元之間沒有連線，這為我們后面的訓(xùn)練提供了一個(gè)很好的假設(shè)性條件：同一層的各神經(jīng)元之間是相互獨(dú)立的煌贴。
受限Boltzmann網(wǎng)絡(luò)御板，主要的推導(dǎo)方式用到了條件概率，Hinton提出的快速計(jì)算方法牛郑，即對(duì)比散度怠肋，也比較流行。
受限Boltzmann網(wǎng)絡(luò)在應(yīng)用上淹朋，基本上都是一種編碼和解碼的過程笙各。編碼過程就是利用已經(jīng)知道得輸入輸出確定權(quán)重，解碼就是放過來求值础芍。
編碼過程：

解碼過程：

最后

人工智能杈抢，只是處在了很早的階段，機(jī)器能夠更好地理解這個(gè)世界者甲，人們能夠更多的跟機(jī)器互動(dòng)春感，還需要一個(gè)比較長的過程÷哺祝互聯(lián)網(wǎng)的一個(gè)過程是：文本，圖片刽辙，視頻。現(xiàn)在的搜索引擎颂翼，只解決了文本的搜索，而這樣過程除了計(jì)算機(jī)技術(shù)的發(fā)展朦乏，還有一個(gè)很重要的就是我們祖輩留下來的語言球及，又特定的詞匯呻疹，能夠表達(dá)萬千的世界。人工智能的發(fā)展一個(gè)大的方向是圖片的識(shí)別镊尺，如何讓圖片自己說話并思，是一個(gè)很了不起的過程。而如今的技術(shù)弄砍，僅僅只能夠認(rèn)出一只貓宙暇，但是這是很好的開端了。

神經(jīng)網(wǎng)絡(luò)的發(fā)展日新月異桃熄，人工智能是未來一個(gè)很重要的方向型奥，我們緊跟時(shí)代的步伐。

?