此篇只歸納人工神經(jīng)網(wǎng)絡(luò)的一些基本概念
概念
人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network瞳氓，即ANN ），是20世紀(jì)80 年代以來人工智能領(lǐng)域興起的研究熱點店诗，可以說是深度學(xué)習(xí)的基礎(chǔ)音榜。它從信息處理角度對人腦神經(jīng)元網(wǎng)絡(luò)進(jìn)行抽象， 建立某種簡單模型擦囊，按不同的連接方式組成不同的網(wǎng)絡(luò)。
神經(jīng)網(wǎng)絡(luò)是一種運算模型瞬场，由大量的節(jié)點（或稱神經(jīng)元）之間相互聯(lián)接構(gòu)成涧郊。每個節(jié)點代表一種特定的輸出函數(shù)，稱為激勵函數(shù)（activation function）彤灶。每兩個節(jié)點間的連接都代表一個對于通過該連接信號的加權(quán)值批旺，稱之為權(quán)重。
經(jīng)典神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖
下圖展示了神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖汽煮，這個可能是比較主流的，還有caffe的結(jié)構(gòu)圖形式搬卒，就不放出來了翎卓，理解一個就好：
1.設(shè)計一個神經(jīng)網(wǎng)絡(luò)時失暴，輸入層與輸出層的節(jié)點數(shù)往往是固定的微饥，中間層則可以自由指定。
2.神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖中的拓?fù)渑c箭頭代表著預(yù)測過程時數(shù)據(jù)的流向矩肩，跟訓(xùn)練時的數(shù)據(jù)流有一定的區(qū)別
3.結(jié)構(gòu)圖里的關(guān)鍵不是圓圈（代表“神經(jīng)元”）肃续，而是連接線（代表“神經(jīng)元”之間的連接）叉袍。每個連接線對應(yīng)一個不同的權(quán)重（其值稱為權(quán)值）喳逛，相當(dāng)于人工神經(jīng)網(wǎng)絡(luò)的記憶，這是需要訓(xùn)練得到的润文。
基本特征
1.非線性
先來解釋一下線性和非線性：線性關(guān)系殿怜，指量與量之間按比例、成直線的關(guān)系骏掀，在空間和時間上代表規(guī)則和光滑的運動。而非線性關(guān)系砖织，指不按比例末荐、不成直線的關(guān)系，一般代表不規(guī)則的運動和突變眶熬。
人工神經(jīng)元處于激活或抑制二種不同的狀態(tài)，這種行為在數(shù)學(xué)上表現(xiàn)為一種非線性關(guān)系娜氏。具有閾值的神經(jīng)元構(gòu)成的網(wǎng)絡(luò)具有更好的性能，可以提高容錯性和存儲容量贸弥。
2.非局限性
一個神經(jīng)網(wǎng)絡(luò)通常由多個神經(jīng)元廣泛連接而成海渊。一個系統(tǒng)的整體行為不僅取決于單個神經(jīng)元的特征，而且可能主要由單元之間的相互作用盔憨、相互連接所決定讯沈。通過單元之間的大量連接模擬大腦的非局限性。
舉個栗子：聯(lián)想記憶是記憶的一種形式问慎。通過與其他的知識單元的聯(lián)系進(jìn)行的記憶。相互之間存在聯(lián)系的形式或概念構(gòu)成知識在記憶中的具體形態(tài)蝴乔。聯(lián)想記憶就是各個知識單元之間的相互作用和連接所形成。這種不是單個知識單元作用而成的片酝，就可以理解為是非局限性挖腰。
3.非常定性
人工神經(jīng)網(wǎng)絡(luò)具有自適應(yīng)、自組織审轮、自學(xué)習(xí)能力辽俗。神經(jīng)網(wǎng)絡(luò)不但處理的信息可以有各種變化，而且在處理信息的同時榴捡，非線性動力系統(tǒng)本身也在不斷變化朱浴。
并且，由于神經(jīng)網(wǎng)絡(luò)是采用整體逼近的方式翰蠢，不會由于個別樣本誤差而影響整個模型特性，這就是所謂容錯特性檀何。舉個栗子：一個嬰兒频鉴，父母不斷教他說話酥泞，他最終能學(xué)習(xí)理解父母語言的意思芝囤，并且偶爾父母說錯一兩個字，孩子也能聽懂悯姊。
4.非凸性
一個系統(tǒng)的演化方向，在一定條件下將取決于某個特定的狀態(tài)函數(shù)仆嗦。非凸性是指這種函數(shù)有多個極值，故系統(tǒng)具有多個較穩(wěn)定的平衡態(tài)瘩扼，這將導(dǎo)致系統(tǒng)演化的多樣性集绰。
發(fā)展歷程
