layout: post
title: "[深度學習] 1 神經(jīng)網(wǎng)絡"
date: 2016-08-14 23:34:41
category: "深度學習"
如今深度學習的研究越來越受到國內(nèi)外學術界和商業(yè)界的青睞，本專題旨在從原理到應用對深度學習進行剖析講解辜限。歡迎大家對本人拙見給予指正刃宵。
1. 簡介
多層感知網(wǎng)絡咐鹤，是一種人工神經(jīng)網(wǎng)絡結構，是非參數(shù)估計器城须。
1 - 用途：分類律姨、回歸
2 - 訓練算法：后向傳播算法
1.1理解人腦
信息處理系統(tǒng)具有三個層面，稱為分析層面：
1 - 計算理論：例如【排序】公般，對給定的元素集合排序万搔；
2 - 表示和算法：例如【排序】，整數(shù)官帘、快速排序瞬雹；
3 - 硬件實現(xiàn)：例如【排序】，可執(zhí)行代碼刽虹。
人腦是學習或模式識別（計算理論）的一種硬件實現(xiàn)挖炬，當我們研究人工神經(jīng)網(wǎng)絡時，我們處于表示和算法層面状婶。
1.2 并行處理
目前有兩種并行處理范性：
1 - SIMD（單指令多數(shù)據(jù)）：所有的處理器執(zhí)行相同的命令意敛，在數(shù)據(jù)的不同部分執(zhí)行；
2 - MIMD（多指令多數(shù)據(jù)）：不同的處理器可以在不同的數(shù)據(jù)上執(zhí)行不同的指令膛虫。
人工神經(jīng)網(wǎng)絡是一種我們可以使用當前技術構建的草姻，利用并行硬件的方法。
2. 感知器
感知器是最基本處理單元稍刀，它具有輸入撩独、連接權重和輸出，其中：
1 - 輸入：可能來自環(huán)境或者其他感知器的輸出
2 - 連接權重：是與每一個輸入相關聯(lián)的值
3 - 輸出：是輸入與權重的函數(shù)值
3. 訓練感知器
感知器定義了一個超平面账月，而神經(jīng)網(wǎng)絡感知器只不過是實現(xiàn)超平面的一種方法综膀。
給定數(shù)據(jù)樣本，可以 離線 地計算權重局齿，當他們代入時剧劝，感知器可以用來計算輸出值。
在訓練神經(jīng)網(wǎng)絡時抓歼，如果未提供全部樣本讥此，而是逐個提供實例拢锹，則通常使用在線學習；
并且在每個實例到達后更新網(wǎng)絡參數(shù)萄喳，讓網(wǎng)絡緩慢地及時調(diào)整卒稳。
如果誤差函數(shù)是可微的，則可以使用梯度下降他巨。
4. 多層感知器
具有單層權重的感知器只能近似輸入的線性函數(shù)充坑，不能解決像XOR這樣的問題，這些問題的判別式是非線性的染突。類似的捻爷，這種感知器也不能用于非線性回歸。
對于輸入和輸出層之間存在中間層或隱藏層的前饋網(wǎng)絡觉痛，就不存在這種局限性役衡。如果用于分類茵休，這種多層感知器（MLP）可以實現(xiàn)非線性判別式薪棒，而如果用于回歸，可以近似輸入的非線性函數(shù)榕莺。
如果隱藏層單元的輸出是線性的俐芯，則隱藏層就沒有用；線性組合的線性組合還是一種線性組合钉鸯。
5. 后向傳播算法
訓練多層感知器與訓練一個感知器一樣吧史。唯一的區(qū)別是現(xiàn)在的輸出是輸入的非線性函數(shù)，這多虧了隱藏單元中的非線性偏移函數(shù)唠雕。
6. 訓練過程
1 - 改善收斂性
2 - 過分訓練
3 - 構造網(wǎng)絡
7. 深度學習
具有一個隱藏層的MLP的能力有限贸营，而使用具有多個隱藏層的MLP可以學習輸入的更復雜的函數(shù)，這就是深度神經(jīng)網(wǎng)絡背后的思想岩睁。
在深度學習中钞脂，基本思想是以最小的人力學習遞增的抽象的特征層。
