深度學(xué)習(xí)簡介
深度學(xué)習(xí)的歷史
- 1958: Perceptron (linear model)
- 1969: Perceptron has limitation
- 1980s: Multi-layer perceptron
- Do not have significant difference from DNN today
- 1986: Backpropagation
- Usually more than 3 hidden layers is not helpful
- 1989: 1 hidden layer is “good enough”, why deep?
- 2006: RBM initialization (breakthrough)
- 2009: GPU
- 2011: Start to be popular in speech recognition
- 2012: win ILSVRC image competition
感知機(jī)（Perceptron）非常像我們的邏輯回歸（Logistics Regression）只不過是沒有sigmoid激活函數(shù)纷闺。09年的GPU的發(fā)展是很關(guān)鍵的，使用GPU矩陣運(yùn)算節(jié)省了很多的時(shí)間份蝴。
深度學(xué)習(xí)的三個(gè)步驟
Step 1: 神經(jīng)網(wǎng)絡(luò)
- 完全連接前饋神經(jīng)網(wǎng)絡(luò)
概念：前饋（feedforward）也可以稱為前向犁功，從信號(hào)流向來理解就是輸入信號(hào)進(jìn)入網(wǎng)絡(luò)后，信號(hào)流動(dòng)是單向的婚夫，即信號(hào)從前一層流向后一層浸卦，一直到輸出層，其中任意兩層之間的連接并沒有反饋（feedback）案糙，亦即信號(hào)沒有從后一層又返回到前一層限嫌。
在傳遞時(shí)方向是從后往前，所以叫前饋
全連接和前饋的理解
- 輸入層（Input Layer）：1層
- 隱藏層（Hidden Layer）：N層
- 輸出層（Output Layer）：1層
矩陣計(jì)算
- 輸入
- 輸出
從結(jié)構(gòu)上看每一層的計(jì)算都是一樣的时捌，也就是用計(jì)算機(jī)進(jìn)行并行矩陣運(yùn)算萤皂。
這樣寫成矩陣運(yùn)算的好處是，你可以使用GPU加速匣椰。
本質(zhì)：通過隱藏層進(jìn)行特征轉(zhuǎn)換
Step 2: 模型評(píng)估
最小化損失函數(shù)
Step 3: 選擇最優(yōu)函數(shù)
梯度下降
