【讀書筆記】基于Autoencoder 網(wǎng)絡的數(shù)據(jù)降維和重構
分類：DL2013-07-20 18:181655人閱讀評論(1)收藏舉報
是一篇學術文章分冈，我在學習autoencoder的時候找到的鼻忠，看了看。主要是想弄清楚兩個問題：1. autoencoder與RBM的區(qū)別；2. autoencoder最后訓練出的結果怎么用。
文章基本信息：
題目：基于Autoencoder 網(wǎng)絡的數(shù)據(jù)降維和重構
作者：胡昭華
單位：南京理工大學電子工程與光電技術學院
時間：2009，發(fā)表于《電子與信息學報》
筆記如下：
1. autoencoder是用來降維的
2. 現(xiàn)在的降維方法
線性降維方法如主成分分析(principal component analysis) 线定、獨立分量分析和因子分析(factor analysis) 。在高維數(shù)據(jù)集具有線性結構和高斯分布時能有好的效果确买。當數(shù)據(jù)集在高維空間呈現(xiàn)高度扭曲時斤讥，這些方法則難以發(fā)現(xiàn)嵌入在數(shù)據(jù)集中的非線性結構以及恢復內在的結構。autoencoder能處理好以上問題。
3. autoencoder原理
編碼網(wǎng)絡屬于降維部分芭商，作用是將高維原始數(shù)據(jù)降到具有一定維數(shù)的低維嵌套結構上派草；解碼網(wǎng)絡屬于重構部分，可視為編碼網(wǎng)絡的逆過程铛楣，作用是將低維嵌套上的點還原成高維數(shù)據(jù)近迁。編碼網(wǎng)絡與解碼網(wǎng)絡之間還存在一個交叉部分，稱之為“碼字層”(code layer) 簸州，是整個自編碼網(wǎng)絡的核心鉴竭，能夠反映具有嵌套結構的高維數(shù)據(jù)集的本質規(guī)律，并確定高維數(shù)據(jù)集的本質維數(shù)岸浑。
自編碼網(wǎng)絡的工作原理如下：首先初始化編碼和解碼兩個網(wǎng)絡的權值搏存，然后按照原始訓練數(shù)據(jù)與重構數(shù)據(jù)之間誤差最小化的原則對自編碼網(wǎng)絡進行訓練。如果自編碼網(wǎng)絡的初始權值接近最優(yōu)解矢洲，運用梯度下降法則能達到很好的訓練結果璧眠。Hinton 和Salakhutdinov使用了一種稱為限制玻耳茲曼機(Restricted Boltzmann Machine, RBM)的兩層網(wǎng)絡來求取自編碼網(wǎng)絡的適當初始權值，然后用BP來訓練autoencoder读虏。對于輸入是實數(shù)向量的情況來說责静，需要用CRBM （continous RBM）。
4. 實驗
用圖像數(shù)據(jù)來做的試驗盖桥。主要是看哪個模型對數(shù)據(jù)還原的好灾螃。沒看懂。
5. 其他
這篇文章回答了我第一個問題“autoencoder與RBM的區(qū)別”葱轩，但第二個問題沒有答案。
