流形學(xué)習(xí)(manifold learning)是機(jī)器學(xué)習(xí)事示、模式識(shí)別中的一種方法,在維數(shù)約簡(jiǎn)方面具有廣泛的應(yīng)用。它的主要思想是將高維的數(shù)據(jù)映射到低維装获,使該低維的數(shù)據(jù)能夠反映原高維數(shù)據(jù)的某些本質(zhì)結(jié)構(gòu)特征。流形學(xué)習(xí)的前提是有一種假設(shè)厉颤,即某些高維數(shù)據(jù)穴豫,實(shí)際是一種低維的流形結(jié)構(gòu)嵌入在高維空間中。流形學(xué)習(xí)的目的是將其映射回低維空間中逼友,揭示其本質(zhì)精肃。
通過(guò)流形學(xué)習(xí)來(lái)實(shí)現(xiàn)降維的方法有很多,其基本思想也類似:假設(shè)數(shù)據(jù)在高維具有某種結(jié)構(gòu)特征帜乞,希望降到低維后司抱,仍能保持該結(jié)構(gòu)。比較常見(jiàn)的有
1. 局部改線嵌入(Local Linear Embedding, LLE)[1]? ? 假設(shè)數(shù)據(jù)中每個(gè)點(diǎn)可以由其近鄰的幾個(gè)點(diǎn)重構(gòu)出來(lái)黎烈。降到低維习柠,使樣本仍能保持原來(lái)的重構(gòu)關(guān)系,且重構(gòu)系數(shù)也一樣怨喘。
2. 拉普拉斯特征映射(Laplacian Eigenmaps, LE)[2]? ? 將數(shù)據(jù)映射到低維津畸,且保持點(diǎn)之間的(相似度)距離關(guān)系。即在原空間中相距較遠(yuǎn)的點(diǎn)必怜,投影到低維空間中肉拓,希望它們之間仍相距較遠(yuǎn)。反之亦然梳庆。
3. 局部保持投影(LPP)[3]4. 等距映射(Isomap)[4]等等暖途。。膏执。
浙江大學(xué)何曉飛老師有個(gè)關(guān)于流形學(xué)習(xí)的報(bào)告驻售,有興趣可以看下。http://www.cad.zju.edu.cn/reports/%C1%F7%D0%CE%D1%A7%CF%B0.pdf
[1] Roweis, Sam T and Saul, Lawrence K. Nonlinear dimensionality reduction by locally linear? ? embedding. Science, 290(5500). 2000: 2323-2326.
[2] Belkin, Mikhail and Niyogi, Partha. Laplacian eigenmaps for dimensionality reduction and data representation. Neural computation. 15(6). 2003:1373-1396.
[3] He, Xiaofei and Niyogi, Partha. Locality preserving projections. NIPS. 2003:234-241.
[4] Tenenbaum, Joshua B and De Silva, Vin and Langford, John C. A global geometric framework for nonlinear dimensionality reduction. Science, 290(5500). 2000: 2319-2323.
通俗解釋:
作者:小尋鹿的暮暮
鏈接:https://www.zhihu.com/question/24015486/answer/194284643
來(lái)源:知乎
著作權(quán)歸作者所有更米。商業(yè)轉(zhuǎn)載請(qǐng)聯(lián)系作者獲得授權(quán)欺栗,非商業(yè)轉(zhuǎn)載請(qǐng)注明出處。
參考資料
[1]Manifold - Wikipedia[2]Nonlinear dimensionality reduction[3] Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]//Advances in neural information processing systems. 2014: 2672-2680.[4] Radford A, Metz L, Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks[J]. arXiv preprint arXiv:1511.06434, 2015.
后記
DCGAN這篇文章除了通過(guò)插值方法以外,還用了其他很多方法來(lái)驗(yàn)證編碼空間是不是流型空間迟几。我覺(jué)得這篇文章的貢獻(xiàn)不只在于DCGAN這個(gè)模型消请,而在于后面很多實(shí)驗(yàn)的分析,畢竟是發(fā)在ICLR上的文章类腮,搞的都是“特征工程”臊泰。其中的實(shí)驗(yàn)部分非常值得一看~
作者:小尋鹿的暮暮
鏈接:https://www.zhihu.com/question/24015486/answer/194284643
來(lái)源:知乎
著作權(quán)歸作者所有。商業(yè)轉(zhuǎn)載請(qǐng)聯(lián)系作者獲得授權(quán)蚜枢,非商業(yè)轉(zhuǎn)載請(qǐng)注明出處缸逃。