流形學(xué)習(xí)的基本思想

流形學(xué)習(xí)(manifold learning)是機(jī)器學(xué)習(xí)事示、模式識(shí)別中的一種方法,在維數(shù)約簡(jiǎn)方面具有廣泛的應(yīng)用。它的主要思想是將高維的數(shù)據(jù)映射到低維装获,使該低維的數(shù)據(jù)能夠反映原高維數(shù)據(jù)的某些本質(zhì)結(jié)構(gòu)特征。流形學(xué)習(xí)的前提是有一種假設(shè)厉颤,即某些高維數(shù)據(jù)穴豫,實(shí)際是一種低維的流形結(jié)構(gòu)嵌入在高維空間中。流形學(xué)習(xí)的目的是將其映射回低維空間中逼友,揭示其本質(zhì)精肃。

通過(guò)流形學(xué)習(xí)來(lái)實(shí)現(xiàn)降維的方法有很多,其基本思想也類似:假設(shè)數(shù)據(jù)在高維具有某種結(jié)構(gòu)特征帜乞,希望降到低維后司抱,仍能保持該結(jié)構(gòu)。比較常見(jiàn)的有

1. 局部改線嵌入(Local Linear Embedding, LLE)[1]? ? 假設(shè)數(shù)據(jù)中每個(gè)點(diǎn)可以由其近鄰的幾個(gè)點(diǎn)重構(gòu)出來(lái)黎烈。降到低維习柠,使樣本仍能保持原來(lái)的重構(gòu)關(guān)系,且重構(gòu)系數(shù)也一樣怨喘。

2. 拉普拉斯特征映射(Laplacian Eigenmaps, LE)[2]? ? 將數(shù)據(jù)映射到低維津畸,且保持點(diǎn)之間的(相似度)距離關(guān)系。即在原空間中相距較遠(yuǎn)的點(diǎn)必怜,投影到低維空間中肉拓,希望它們之間仍相距較遠(yuǎn)。反之亦然梳庆。

3. 局部保持投影(LPP)[3]4. 等距映射(Isomap)[4]等等暖途。。膏执。

浙江大學(xué)何曉飛老師有個(gè)關(guān)于流形學(xué)習(xí)的報(bào)告驻售,有興趣可以看下。http://www.cad.zju.edu.cn/reports/%C1%F7%D0%CE%D1%A7%CF%B0.pdf

[1] Roweis, Sam T and Saul, Lawrence K. Nonlinear dimensionality reduction by locally linear? ? embedding. Science, 290(5500). 2000: 2323-2326.

[2] Belkin, Mikhail and Niyogi, Partha. Laplacian eigenmaps for dimensionality reduction and data representation. Neural computation. 15(6). 2003:1373-1396.

[3] He, Xiaofei and Niyogi, Partha. Locality preserving projections. NIPS. 2003:234-241.

[4] Tenenbaum, Joshua B and De Silva, Vin and Langford, John C. A global geometric framework for nonlinear dimensionality reduction. Science, 290(5500). 2000: 2319-2323.

通俗解釋:

作者:小尋鹿的暮暮

鏈接:https://www.zhihu.com/question/24015486/answer/194284643

來(lái)源:知乎

著作權(quán)歸作者所有更米。商業(yè)轉(zhuǎn)載請(qǐng)聯(lián)系作者獲得授權(quán)欺栗,非商業(yè)轉(zhuǎn)載請(qǐng)注明出處。



參考資料

[1]Manifold - Wikipedia[2]Nonlinear dimensionality reduction[3] Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]//Advances in neural information processing systems. 2014: 2672-2680.[4] Radford A, Metz L, Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks[J]. arXiv preprint arXiv:1511.06434, 2015.

后記

DCGAN這篇文章除了通過(guò)插值方法以外,還用了其他很多方法來(lái)驗(yàn)證編碼空間是不是流型空間迟几。我覺(jué)得這篇文章的貢獻(xiàn)不只在于DCGAN這個(gè)模型消请,而在于后面很多實(shí)驗(yàn)的分析,畢竟是發(fā)在ICLR上的文章类腮,搞的都是“特征工程”臊泰。其中的實(shí)驗(yàn)部分非常值得一看~

作者:小尋鹿的暮暮

鏈接:https://www.zhihu.com/question/24015486/answer/194284643

來(lái)源:知乎

著作權(quán)歸作者所有。商業(yè)轉(zhuǎn)載請(qǐng)聯(lián)系作者獲得授權(quán)蚜枢,非商業(yè)轉(zhuǎn)載請(qǐng)注明出處缸逃。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市厂抽,隨后出現(xiàn)的幾起案子需频,更是在濱河造成了極大的恐慌,老刑警劉巖修肠,帶你破解...
    沈念sama閱讀 217,734評(píng)論 6 505
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件贺辰,死亡現(xiàn)場(chǎng)離奇詭異户盯,居然都是意外死亡嵌施,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,931評(píng)論 3 394
  • 文/潘曉璐 我一進(jìn)店門莽鸭,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)吗伤,“玉大人,你說(shuō)我怎么就攤上這事硫眨∽阆” “怎么了?”我有些...
    開(kāi)封第一講書人閱讀 164,133評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵礁阁,是天一觀的道長(zhǎng)巧号。 經(jīng)常有香客問(wèn)我,道長(zhǎng)姥闭,這世上最難降的妖魔是什么丹鸿? 我笑而不...
    開(kāi)封第一講書人閱讀 58,532評(píng)論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮棚品,結(jié)果婚禮上靠欢,老公的妹妹穿的比我還像新娘。我一直安慰自己铜跑,他們只是感情好门怪,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,585評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著锅纺,像睡著了一般掷空。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書人閱讀 51,462評(píng)論 1 302
  • 那天坦弟,我揣著相機(jī)與錄音疼电,去河邊找鬼。 笑死减拭,一個(gè)胖子當(dāng)著我的面吹牛蔽豺,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播拧粪,決...
    沈念sama閱讀 40,262評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼修陡,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了可霎?” 一聲冷哼從身側(cè)響起魄鸦,我...
    開(kāi)封第一講書人閱讀 39,153評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎癣朗,沒(méi)想到半個(gè)月后拾因,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,587評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡旷余,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,792評(píng)論 3 336
  • 正文 我和宋清朗相戀三年绢记,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片正卧。...
    茶點(diǎn)故事閱讀 39,919評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡蠢熄,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出炉旷,到底是詐尸還是另有隱情签孔,我是刑警寧澤,帶...
    沈念sama閱讀 35,635評(píng)論 5 345
  • 正文 年R本政府宣布窘行,位于F島的核電站饥追,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏罐盔。R本人自食惡果不足惜但绕,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,237評(píng)論 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望翘骂。 院中可真熱鬧壁熄,春花似錦、人聲如沸碳竟。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 31,855評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)莹桅。三九已至昌执,卻和暖如春烛亦,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背懂拾。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 32,983評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工煤禽, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人岖赋。 一個(gè)月前我還...
    沈念sama閱讀 48,048評(píng)論 3 370
  • 正文 我出身青樓檬果,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親唐断。 傳聞我的和親對(duì)象是個(gè)殘疾皇子选脊,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,864評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容