非負(fù)矩陣分解(NMF)-Non-negative Matrix Factorization

[toc]

一这刷、簡介

著名的科學(xué)雜志《Nature》于1999年刊登了兩位科學(xué)家D.D.Lee和H.S.Seung對數(shù)學(xué)中非負(fù)矩陣研究的突出成果统翩。該文提出了一種新的矩陣分解思想――非負(fù)矩陣分解(Non-negative Matrix Factorization哨颂,NMF)算法删豺,即NMF是在矩陣中所有元素均為非負(fù)數(shù)約束條件之下的矩陣分解方法遭贸。該論文的發(fā)表迅速引起了各個領(lǐng)域中的科學(xué)研究人員的重視。

優(yōu)點:

1. 處理大規(guī)模數(shù)據(jù)更快更便捷耳高;

2. 簡便性、分解形式和分解結(jié)果上的可解釋性所踊,以及占用存儲空間少等諸多優(yōu)點泌枪。

比較:

  • 利用矩陣分解來解決實際問題的分析方法很多,如PCA(主成分分析)秕岛、ICA(獨立成分分析)碌燕、SVD(奇異值分解)、VQ(矢量量化)等继薛。

  • 這些方法的共同特點是修壕,元素可為正或負(fù),即使輸入的初始矩陣元素是全正的遏考,傳統(tǒng)的秩削減算法也不能保證原始數(shù)據(jù)的非負(fù)性慈鸠。

  • 在數(shù)學(xué)上,從計算的觀點看灌具,分解結(jié)果中存在負(fù)值是正確的青团,但負(fù)值元素在實際問題中往往是沒有意義的。例如圖像數(shù)據(jù)中不可能有負(fù)值的像素點咖楣;在文檔統(tǒng)計中督笆,負(fù)值也是無法解釋的。

二诱贿、相關(guān)內(nèi)容

非負(fù)矩陣分解(Non-negative Matrix Factorization娃肿,NMF)算法。是在矩陣中所有元素均為非負(fù)數(shù)約束條件之下的矩陣分解方法瘪松。

即矩陣V(m*n)維為非負(fù)矩陣咸作,那么可以分解為2個非負(fù)矩陣W(m*p)維、H(p*n)維的乘積宵睦。(相關(guān)證明還未查閱记罚,以后補(bǔ)上。)

V=WH

p可以顯著小于mn壳嚎,可以明顯降低矩陣的維度桐智。

三、相關(guān)算法

1烟馅、乘法更新法(Multiplicative weight update method)

Lee和Seung的乘法更新規(guī)則由于實現(xiàn)簡單而成為一種流行的方法说庭。該算法是:

初始化:WH非負(fù)。

更新:由第n次更新第n+1次的W郑趁、H刊驴。

H_{[i,j]}^{n+1} \leftarrow H_{[i,j]}^{n} \frac{((W^{n})^{T}V)_{[i,j]}}{((W^{n})^{T}W^{n}H^{n})_{[i,j]}}

W_{[i,j]}^{n+1} \leftarrow W_{[i,j]}^{n} \frac{(V(H^{n+1})^{T})_{[i,j]}}{(W^{n}H^{n+1}(H^{n+1})^{T})_{[i,j]}}

注意:更新是基于第(i,j)元素而不是矩陣乘法完成的。

More recently other algorithms have been developed. Some approaches are based on alternating non-negative least squares: in each step of such an algorithm, first H is fixed and W found by a non-negative least squares solver, then W is fixed and H is found analogously. The procedures used to solve for W and H may be the same or different, as some NMF variants regularize one of W and H. Specific approaches include the projected gradient descent methods, the active set method, the optimal gradient method, and the block principal pivoting method among several others.

四、參考

相關(guān)庫:

相關(guān)參考:

wiki:https://en.wikipedia.org/wiki/Non-negative_matrix_factorization

https://wenku.baidu.com/view/94c8af0bf78a6529647d5331.html

https://blog.csdn.net/zlp_zky/article/details/78391420

https://www.cnblogs.com/ywl925/p/3315758.html

https://liuzhiqiangruc.iteye.com/blog/2095116

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末捆憎,一起剝皮案震驚了整個濱河市舅柜,隨后出現(xiàn)的幾起案子卓缰,更是在濱河造成了極大的恐慌卸勺,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,126評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件奔缠,死亡現(xiàn)場離奇詭異础拨,居然都是意外死亡氮块,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,254評論 2 382
  • 文/潘曉璐 我一進(jìn)店門诡宗,熙熙樓的掌柜王于貴愁眉苦臉地迎上來滔蝉,“玉大人,你說我怎么就攤上這事僚焦∶烫幔” “怎么了曙痘?”我有些...
    開封第一講書人閱讀 152,445評論 0 341
  • 文/不壞的土叔 我叫張陵芳悲,是天一觀的道長。 經(jīng)常有香客問我边坤,道長名扛,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 55,185評論 1 278
  • 正文 為了忘掉前任茧痒,我火速辦了婚禮肮韧,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘旺订。我一直安慰自己弄企,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 64,178評論 5 371
  • 文/花漫 我一把揭開白布区拳。 她就那樣靜靜地躺著拘领,像睡著了一般。 火紅的嫁衣襯著肌膚如雪樱调。 梳的紋絲不亂的頭發(fā)上约素,一...
    開封第一講書人閱讀 48,970評論 1 284
  • 那天,我揣著相機(jī)與錄音笆凌,去河邊找鬼圣猎。 笑死,一個胖子當(dāng)著我的面吹牛乞而,可吹牛的內(nèi)容都是我干的送悔。 我是一名探鬼主播,決...
    沈念sama閱讀 38,276評論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼欠啤!你這毒婦竟也來了鳍怨?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 36,927評論 0 259
  • 序言:老撾萬榮一對情侶失蹤跪妥,失蹤者是張志新(化名)和其女友劉穎鞋喇,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體眉撵,經(jīng)...
    沈念sama閱讀 43,400評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡侦香,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 35,883評論 2 323
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了纽疟。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片罐韩。...
    茶點故事閱讀 37,997評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖污朽,靈堂內(nèi)的尸體忽然破棺而出散吵,到底是詐尸還是另有隱情,我是刑警寧澤蟆肆,帶...
    沈念sama閱讀 33,646評論 4 322
  • 正文 年R本政府宣布矾睦,位于F島的核電站,受9級特大地震影響炎功,放射性物質(zhì)發(fā)生泄漏枚冗。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,213評論 3 307
  • 文/蒙蒙 一蛇损、第九天 我趴在偏房一處隱蔽的房頂上張望赁温。 院中可真熱鬧,春花似錦淤齐、人聲如沸股囊。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,204評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽稚疹。三九已至,卻和暖如春锈死,著一層夾襖步出監(jiān)牢的瞬間贫堰,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,423評論 1 260
  • 我被黑心中介騙來泰國打工待牵, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留其屏,地道東北人。 一個月前我還...
    沈念sama閱讀 45,423評論 2 352
  • 正文 我出身青樓缨该,卻偏偏與公主長得像偎行,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 42,722評論 2 345

推薦閱讀更多精彩內(nèi)容