機(jī)器學(xué)習(xí)基礎(chǔ)·SVD分解和偽逆

摘要

SVD分解给僵、偽逆

正文

SVD分解
矩陣可以分解為特征值和特征向量既鞠，有關(guān)特征分解的一些結(jié)論見(jiàn)線(xiàn)代一些有用基本概念及結(jié)論蔽豺。但不是所有的矩陣都能夠進(jìn)行特征分解蚪战，如非方陣就不行链方。另外一種分解矩陣的方式稱(chēng)為奇異值分解持痰，所有矩陣都能夠進(jìn)行奇異值分解。
奇異值分解將矩陣分解為3個(gè)部分： $A_{m\times n}=U_{m\times m}D_{m\times n}V_{n\times n}^T$ 其中祟蚀， $U工窍、V$ 是正交陣，稱(chēng)為左前酿、右奇異向量患雏，分別由 $AA^T$ 和 $A^TA$ 的特征向量構(gòu)成； $D$ 是對(duì)角陣罢维，對(duì)角線(xiàn)上的元素稱(chēng)為奇異值淹仑，是 $AA^T$ （ $A^TA$ ）的特征值的平方根。
偽逆
對(duì)于一些矩陣沒(méi)有逆肺孵，可以使用偽逆替代攻人。
偽逆定義為： $A^+=\lim_{a\rightarrow 0}(A^TA+\alpha I)^{-1}A^T$
實(shí)際計(jì)算時(shí)，使用： $A^+=VD^+U^T$ 悬槽， $U,D,V$ 是SVD分解時(shí)得到的怀吻， $D^+$ 是 $D$ 其非零元素取倒數(shù)后再轉(zhuǎn)置得到的。
當(dāng)矩陣 $A$ 的列數(shù)多于行數(shù)時(shí)初婆， $x=A^+y$ 是方程可行解中 $\mid\mid x\mid\mid_2$ 最小的蓬坡；當(dāng)矩陣 $A$ 的列數(shù)小于行數(shù)時(shí)猿棉，通過(guò)偽逆得到的 $x$ 使得 $\mid\mid Ax-y \mid\mid_2$ 最小。

參考資料

[1] Goodfellow.深度學(xué)習(xí)[M].人民郵電出版社,2017.

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者

人面猴
序言：七十年代末屑咳，一起剝皮案震驚了整個(gè)濱河市萨赁，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌兆龙，老刑警劉巖杖爽，帶你破解...
沈念sama閱讀 219,589評(píng)論 6贊 508
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場(chǎng)離奇詭異紫皇，居然都是意外死亡慰安，警方通過(guò)查閱死者的電腦和手機(jī)，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 93,615評(píng)論 3贊 396
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門(mén)聪铺，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)化焕，“玉大人，你說(shuō)我怎么就攤上這事铃剔∪鼋埃” “怎么了？”我有些...
開(kāi)封第一講書(shū)人閱讀 165,933評(píng)論 0贊 356
道士緝兇錄：失蹤的賣(mài)姜人
文/不壞的土叔我叫張陵键兜，是天一觀的道長(zhǎng)凤类。經(jīng)常有香客問(wèn)我，道長(zhǎng)普气，這世上最難降的妖魔是什么谜疤？我笑而不...
開(kāi)封第一講書(shū)人閱讀 58,976評(píng)論 1贊 295
?港島之戀（遺憾婚禮）
正文為了忘掉前任，我火速辦了婚禮棋电，結(jié)果婚禮上茎截，老公的妹妹穿的比我還像新娘。我一直安慰自己赶盔，他們只是感情好企锌，可當(dāng)我...
茶點(diǎn)故事閱讀 67,999評(píng)論 6贊 393
惡毒庶女頂嫁案：這布局不是一般人想出來(lái)的
文/花漫我一把揭開(kāi)白布。她就那樣靜靜地躺著于未，像睡著了一般撕攒。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發(fā)上烘浦，一...
開(kāi)封第一講書(shū)人閱讀 51,775評(píng)論 1贊 307
城市分裂傳說(shuō)
那天抖坪，我揣著相機(jī)與錄音，去河邊找鬼闷叉。笑死擦俐，一個(gè)胖子當(dāng)著我的面吹牛，可吹牛的內(nèi)容都是我干的握侧。我是一名探鬼主播蚯瞧，決...
沈念sama閱讀 40,474評(píng)論 3贊 420
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開(kāi)眼嘿期，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼！你這毒婦竟也來(lái)了埋合？” 一聲冷哼從身側(cè)響起备徐，我...
開(kāi)封第一講書(shū)人閱讀 39,359評(píng)論 0贊 276
萬(wàn)榮殺人案實(shí)錄
序言：老撾萬(wàn)榮一對(duì)情侶失蹤，失蹤者是張志新（化名）和其女友劉穎甚颂，沒(méi)想到半個(gè)月后蜜猾，有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 45,854評(píng)論 1贊 317
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡振诬，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 38,007評(píng)論 3贊 338
?白月光啟示錄
正文我和宋清朗相戀三年蹭睡，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片贷揽。...
茶點(diǎn)故事閱讀 40,146評(píng)論 1贊 351
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡棠笑，死狀恐怖梦碗，靈堂內(nèi)的尸體忽然破棺而出禽绪，到底是詐尸還是另有隱情，我是刑警寧澤洪规，帶...
沈念sama閱讀 35,826評(píng)論 5贊 346
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布印屁，位于F島的核電站，受9級(jí)特大地震影響斩例，放射性物質(zhì)發(fā)生泄漏雄人。R本人自食惡果不足惜，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 41,484評(píng)論 3贊 331
男人毒藥：我在死后第九天來(lái)索命
文/蒙蒙一念赶、第九天我趴在偏房一處隱蔽的房頂上張望础钠。院中可真熱鬧，春花似錦叉谜、人聲如沸旗吁。這莊子的主人今日做“春日...
開(kāi)封第一講書(shū)人閱讀 32,029評(píng)論 0贊 22
一樁弒父案停局，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽(yáng)很钓。三九已至，卻和暖如春董栽，著一層夾襖步出監(jiān)牢的瞬間码倦，已是汗流浹背。一陣腳步聲響...
開(kāi)封第一講書(shū)人閱讀 33,153評(píng)論 1贊 272
情欲美人皮
我被黑心中介騙來(lái)泰國(guó)打工锭碳，沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留袁稽，地道東北人。一個(gè)月前我還...
沈念sama閱讀 48,420評(píng)論 3贊 373
代替公主和親
正文我出身青樓擒抛，卻偏偏與公主長(zhǎng)得像推汽，于是被迫代替她去往敵國(guó)和親蝗柔。傳聞我的和親對(duì)象是個(gè)殘疾皇子，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 45,107評(píng)論 2贊 356

機(jī)器學(xué)習(xí)基礎(chǔ)·SVD分解和偽逆

摘要

正文

參考資料

推薦閱讀更多精彩內(nèi)容