Moore-Penrose偽逆(pseudoinverse)。

非方矩陣港柜，逆矩陣沒有定義请契。矩陣A的左逆B求解線性方程Ax=y。兩邊左乘左逆B夏醉，x=By爽锥。可能無法設(shè)計(jì)唯一映射將A映射到B畔柔。矩陣A行數(shù)大于列數(shù)氯夷，方程無解。矩陣A行數(shù)小于列數(shù)靶擦，矩陣有多個解腮考。

矩陣A的偽逆A + =lim a->0 (A T A+aI) -1 A T。計(jì)算偽逆公式玄捕，A + =VD + U T踩蔚。矩陣U、D枚粘、V是矩陣A奇異值分解得到矩陣馅闽。對角矩陣D偽逆D + 是非零元素取倒數(shù)后再轉(zhuǎn)置。矩陣A列數(shù)多于行數(shù)赌结，偽逆求解線性方程是可能解法捞蛋。x=A + y是方程所有可行解中歐幾里得范數(shù)||x|| 2 最小。矩陣A行數(shù)多于列數(shù)柬姚，沒有解拟杉。偽逆得到x使得Ax和y的歐幾里得距離||Ax-y|| 2 最小。

跡運(yùn)算量承。

返回矩陣對角元素和搬设，Tr(A)=Sum i A i,i 穴店。通過矩陣乘法和跡運(yùn)算符號清楚表示矩陣運(yùn)算。描述矩陣Frobenius范數(shù),||A|| F =SQRT(Tr(AA T ))拿穴。跡運(yùn)算在轉(zhuǎn)置運(yùn)算下不變泣洞，Tr(A)=Tr(A T )。多個矩陣相乘方陣跡默色，矩陣最后一個挪到最前面相乘跡相同球凰。需考慮挪動后矩陣乘積定義良好，Tr(ABC)=Tr(CAB)=Tr(BCA)腿宰，Tr(PRODUCT(n,i=1,F (i) ))=Tr(F (n) PRODUCT(n-1,i=1,F (i) ))呕诉。循環(huán)置換后矩陣乘積矩陣形狀變了，跡運(yùn)算結(jié)果依然不變吃度。矩陣A ELEMENT(R mn )甩挫，矩陣B ELEMENT(R nm )，得到 Tr(AB)=Tr(BA)椿每。AB ELEMENT(R mm )伊者，BA ELEMENT(R nn )。標(biāo)量在跡運(yùn)算后仍是自己间护，a=Tr(a)亦渗。

行列式。

det(A)兑牡，方陣A映射到實(shí)數(shù)函數(shù)央碟。行列式等于矩陣特征值的乘積。行列式絕對值衡量矩陣參與矩陣乘法后空間擴(kuò)大或縮小多少均函。行列式是0，空間沿著某一維完全收縮菱涤，失去所有體積苞也。行列式是1，轉(zhuǎn)換保持空間體積不變粘秆。

主成分分析(principal components analysis,PCA)如迟。

簡單機(jī)器學(xué)習(xí)算法，基礎(chǔ)線性代數(shù)知識推導(dǎo)攻走。R n 空間有m個點(diǎn){x (1) ,…,x (m) }殷勘，有損壓縮，用更少內(nèi)存昔搂，損失精度存儲玲销。希望損失精度盡可能少。低維表示摘符，每個點(diǎn)x (i) ELEMENT(R n )贤斜，一個對應(yīng)編碼向量c (i) 策吠，按比例放大D :,i ，保持結(jié)果不變瘩绒。為問題有唯一解猴抹，限制D所有列向量有單位范數(shù)。計(jì)算解碼器最優(yōu)編碼困難锁荔。PCA限制D列向量彼此正交(除非l=n蟀给，嚴(yán)格意義D不是正交矩陣)。

想法變算法阳堕。明確每一個輸入x得到一個最優(yōu)編碼c * 跋理。

最小化原始輸入向量x和重構(gòu)向量g(c * )間距離。范數(shù)衡量距離嘱丢。PCA算法薪介，用L 2 范數(shù)，c * =argmin c ||x-g(c)|| 2 越驻。用平方L 2 范數(shù)替代L 2 范數(shù)汁政。相同值c上取得最小值。L 2 范數(shù)非負(fù)缀旁。平方運(yùn)算在非負(fù)值上單調(diào)遞增记劈。c * =argmin c ||x-g(c)|| 2 2 。最小化函數(shù)簡化并巍，(x-g(c)) T (x-g(c))目木。L 2 范數(shù)定義，=x T x-x T g(c)-g(c) T x +g(c) T g(c)懊渡。分配律刽射，=x T x-2x T g(c)+g(c) T g(c)。標(biāo)量g(c) T x轉(zhuǎn)置等于自己剃执。第一項(xiàng)x T x 不依賴c誓禁，忽略，優(yōu)化目標(biāo)肾档，c * =argmin c -2x T g(c)+g(c) T g(c)摹恰。代入g(c)，c * =argmin c -2x T Dc+c T D T Dc=argmin c -2x T Dc+c T I l c怒见。矩陣D正交性和單位范數(shù)約束俗慈，=argmin c -2x T Dc+c T c。

向量微積分求解最優(yōu)化遣耍，NABLA(c, (-2x T Dc+c T c))=0闺阱，-2D T x+2c=0，c=D T x配阵。算法高效馏颂。最優(yōu)編碼x只需要一個矩陣-向量乘法操作示血。編碼向量，編碼函數(shù)救拉，f(x)=D T x难审。矩陣乘法，定義PCA重構(gòu)操作亿絮，r(x)=g(f(x))=DD T x告喊。挑選編碼矩陣D。相同矩陣D對所有點(diǎn)解碼派昧，不能孤立看待每個點(diǎn)黔姜。最小化所有維數(shù)和所有點(diǎn)上的誤差矩陣Frobenius范數(shù)。D * =argmin D SQRT(SUM(i,j,(x (i) j -r(x (i)) j )) 2 )subject to D T D=Il蒂萎。推導(dǎo)尋求D * 算法秆吵，l=1，D是單一向量d五慈。簡化D為d纳寂，問題簡化。d * =argmin d SUM(i,||x (i) -dd T x (i) || 2 2 )subject to ||d|| 2 =1泻拦。最美觀方式毙芜。標(biāo)量d T x (i) 放在向量d右邊。標(biāo)量放在左邊寫法更傳統(tǒng)争拐。d * =argmin d SUM(i,||x (i) -d T x (i) d|| 2 2 )subject to ||d|| 2 =1腋粥。標(biāo)量轉(zhuǎn)置和自身相等。d * =argmin d SUM(i,||x (i) -x (i) T dd|| 2 2 )subject to ||d|| 2 =1架曹。重排寫法隘冲。

單一矩陣重述問題。更緊湊符號绑雄。表示各點(diǎn)向量堆疊成矩陣对嚼。記X ELEMENT(R m*n )。X i,: =x (i) T 绳慎。重新表述，d * =argmin d ||X-Xdd T || 2 F subject to d T d=1漠烧。不考慮約束杏愤，F(xiàn)robenius范數(shù)簡化。argmin d ||X-Xdd T || 2 F 已脓。=argmin d Tr((X-Xdd T ) T (X-Xdd T ))珊楼。=argmin d Tr(X T X-X T Xdd T -dd T X T X+dd T X T Xdd T )。=argmin d Tr(X T X)-Tr(X T Xdd T )-Tr(dd T X T X)+Tr(dd T X T Xdd T )度液。=argmin d -Tr(X T Xdd T )-Tr(dd T X T X)+Tr(dd T X T Xdd T )厕宗。與d無關(guān)項(xiàng)不影響argmin画舌，=argmin d -2Tr(X T Xdd T )+Tr(dd T X T Xdd T )。循環(huán)改變跡運(yùn)算相乘矩陣順序不影響結(jié)果已慢，=argmin d -2Tr(X T Xdd T )+Tr(X T X T Xdd T dd T )曲聂。考慮約束條件佑惠。argmin d -2Tr(X T Xdd T )+Tr(X T X T Xdd T dd T )subject to d T d=1朋腋。=argmin d -2Tr(X T Xdd T )+Tr(X T X T Xdd T )subject to d T d=1。=argmin d -Tr(X T X T Xdd T )subject to d T d=1膜楷。=argmax d Tr(X T X T Xdd T )subject to d T d=1旭咽。=argmax d Tr(d T X T X T Xd)subject to d T d=1。優(yōu)化問題赌厅，特征分解求解穷绵。最優(yōu)d是X T X最大特征值對應(yīng)特征向量。

以上推導(dǎo)特定于l=1情況特愿，僅得到第一個主成分仲墨。得到主成分的基時，矩陣D由前l(fā)個最大特征值對應(yīng)特征向量組成洽议。歸納法證明宗收。

參考資料：

《深度學(xué)習(xí)》

歡迎推薦上海機(jī)器學(xué)習(xí)工作機(jī)會亚兄，我的微信：qingxingfengzi

我有一個微信群，歡迎一起學(xué)深度學(xué)習(xí)审胚。