在計算機視覺中，圖像舶替，視頻的表示都是由矩陣嫂拴、張量來進行表示的高氮，所以矩陣分解在計算機視覺中算是比較重要的數(shù)學技術慧妄，如在PCA和image segmentation中，都會用到SVD方法剪芍，或用于提取矩陣奇異值塞淹，或用于簡化計算大規(guī)模線性方程組，可謂用途很多罪裹。

線性代數(shù)與數(shù)值方法：
A.1 矩陣分解
矩陣分解方法可大致分為奇異值分解（SVD）饱普、特征值分解、QR因子分解和喬里斯基（cholesky）因子分解状共。

A1.1 奇異值分解SVD
SVD是矩陣分解中最常用的方法套耕，即任意的一個MN的實數(shù)值矩陣都可以分解為mp（U）、pp峡继、pn（V）的三個矩陣相乘冯袍，U、V為正交矩陣碾牌，p為min（m,n）

  奇異值分解的一個重要性質(zhì)是可以對展開式進行截尾計算康愤，獲得原始矩陣在最小二乘意義下的最佳逼近，可用于基于特征臉的人臉識別系統(tǒng)和卷積核的可分性估計舶吗。

A1.2 特征值分解
如果矩陣C是對稱矩陣（m=n）征冷，那么它可以寫成特征值分解的形式，特征值遞減誓琼，可以為正检激，也可以為負
特殊情況是，若C為滿秩的腹侣，所有特征值均為非負叔收，可通過一系列外積之和來進行構造，則該矩陣被成為對稱半正定矩陣（SPD）傲隶，如一組數(shù)據(jù)點圍繞其中心的協(xié)方差即為對稱半正定矩陣

image.png

   對于大型矩陣的特征值分解求解今穿，經(jīng)常使用QR迭代求解，并最好使用一些線性代數(shù)工具包如LAPACK等伦籍。
   對有缺失數(shù)據(jù)項的矩陣進行因子分解會用到各種不同的迭代算法，涉及對缺失項進行假設或最小化一些加權的重構度量腮出，這一領域也有著廣泛的研究帖鸦。

A 1.3 QR因子分解
QR因子分解是一項廣泛應用于穩(wěn)定求解病態(tài)最小二乘問題的方法，也是一些更復雜算法的基礎胚嘲，如計算SVD及特征值分解：
A = QR
其中Q是正交矩陣（酉矩陣）作儿，R為上三角形矩陣，在計算機視覺中馋劈，QR因子分解可以用于將攝像機矩陣轉換為旋轉矩陣和一個上三角的標定矩陣攻锰，也可以用于各種自標定算法晾嘶，和SVD、特征值分解不同的是娶吞，QR因子分解并不需要迭代計算垒迂。

A 1.4 喬里斯基分解
喬里斯基因子分解可以用于將任意的對稱正定矩陣C轉換成上三角矩陣或下三角矩陣的乘積，其中的上三角矩陣和下三角矩陣是對稱的
C = LL^T = R^TR
L是下三角矩陣妒蛇，R是上三角矩陣机断。

A. 2 線性最小二乘
線性最小二乘問題在計算機視覺中很常見，如在基于特征點匹配的圖像對齊中绣夺，即要最小化一個平方距離目標函數(shù)吏奸。
最簡單的擬合方式為直線擬合，復雜些的有多項式擬合陶耍，正弦擬合奋蔚。
對于線性最小二乘問題，通常用x表示未知參數(shù)烈钞，其求解正則方程來求得x得最小值泊碑，常用的解法是喬里斯基分解，轉化為求解兩個三角系統(tǒng)計算棵磷。

   全部最小二乘：
   在一些問題中（如在2D圖像中進行幾何曲線擬合成或者在三維空間中用平面擬合一組數(shù)據(jù)點云）蛾狗，測量誤差不只在一個特定的方向上存在，測量點在各個方向都具有一定的不確定度仪媒，這種情況成為“變量含誤差模型”沉桌，很多時候我們將其轉化為這樣的數(shù)學表達式：
   ![image.png](https://upload-images.jianshu.io/upload_images/16818227-7606a1f72aaea271.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
   可見，該誤差度量函數(shù)有一個平凡解x =0算吩，因此我們需要要求x滿足留凭，x的模為1，即轉化為以下問題：
 ![image.png](https://upload-images.jianshu.io/upload_images/16818227-1cd012d2668b5e1a.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
 對于線性方程擬合問題偎巢，考慮到最大似然法要求各個隨機變量噪聲分布相同蔼夜，所以常對數(shù)據(jù)采用歸一化，中心化處理压昼。

A.3 非線性最小二乘
很多視覺問題中求冷，如從運動到結構的問題，最小二乘的函數(shù)不是線性的窍霞，這種問題稱為“非線性最小二乘問題或非線性回歸”匠题。對于這類問題，因為大多數(shù)為多維函數(shù)但金，需要使用梯度導數(shù)（雅可比矩陣）在當前估計的參數(shù)p附近對函數(shù)迭代地進行線性化韭山，并計算出一個增量改進。

image.png

此類方法的局限在于該近似僅在局部極小值附近或在delta p很小時成立，每一步的更新不一定總能減少累加來的平方殘差钱磅，所以有很多方法來解決這一問題梦裂，如直線搜索減少步長、帶阻尼的高斯牛頓法盖淡、大殘差方法（newton-type）年柠、Quasi-Newton方法

A. 4 直接稀疏矩陣方法
光速平差法等優(yōu)化問題都會涉及極度稀疏的雅克比矩陣和hessian矩陣，當hessian矩陣足夠稀疏時禁舷，使用稀疏的喬里斯基因子分解就會比用一般的喬里斯基因子分解效率更高彪杉。

變量重排：
使用非迭代的解法求解稀疏矩陣問題的關鍵是為變量確認一個合理的順序，可以減少填充的數(shù)量牵咙。
派近。。洁桌。渴丸。

ps：這部分有些復雜

A. 5 迭代方法
當問題的規(guī)模很大時，