概念
如果兩個(gè)向量的點(diǎn)積等于0呵曹，那么則說(shuō)這兩個(gè)向量是正交的脏款。（其實(shí)也就是垂直啦）
正交矩陣的性質(zhì)有著很多實(shí)際的應(yīng)用。首先從4個(gè)子空間之間的正交性開(kāi)始吧退盯。
子空間正交性
這里是接著子空間更進(jìn)一步引述出的結(jié)論彼乌。
- 行空間垂直與零空間垂直
很明顯，對(duì)于
的情況下渊迁，矩陣
的每一行都與
垂直
- 列空間垂直與Left Null Space
垂直
與上面一致慰照，對(duì)于
的情況下，矩陣
垂直
Orthogonal Complements
對(duì)于一個(gè)子空間而言琉朽，它的正交補(bǔ)碼包含每個(gè)與子空間
垂直的向量毒租，記作
投影
這里投影就是指一個(gè)向量在另一個(gè)向量、平面或其他什么東西上的映射漓骚，跟字面意思一樣蝌衔。
首先考慮最簡(jiǎn)單的情況，投影到一條直線跟投影到一個(gè)平面上蝌蹂，為了節(jié)約紙張噩斟，我畫(huà)在一幅圖里了
如圖，向量在向量
或者平面
上的投影為
孤个，如何求出
呢剃允？
假設(shè)
有
因?yàn)?img class="math-inline" src="https://math.jianshu.com/math?formula=e" alt="e" mathimg="1">與垂直，有
可以得到
對(duì)于平面而言齐鲤，求解方法一致斥废，得到
得解
注意不要隨便亂消元哈，這不是自然數(shù)给郊。
接著我們考慮一種更復(fù)雜的情況牡肉，映射到子空間。
假設(shè)給出個(gè)
空間內(nèi)的線性無(wú)關(guān)的向量組
统锤，找出組合
，使得它與向量
的差值最小炭庙。
所謂差值最小饲窿，其實(shí)就是求先這個(gè)子空間的投影了。那么我們只需要找出投影矩陣就可以了
對(duì)于
而言焕蹄，因?yàn)?img class="math-inline" src="https://math.jianshu.com/math?formula=b" alt="b" mathimg="1">的差值與
是垂直的逾雄，有
得到
線性擬合
接下來(lái)的內(nèi)容比較偏應(yīng)用一點(diǎn)。對(duì)于方程無(wú)解是一種比較常見(jiàn)的情況鸦泳，例如出現(xiàn)線性依賴(lài)等情況银锻。在這種情況下，我們需要求出一個(gè)最優(yōu)解做鹰，該怎么做呢徒仓？
所謂的最優(yōu)解，就是該解與的差值的平方最小
是的誊垢，求投影就行了。如果差值的平方為0的話(huà)症见，則就等于
喂走。
如下圖
對(duì)于
我們需要求出C和D，根據(jù)公式谋作，有
那么當(dāng)：
求出C、D遵蚜，回代入公式帖池，得解。
線性擬合在應(yīng)用中有較多的使用吭净。不過(guò)容易出現(xiàn)的問(wèn)題就是干擾點(diǎn)睡汹，這些點(diǎn)離中心數(shù)據(jù)太遠(yuǎn)，極大的影響了結(jié)果寂殉。通常在應(yīng)用中會(huì)選擇剔除這些點(diǎn)囚巴。
正交基和Gram-Schmidt
上面的過(guò)程可以看到，在求解的時(shí)候是非常麻煩的友扰，計(jì)算量很大彤叉。那么這里我們主要通過(guò)構(gòu)造正交矩陣來(lái)減少運(yùn)算量。
對(duì)于向量而言村怪，如果他們的點(diǎn)積
秽浇，我們則說(shuō)他們是正交的。如果向量的長(zhǎng)度為1甚负，那么我們則稱(chēng)之為正交單位向量柬焕，也叫標(biāo)準(zhǔn)正交。
這樣我們可以很輕松的求解腊敲，因?yàn)?img class="math-inline" src="https://math.jianshu.com/math?formula=Q%5E%7BT%7DQ%3DI" alt="Q^{T}Q=I" mathimg="1">击喂，那么對(duì)于原來(lái)的公式而言，可以化簡(jiǎn)為
碰辅，極大的方便了運(yùn)算懂昂。
那么如何將原來(lái)的矩陣變成正交單位矩陣
呢？
如圖
簡(jiǎn)單起見(jiàn)没宾，從低維開(kāi)始考慮凌彬，假設(shè)三維空間中沸柔，我們有向量組成的矩陣，如圖所示铲敛，要將它變?yōu)檎痪仃嚻鋵?shí)就很簡(jiǎn)單了褐澎。
- 首先我們求出
，用
表示為
- 其次伐蒋，我們用
減去其投影在
上的分量工三，既得到垂直于
c - 得到
則組成正交單位矩陣先鱼。
