第16課 投影矩陣和最小二乘

投影矩陣P=A(A^TA)^{-1}A^T

① 如果向量\vec丈咐A列空間里寝殴,則投影結果Pb=b

② 如果\vec触徐垂直于A列空間(可買想象成一個平面),此時Pb=0b最近,即\vec缭召的投影點。一般情況 下向量會有一個分量列空間里逆日,另一個分量則和列空間垂直

投影矩陣起的作用保留第一部分嵌巷,去掉第二部分。

從第二部分開始室抽,

什么向量會垂直于列空間搪哪?在A轉置的零空間里的向量

怎么知道一定會得到0?

\vec坪圾垂直于列空間究竟是什么意思晓折?

如果它垂直所有列,它會在其他某個空間里

②證明:

? 如果b \bot C(A)兽泄,b就在N(A^T)里漓概。如果bN(A^T)里,則有A^Tb=0 ,可推以下:

? 投影矩陣P乘以b的表示為:
Pb = A(A^TA)^{-1}A^Tb = A(A^TA)^{-1}(A^Tb) = A(A^TA)^{-1}0 = 0

①證明:

? C(A)里的向量就是Ax=b可推如下:
Pb = A(A^TA)^{-1}A^TAx = A\underbrace{(A^TA)^{-1}(A^TA)}_{相互抵消}x = Ax

投影矩陣的作用:

投影

P是投影矩陣病梢,(I-P)也是投影矩陣:
b=p+e\\ p=Pb\\ e=(I-P)b

最小二乘:

  • 投影向量p和誤差向量e的和是b
  • pe相互垂直胃珍,點積為零
  • e垂直C(A)

線性代數的性質:

? 如果A各列線性無關,A^TA是可逆的

? 假設:A^TAx=0?

? 目標:證明A^TS可逆

? x只有零解,所以只需證明x一定是零向量

方程:
\underbrace{x^TA^T}_{Ax向量的轉置}Ax = 0 = \underbrace{(Ax)^T(Ax)}_{向量長度的平方}\\ \rightarrow Ax = 0 \\ if(A的線性無關且Ax=0)\rightarrow x = 0

相互垂直的各列一定是線性無關的

相互垂直的單位向量(1,0,0),(0,1,0),(0,0,1)

標準正交向量組

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末觅彰,一起剝皮案震驚了整個濱河市吩蔑,隨后出現的幾起案子,更是在濱河造成了極大的恐慌填抬,老刑警劉巖烛芬,帶你破解...
    沈念sama閱讀 217,907評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現場離奇詭異痴奏,居然都是意外死亡蛀骇,警方通過查閱死者的電腦和手機,發(fā)現死者居然都...
    沈念sama閱讀 92,987評論 3 395
  • 文/潘曉璐 我一進店門读拆,熙熙樓的掌柜王于貴愁眉苦臉地迎上來擅憔,“玉大人,你說我怎么就攤上這事檐晕∈钪睿” “怎么了?”我有些...
    開封第一講書人閱讀 164,298評論 0 354
  • 文/不壞的土叔 我叫張陵辟灰,是天一觀的道長个榕。 經常有香客問我,道長芥喇,這世上最難降的妖魔是什么西采? 我笑而不...
    開封第一講書人閱讀 58,586評論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮继控,結果婚禮上械馆,老公的妹妹穿的比我還像新娘。我一直安慰自己武通,他們只是感情好霹崎,可當我...
    茶點故事閱讀 67,633評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著冶忱,像睡著了一般尾菇。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上囚枪,一...
    開封第一講書人閱讀 51,488評論 1 302
  • 那天派诬,我揣著相機與錄音,去河邊找鬼眶拉。 笑死千埃,一個胖子當著我的面吹牛,可吹牛的內容都是我干的忆植。 我是一名探鬼主播放可,決...
    沈念sama閱讀 40,275評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼谒臼,長吁一口氣:“原來是場噩夢啊……” “哼契邀!你這毒婦竟也來了茴晋?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 39,176評論 0 276
  • 序言:老撾萬榮一對情侶失蹤呐萨,失蹤者是張志新(化名)和其女友劉穎冯挎,沒想到半個月后底哥,有當地人在樹林里發(fā)現了一具尸體,經...
    沈念sama閱讀 45,619評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡房官,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,819評論 3 336
  • 正文 我和宋清朗相戀三年趾徽,在試婚紗的時候發(fā)現自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片翰守。...
    茶點故事閱讀 39,932評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡孵奶,死狀恐怖,靈堂內的尸體忽然破棺而出蜡峰,到底是詐尸還是另有隱情了袁,我是刑警寧澤,帶...
    沈念sama閱讀 35,655評論 5 346
  • 正文 年R本政府宣布湿颅,位于F島的核電站载绿,受9級特大地震影響,放射性物質發(fā)生泄漏油航。R本人自食惡果不足惜崭庸,卻給世界環(huán)境...
    茶點故事閱讀 41,265評論 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望谊囚。 院中可真熱鬧冀自,春花似錦、人聲如沸秒啦。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,871評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽余境。三九已至,卻和暖如春灌诅,著一層夾襖步出監(jiān)牢的瞬間芳来,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,994評論 1 269
  • 我被黑心中介騙來泰國打工猜拾, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留即舌,地道東北人。 一個月前我還...
    沈念sama閱讀 48,095評論 3 370
  • 正文 我出身青樓挎袜,卻偏偏與公主長得像顽聂,于是被迫代替她去往敵國和親肥惭。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,884評論 2 354

推薦閱讀更多精彩內容