學(xué)習(xí)線性回歸的時(shí)候蒋失，會(huì)教我們可以直接用最小二乘法直接把
求出來(lái)：
并且還在我之前的博文里直接應(yīng)用了一番（那是根據(jù)公式來(lái)應(yīng)用，即如何構(gòu)建正確的A和y桐玻，從而應(yīng)用公式直接求解)篙挽，里面還引了一篇詳實(shí)的證明文章。
首先镊靴，在吳恩達(dá)的教材里铣卡，這個(gè)并不叫最小二乘(least suqare），而是叫Normal Equation method偏竟，這個(gè)不重要煮落，畢竟在可汗學(xué)院的教材里，又叫最小二乘了^^踊谋。今天補(bǔ)充的內(nèi)容蝉仇，就是在回顧之前的筆記的時(shí)候，發(fā)現(xiàn)了大量的證明和應(yīng)用這個(gè)公式的地方，而且全是在引入了投影(Projection)概念之后轿衔。因?yàn)槟莻€(gè)時(shí)候并沒(méi)有接觸機(jī)器學(xué)習(xí)沉迹，看了也就看了，現(xiàn)在看到了應(yīng)用場(chǎng)景害驹，那就閉環(huán)了鞭呕，回顧一下：
首先，預(yù)備知識(shí)
子空間
筆記很清楚了宛官，對(duì)于一個(gè)矩陣
它的列空間是自然是C(A)葫松，行空間自然是A的轉(zhuǎn)置的后的
列空間，然后各自擁有一個(gè)對(duì)應(yīng)的零空間（即求解
上圖用紅框框出來(lái)的部分即是具體這個(gè)矩陣的四個(gè)子空間底洗。同時(shí)进宝，擁有如下性質(zhì)：
-
與
正交(
orthogonal)，即列空間與左零空間正交 -
與
正交枷恕，即行空間與零空間正交
正交補(bǔ)
即V的正交補(bǔ)為垂直于V內(nèi)任意一個(gè)向量的所有向量党晋。
那么:
投影是一個(gè)線性變換
這里已經(jīng)看到我們熟悉的
-
在
上的投影
必然能表示成該空間的
basis{}的線性變換：
- 求出
則求出了這個(gè)投影在哪里
-
投影徐块，自然也能向
投影(
)
- 這里是故意這么說(shuō)的未玻，強(qiáng)調(diào)都是投影，其實(shí)在向
- 左零空間只不過(guò)是轉(zhuǎn)置的零空間扳剿，那么零空間的特性是什么呢？即
的空間昼激，那么
- 只要
可逆的話:
- 得證
-
最小二乘逼近
由此到了下一課，the lease squares approximation橙困，講的就是無(wú)解時(shí)瞧掺，意思就是在
不存在A的張成子空間中，所以無(wú)論進(jìn)行怎樣的線性變換凡傅，都是不可能得到
的辟狈，則取
在
中的投影作為近似的解（證明就不再展開了）
仍然用的是同一個(gè)思路，即"垂線在左零空間中"夏跷，來(lái)構(gòu)造
應(yīng)用最小二乘擬合一條回歸線
這里終于講到了與機(jī)器學(xué)習(xí)最接近的內(nèi)容：regression
可以看到哼转，毫無(wú)業(yè)務(wù)思維的花花腸子，很多機(jī)器學(xué)習(xí)課程里會(huì)花大量工夫從感性到理性上給你講這些內(nèi)容槽华，因?yàn)樗钠谕麖?跟你講清楚壹蔓，而在循序漸進(jìn)的數(shù)學(xué)理論體系里，這些根本就不需要關(guān)聯(lián)感性認(rèn)識(shí)的猫态，什么每年的房?jī)r(jià)啊佣蓉，數(shù)學(xué)關(guān)注的只是建模披摄。
這個(gè)回歸實(shí)例里，因?yàn)樾枰獢M合的是一條直線：偏螺，那么既有的數(shù)據(jù)就成了機(jī)器學(xué)習(xí)里的“樣本”行疏，但我們這里不需要這么理解，而是直接理解為矩陣套像，得到
方程組：
提取矩陣：
好了酿联，在上面提到的這篇博文里，我們不明就里地直接用了公式夺巩，已知A和b求變換矩陣M(即這里的)贞让，還當(dāng)成是機(jī)器學(xué)習(xí)的內(nèi)容，而現(xiàn)在我們已經(jīng)知道自己是在做什么柳譬，就是找b在
的張成子空間里的投影喳张，就能得到最近似的解
