上次了解了核函數(shù)與損失函數(shù)之后顽悼，支持向量機的理論已經(jīng)基本完成，今天將談論一種數(shù)學優(yōu)化技術(shù)------最小二乘法（Least Squares, LS）∽卟福現(xiàn)在引用一下《正態(tài)分布的前世今生》里的內(nèi)容稍微簡單闡述下刁赖。我們口頭中經(jīng)常說：一般來說，平均來說僚焦。如平均來說，不吸煙的健康優(yōu)于吸煙者曙痘，之所以要加“平均”二字芳悲，是因為凡事皆有例外，總存在某個特別的人他吸煙但由于經(jīng)常鍛煉所以他的健康狀況可能會優(yōu)于他身邊不吸煙的朋友边坤。而最小二乘法的一個最簡單的例子便是算術(shù)平均名扛。
最小二乘法（又稱最小平方法）是一種數(shù)學優(yōu)化技術(shù)。它通過最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配茧痒。利用最小二乘法可以簡便地求得未知的數(shù)據(jù)肮韧，并使得這些求得的數(shù)據(jù)與實際數(shù)據(jù)之間誤差的平方和為最小。用函數(shù)表示為：
使誤差平方和達到最小以尋求估計值的方法旺订，就叫做最小二乘法弄企，用最小二乘法得到的估計，叫做最小二乘估計区拳。當然拘领，取平方和作為目標函數(shù)只是眾多可取的方法之一。
最小二乘法是Legendre 在1806 年發(fā)表的樱调，基本思想就是認為測量中有誤差约素，我們求解出導致累積誤差最小的參數(shù)即可。
????????對最小二乘法的優(yōu)良性做了幾點說明：
最小二乘使得誤差平方和最小笆凌，并在各個方程的誤差之間建立了一種平衡圣猎，從而防止某一個極端誤差取得支配地位
計算中只要求偏導后求解線性方程組，計算過程明確便捷
最小二乘可以導出算術(shù)平均值作為估計值
對于最后一點菩颖，從統(tǒng)計學的角度來看是很重要的一個性質(zhì)样漆。推理如下：假設(shè)真值為θ为障，x1, x2, · · · , xn 為n 次測量值晦闰，每次測量的誤差為ei = xi ? θ放祟，按最小二乘法，誤差累積為：
求解θ 使L(θ) 達到最小呻右，正好是算術(shù)平均
由于算術(shù)平均是一個歷經(jīng)考驗的方法跪妥，而以上的推理說明，算術(shù)平均是最小二乘的一個特例声滥，所以從另一個角度說明了最小二乘方法的優(yōu)良性眉撵，使我們對最小二乘法更加有信心。
最小二乘法發(fā)表之后很快得到了大家的認可接受落塑，并迅速的在數(shù)據(jù)分析實踐中被廣泛使用纽疟。不過歷史上又有人把最小二乘法的發(fā)明歸功于Gauss，這又是怎么一回事呢憾赁。Gauss 在1809 年也發(fā)表了最小二乘法污朽，并且聲稱自己已經(jīng)使用這個方法多年。Gauss 發(fā)明了小行星定位的數(shù)學方法龙考，并在數(shù)據(jù)分析中使用最小二乘方法進行計算蟆肆，準確的預測了谷神星的位置。
說了這么多晦款，貌似跟本文的主題支持向量機沒啥關(guān)系呀炎功，別急，請讓我繼續(xù)闡述缓溅。本質(zhì)上說蛇损，最小二乘法即是一種參數(shù)估計方法，說到參數(shù)估計肛宋，咱們得從一元線性模型說起州藕。
什么是一元線性模型呢？先來梳理下幾個基本概念：
(1)?監(jiān)督學習中酝陈，如果預測的變量是離散的床玻，我們稱其為分類（如決策樹，支持向量機等）沉帮，如果預測的變量是連續(xù)的锈死，我們稱其為回歸。
(2) 回歸分析中穆壕，如果只包括一個自變量和一個因變量待牵，且二者的關(guān)系可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析喇勋。
(3) 如果回歸分析中包括兩個或兩個以上的自變量缨该，且因變量和自變量之間是線性關(guān)系，則稱為多元線性回歸分析川背。
(4)?對于二維空間線性是一條直線贰拿；對于三維空間線性是一個平面蛤袒，對于多維空間線性是一個超平面。
對于一元線性回歸模型, 假設(shè)從總體中獲取了n 組觀察值(x1, y1), (x2, y2), · · · , (xn, yn)膨更。對于平面中的這n個點妙真，可以使用無數(shù)條曲線來擬合。要求樣本回歸函數(shù)盡可能好地擬合這組值荚守。綜合起來看珍德，這條直線處于樣本數(shù)據(jù)的中心位置最合理。
選擇最佳擬合曲線的標準可以確定為：使總的擬合誤差（即總殘差）達到最小矗漾。有以下三個標準可以選擇：
1. 用“殘差和最小”確定直線位置是一個途徑锈候。但很快發(fā)現(xiàn)計算“殘差和”存在相互抵消的問題。
2. 用“殘差絕對值和最小”確定直線位置也是一個途徑敞贡。但絕對值的計算比較麻煩晴及。
3. 最小二乘法的原則是以“殘差平方和最小”確定直線位置。用最小二乘法除了計算比較方便外嫡锌，得到的估計量還具有優(yōu)良特性虑稼。這種方法對異常值非常敏感。
最常用的是普通最小二乘法Ordinary Least Square, OLS ：所選擇的回歸模型應該使所有觀察值的殘差平方和達到最小势木，即采用平方損失函數(shù)蛛倦。
我們定義樣本回歸模型為：
其中ei 為樣本(xi, yi) 的誤差。定義平方損失函數(shù)：
SMO 算法則通過Q 最小確定這條直線啦桌，即確定β0 和 β1溯壶，以β0 和 β1 為變量，把它們看作是Q 的函數(shù)甫男，就變成了一個求極值的問題且改，可以通過求導數(shù)得到。求Q 對兩個待估參數(shù)的偏導數(shù)并令其等于0：
求解可以得到：
這就是最小二乘法的解法板驳，就是求得平方損失函數(shù)的極值點又跛。自此，你看到求解最小二乘法與求解SVM 問題何等相似若治，尤其是定義損失函數(shù)慨蓝，而后通過偏導求得極值。
上面僅僅給出了SMO算法的最終求解公式端幼，并未給出具體的求解過程礼烈，這個內(nèi)容將在明天給出，也是關(guān)于支持向量機基本理論的最后一點內(nèi)容~~~~
