平方誤差代價(jià)函數(shù)
我們的目標(biāo)就是讓J()盡可能的小
梯度下降
- := 是賦值的意思
- $\alpha$ 是指learning rate(學(xué)習(xí)速度)
對theta求導(dǎo)（斜率）停士，theta在左半邊的時(shí)候，斜率為負(fù)完丽，所以theta會向右更新恋技，同理在又邊的時(shí)候會向左更新÷咦澹可以得出當(dāng)斜率為0的時(shí)候蜻底，theta不再更新。
我們可以用梯度下降對多個(gè)參數(shù)（theta）進(jìn)行求導(dǎo)瓷耙，當(dāng)多個(gè)參數(shù)均開始收斂（即前后兩次迭代的值不再發(fā)生變化了朱躺。一般情況下刁赖，會設(shè)置一個(gè)具體的參數(shù)，當(dāng)前后兩次迭代差值小于該參數(shù)時(shí)候結(jié)束迭代）的時(shí)候长搀，這即為一個(gè)比較合適的值宇弛。
最小二乘法
- 知識回顧：矩陣的跡
http://blog.csdn.net/mathmetics/article/deta ils/17504179
將訓(xùn)練特征表示為X矩陣，結(jié)果表示成y向量源请，仍然是線性回歸模型枪芒，誤差函數(shù)不變。那么θ可以直接由下面公式得出
此方法要求X是列滿秩的谁尸，而且求矩陣的逆比較慢舅踪。
最小二乘法講解：
https://www.cnblogs.com/iamccme/archive/2013/05/15/3080737.html
最大似然估計(jì)
http://www.cnblogs.com/liliu/archive/2010/11/22/1883702.html
帶權(quán)重的線性回歸
上面提到的線性回歸的誤差函數(shù)里系統(tǒng)都是1，沒有權(quán)重良蛮。帶權(quán)重的線性回歸加入了權(quán)重信息抽碌。
-
基本假設(shè)是
-
其中假設(shè)w(i)符合公式：
image.png
其中x是要預(yù)測的特征，這樣假設(shè)的道理是離x越近的樣本權(quán)重越大决瞳，越遠(yuǎn)的影響越小货徙。這個(gè)公式與高斯分布類似，但不一樣,因?yàn)閃(i)不是隨機(jī)變量皮胡。
此方法成為非參數(shù)學(xué)習(xí)算法痴颊，因?yàn)檎`差函數(shù)隨著預(yù)測值的不同而不同，這樣θ無法事先確定屡贺，預(yù)測一次需要臨時(shí)計(jì)算蠢棱，感覺類似KNN。
分類和對數(shù)回歸
一般來說甩栈，回歸不用在分類問題上泻仙，因?yàn)榛貧w是連續(xù)型模型，而且受噪聲影響比較大量没。如果非要應(yīng)用進(jìn)入饰豺，可以使用對數(shù)回歸。
對數(shù)回歸本質(zhì)上是線性回歸允蜈，只是在特征到結(jié)果的映射中加入了一層函數(shù)映射，即先把特征線性求和蒿柳，然后使用函數(shù)g(z)將最為假設(shè)函數(shù)來預(yù)測饶套。g(z)可以將連續(xù)值映射到0和1上。
對數(shù)回歸的假設(shè)函數(shù)如下垒探，線性回歸假設(shè)函數(shù)只是θ^T x
sigmod函數(shù)/Logistic函數(shù)
對數(shù)回歸用來分類0/1問題妓蛮，也就是預(yù)測結(jié)果屬于0或者1的二值分類問題。這里假設(shè)了二值滿足伯努利分布圾叼，也就是
當(dāng)然假設(shè)它滿足泊松分布蛤克、指數(shù)分布等等也可以捺癞，只是比較復(fù)雜，后面會提到線性回歸的一般形式构挤。
與第7節(jié)一樣髓介，仍然求的是最大似然估計(jì)，然后求導(dǎo)筋现，得到迭代公式結(jié)果為
這個(gè)結(jié)果看上去與線性回歸類似唐础，只是θ^T x(i)換成了hθ (x（i))，但其實(shí)h就是θ^T x(i)經(jīng)過g(z)映射過來的矾飞，而這也是它與最小二乘回歸的最大區(qū)別
image.png
嶺回歸
簡單來說一膨，嶺回歸是在矩陣X^tX上加入一個(gè)? I 從而使矩陣奇異，進(jìn)而能對X^tX+ ? I 求逆洒沦。其中矩陣I是一個(gè)m*m的單位矩陣豹绪，對角線元素為1，其余元素為0申眼，而?是一個(gè)用戶定義的數(shù)值瞒津。在這種情況下，回歸系數(shù)的計(jì)算公式變成：
嶺回歸最先用于處理特征數(shù)多于樣本數(shù)的情況豺型，現(xiàn)在也用于在估計(jì)中加入偏差仲智，從而得到更好的估計(jì)，這里通過引入?來限制了所有w之和姻氨，通過引入懲罰項(xiàng)钓辆，能夠減少不重要的參數(shù)，這個(gè)技術(shù)在統(tǒng)計(jì)學(xué)中也叫做縮減肴焊。
