本文共計(jì)1234字慨蓝，預(yù)計(jì)閱讀時(shí)長(zhǎng)八分鐘
回歸算法
?
一疚顷、回歸的本質(zhì)
發(fā)現(xiàn)y和x的規(guī)律跋核，以預(yù)測(cè)新情況下的y值
二除抛、回歸算法的分類
1. 線性回歸(Linear Regression)
1)一元線性回歸
? 輸入
一元自變量x，一元因變量y
? 回歸模型
模型輸出：y= wx + b
模型參數(shù)：w, b
? 損失函數(shù)
對(duì)每個(gè)樣本半沽，預(yù)測(cè)值y' = wx?+ b, 誤差：ε?= y?- y'
損失函數(shù)身诺，即最小化誤差平方和：minΣε=minΣ(wx+b-y)
令導(dǎo)數(shù)等于0，求出上式的w, b?即可
2)多元線性回歸
? 輸入
自變量是一個(gè)向量x抄囚，因變量數(shù)值y
? 回歸模型
模型輸出：
模型參數(shù)：w(向量)
? 損失函數(shù)
對(duì)每個(gè)樣本，預(yù)測(cè)值y' = wx?, 誤差：ε?= y?- y'
損失函數(shù)橄务，即最小化誤差平方和：
令導(dǎo)數(shù)等于0幔托，則?
2. 非線性回歸(none-Linear Regression)
如果回歸模型的因變量是自變量的非一次函數(shù)形式，回歸規(guī)律在圖形上表現(xiàn)為形態(tài)各異的各種曲線，稱為非線性回歸重挑。下面主要介紹機(jī)器學(xué)習(xí)中常見(jiàn)的一種非線性回歸——邏輯回歸(Logistic Regression)
? 輸入
自變量x嗓化，因變量y
注：y不再是連續(xù)值，而是離散值{0,1}
目標(biāo)：根據(jù)特征x谬哀，預(yù)測(cè)發(fā)生概率p(y=1|x)和p(y=0|x)刺覆，哪個(gè)概率大，y就取哪個(gè)值
? 回歸模型
模型輸出：此時(shí)不能再設(shè)y= wx史煎，因?yàn)閥只能為0或1谦屑，所以我們需要換個(gè)思路
令：
因?yàn)樽笥覂蛇叺闹涤蚨际?[0,+∞），左邊的可以這么理解篇梭，
那么氢橙，
得到形似sigmoid的函數(shù)：
故，將模型設(shè)為：
模型的參數(shù)：w（向量）
? 損失函數(shù)（本篇的精華）
①?因?yàn)槟Ｐ偷慕Y(jié)果是兩個(gè)概率恬偷，無(wú)法計(jì)算y的誤差悍手。關(guān)于概率的問(wèn)題我們需要換個(gè)思路——最大似然估計(jì)： 當(dāng)從模型總體隨機(jī)抽取n組樣本觀測(cè)后，最合理的參數(shù)估計(jì)量應(yīng)該使得從模型中抽取該n組樣本觀測(cè)值的概率最大袍患。
看不懂對(duì)吧坦康？我的理解，就是通過(guò)后驗(yàn)概率求先驗(yàn)概率的原理诡延。
一個(gè)袋子中有20個(gè)球滞欠，只有黑白兩色，有放回的抽取十次孕暇，取出8個(gè)黑球和2個(gè)白球仑撞，計(jì)算袋子里有白球黑球各幾個(gè)。那么我會(huì)認(rèn)為我所抽出的這個(gè)樣本是被抽取的事件中概率最大的妖滔。p(黑球=8)=p* (1-p), 讓這個(gè)值最大隧哮。求導(dǎo)便得到p=0.8，即我們認(rèn)為袋子中黑球占了80%座舍。
②?最大似然→對(duì)數(shù)似然：
????因?yàn)樵谒惴ㄉ蟽绾瓦B乘不好處理（聚合函數(shù)里沒(méi)有連乘沮翔，只有連加sum），我們可以加個(gè)對(duì)數(shù)曲秉，巧妙地避開(kāi)了這個(gè)麻煩采蚀。
③對(duì)數(shù)似然→負(fù)對(duì)數(shù)似然：
在機(jī)器學(xué)習(xí)需要迭代的算法中，都會(huì)有個(gè)損失函數(shù)承二，當(dāng)損失函數(shù)小于某個(gè)值時(shí)榆鼠，停止迭代，剛才的對(duì)數(shù)似然是在求最大值亥鸠，此時(shí)加個(gè)負(fù)號(hào)就變成最小值妆够。這樣识啦，又巧妙地滿足了這個(gè)套路。
注：這里負(fù)對(duì)數(shù)似然原則上不再叫損失函數(shù)神妹，而是有另外一個(gè)專有名詞——代理函數(shù)颓哮。
④?梯度下降法求解：
為了計(jì)算得到這個(gè)負(fù)對(duì)數(shù)似然函數(shù)L(w)的最小值，需要借助梯度下降法
我們可以模擬這樣的一個(gè)過(guò)程：你來(lái)到一個(gè)盆地鸵荠，剛好晚上起霧了冕茅，能見(jiàn)度很差，如果規(guī)定不能坐纜車蛹找，只能步行下山姨伤，想要盡快到達(dá)盆地底部，正常人都會(huì)遵循的三個(gè)原則：
1.每次選擇坡度最陡的方向前進(jìn)（即梯度的反方向）熄赡；
2.越接近底部姜挺，步頻會(huì)越小，否則很有可能錯(cuò)過(guò)最低點(diǎn)彼硫；
3.連續(xù)走了幾步發(fā)現(xiàn)在海拔上并沒(méi)有太大的變化炊豪，基本就可以判斷到達(dá)了盆地底部。
所以梯度下降法的核心類似：
1.設(shè)置初始w拧篮，計(jì)算L(w)
2.計(jì)算梯度d = ▽L(w)
得到下降方向選擇：dir = -d
3.調(diào)用line search得到下降后的w'和L(w')
i)?設(shè)定初始步長(zhǎng)c>0词渤，容許度0<b<1，折半因子0<a<1
ii) w' = w+c*dir,?計(jì)算得到L(w')
4.迭代與停止條件
i) ?令w = w', L(w) = L(w'), c = a*c,?繼續(xù)第2步串绩；
ii)?如果L(w') - L(w) < b*c缺虐，停止（為了避免死循環(huán)，設(shè)置一個(gè)迭代次數(shù)k礁凡，達(dá)到k次也可以停止）高氮。
（個(gè)人總結(jié)，歡迎指正）
