舉個(gè)例子:
數(shù)據(jù):工資和年齡(2個(gè)特征)
目標(biāo):預(yù)測(cè)銀行會(huì)貸款給我多少錢(qián)(標(biāo)簽)
考慮:工資和年齡都會(huì)影響最終銀行貸款的結(jié)果那么它們各自有多大的影響呢猎贴?(參數(shù))
通俗解釋:
X1,X2就是我們的兩個(gè)特征(年齡蒜危,工資),Y是銀行最終會(huì)借給我們多少錢(qián)
找到最合適的一條線(想象一個(gè)高維)來(lái)最好的擬合我們的數(shù)據(jù)點(diǎn)
如圖所示:
數(shù)學(xué)理論:
把θ和X看成向量蚕苇,并且x0=1
這是一個(gè)樣本的函數(shù)
將多個(gè)單樣本函數(shù)累乘得到似然函數(shù)
注:轉(zhuǎn)化為對(duì)數(shù)似然函數(shù)是因?yàn)榘殉朔ㄞD(zhuǎn)換為加法,更便于計(jì)算舀患。
讓似然函數(shù)(對(duì)數(shù)變換后也一樣)越大越好
得到
損失函數(shù)
比較好理解忆矛,就是訓(xùn)練集中所有樣本點(diǎn),真實(shí)值和預(yù)測(cè)值之間的誤差的平方和裕便。其中1/2是為了后面計(jì)算方便绒净,求導(dǎo)時(shí)會(huì)消掉。所以我們目的就是找到θ使得J(θ)最小偿衰,這就是最小二乘法(最小平方)挂疆。
這樣就求出了權(quán)重參數(shù)