代價函數(shù) Cost Function
為了度量預(yù)測函數(shù)(hypothesis)的精確性桦山，我們引入了代價函數(shù)币旧。它用對所有基于輸入(x)的預(yù)測結(jié)果和輸出(y)取平均差。
代價函數(shù)
它其實是平均值的1/2折汞，這個平均值是m項加起來最后除以m所得肢藐。
這個代價函數(shù)又叫“平方誤差函數(shù)”，或者“均方差函數(shù)”[1]剃斧。
均值前面的1/2是為了方便梯度下降的計算（用1/2抵消1/2平方項求導(dǎo)產(chǎn)生的2）瞬逊。
Prof.Ng 的PPT草圖
例子
想象著數(shù)據(jù)集分散在xy軸所構(gòu)成的畫板上显歧，有一條線盡可能穿過所有的點. 這時J(θ0,θ1)將等于 0. 接下來的例子是一種理想狀態(tài)的代價函數(shù)，它的值為0.
當(dāng) θ1=1 時, 斜率為1的直線穿過了所有的點确镊。
當(dāng) θ1=0.5 時士骤，我們所畫的線到數(shù)據(jù)點之間的距離增加。
這時代價函數(shù)值為 0.58蕾域。 再繼續(xù)畫幾個點就會得到如下所示的圖:
我們的目標就是得到代價函數(shù)的最小值拷肌。在這個案例中到旦，θ1=1就是目標的最小值。
注：
[1] 這里用均方誤差來衡量巨缘，是經(jīng)過實踐校驗比較合理精確的方法添忘，還有其他的方法后續(xù)也會介紹。均方誤差——百度百科
