Regression:目標(biāo)是為了輸出一個(gè)標(biāo)量
例如：

Example Applicatiom

估計(jì)一個(gè)寶可夢(mèng)進(jìn)化后的CP值。可以使用多個(gè)輸入的參數(shù)：Xcp，種類Xs拯田，HP，Xw甩十，Xh

• Step 1：選擇一種模型
  這里選擇線性的模型：y = b + WX船庇；其中b為偏置值吭产，W為權(quán)重。但是隨著w和b的取值不同鸭轮，模型函數(shù)的表現(xiàn)不一樣臣淤。

  
  
  image.png

• Step2 使用損失函數(shù)判斷選擇的模型的好壞
  我們的目的是根據(jù)輸入值（例如CP值）來預(yù)測(cè)進(jìn)化后的CP輸出值。

  
  
  
  

  我們拿到一系列的訓(xùn)練數(shù)據(jù)是真實(shí)的數(shù)據(jù)窃爷，根據(jù)訓(xùn)練數(shù)據(jù)去擬合一條直線邑蒋，獲取最合適的w和b值。

  
  
  
  我們?nèi)绾闻袛啻俗詈线m的w和b的值呢按厘？是通過一個(gè)loss函數(shù)來判斷医吊，的loss函數(shù)的值越小，證明預(yù)測(cè)值與真實(shí)值的差距越小逮京。
  
  
  下圖描述w和b的分布與loss函數(shù)大小之間的關(guān)系卿堂，顏色越淺，loss越小懒棉。

• Step3 選擇最佳的函數(shù)：梯度下降
  如何一步一步調(diào)整w和b的大小從而得到最好的函數(shù)呢草描？需要用到求導(dǎo)的方式，往導(dǎo)數(shù)減少的方向去調(diào)整參數(shù)策严。

  
  
  
  

  往導(dǎo)數(shù)減少的方向去調(diào)整參數(shù)陶珠，即往梯度下降的地方去調(diào)整，直到梯度為零時(shí)享钞，即找到局部最優(yōu)點(diǎn)。

  
  
  
  每次往梯度下降的方向移動(dòng)的步伐大小诀蓉，即學(xué)習(xí)率栗竖。
  
  
  
  
  

  每次計(jì)算當(dāng)前梯度的大小并更下w和b的值，得到下一次計(jì)算的w和b的值渠啤。

  
  
  
  順著梯度下降的地方狐肢，一步一步走向loss函數(shù)的最低點(diǎn)。
  
  
  但是并不是每移動(dòng)一步沥曹，獲取的loss值都比上一個(gè)此獲取的loss值小的份名，也有可能“步子太大”而跳過了最低點(diǎn)。
  
  
  可能會(huì)出現(xiàn)的幾種情況：1）在一個(gè)梯度很小的地方慢慢移動(dòng)妓美；2）阻塞在一個(gè)梯度為0但不是最低點(diǎn)的地方僵腺；3）阻塞在一個(gè)局部最低點(diǎn)。
  
  
  如何計(jì)算梯度壶栋？就是遵循求導(dǎo)法則即可辰如。
  

• 結(jié)果判斷
  假設(shè)我們訓(xùn)練得到一個(gè)使loss最小時(shí)的w和b的值。

  
  
  
  

  我們判斷這個(gè)模型好不好時(shí)贵试，需要把此模型用在測(cè)試數(shù)據(jù)上琉兜，并判斷測(cè)試數(shù)據(jù)在此模型中的平均loss值凯正。

  
  
  
  如果我們選擇另外一種模型對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練，例如二次函數(shù)模型豌蟋，將會(huì)得到loss更小的結(jié)果廊散。
  
  
  在進(jìn)一步，選用三次函數(shù)進(jìn)行訓(xùn)練數(shù)據(jù)梧疲，得到的結(jié)果更加好允睹。
  
  
  

  但是，如果使用了四次甚至五次函數(shù)進(jìn)行訓(xùn)練時(shí)往声，得到的loss反而比三次函數(shù)模型大擂找，為什么？因?yàn)榘l(fā)生了過擬合現(xiàn)象了浩销。

  
  
  
  
  
  在模型的選擇上贯涎，其實(shí)高階模型對(duì)低階模型是一種包含的關(guān)系。
  
  
  我們可以看到上述問題中慢洋，模型次數(shù)與loss的關(guān)系塘雳。
  

更復(fù)雜的參數(shù)選擇

如果現(xiàn)在數(shù)據(jù)量變大了，分布變得更加不線性了普筹，需要怎么辦呢败明？

這時(shí)候一個(gè)參數(shù)Xcp已經(jīng)不能很好地訓(xùn)練出一個(gè)好的模型了，還需要加入一個(gè)種類的參數(shù)太防。

• 兩種輸入?yún)?shù)的情況
  除了Xcp之外妻顶，還需要考慮參數(shù)Xs，隨著Xs的不同蜒车，所選取的b和w也不一樣讳嘱，針對(duì)每一種寶可夢(mèng)去建立不同的參數(shù)b和w。

  
  
  
  
  
  

  可以用此方法訓(xùn)練出三條擬合線酿愧，針對(duì)不同種類的寶可夢(mèng)沥潭。

  
  

• 更多輸入?yún)?shù)的情況

  
  
  
  
  
  

  可以對(duì)求loss函數(shù)的時(shí)候加入正則化的操作，使擬合的曲線更加平滑嬉挡。

  
  
  
  但是钝鸽，λ的值越大，得到的曲線雖然越平滑庞钢，也會(huì)使結(jié)果loss越大拔恰。
  

總結(jié)

膠片來自于臺(tái)灣大學(xué)李宏毅教授的《機(jī)器學(xué)習(xí)課程》，侵刪!