李宏毅機器學習——回歸

回歸定義

Regression 就是找到一個函數(shù) $Function$ 驳庭，通過輸入特征 $x$ ，輸出一個數(shù)值 $Scalar$ 衩藤。

模型步驟

Step 1: 模型假設(shè)
Step 2: 模型評估
Step 3: 模型優(yōu)化

Step 1：模型假設(shè)

線性模型 Linear Model:

$y = b + w \cdot x_{i}$

Step 2: 模型評估

損失函數(shù) Loss Function:

以線性模型為例：
$L(f)=\sum_{i=1}^{n}{(y_i - f(x_i))}^2$
$L(w,b)=\sum_{i=1}^{n}({y_i - (b + w \cdot x_i)})^2$

Step 3: 模型優(yōu)化

找到使得損失函數(shù)最小的 $f^*$

$f^*=arg \min _f L(f)$

最小二乘法: 計算可能極為復雜
Example
$\left\{ \begin{array}{lr} \dfrac{\partial L}{\partial b} = 0 , \\ & \\ \dfrac{\partial L}{\partial w} = 0 & \end{array} \right.$

$\left\{ \begin{array}{lr} 2 \sum_{i=1}^{n}{(y_i-(b+w x_i))} = 0, \\ & \\ 2 \sum_{i=1}^{n}{(y_i-(b+w x_i))x_i} = 0 \end{array} \right.$

化簡, 得
$\left\{ \begin{array}{lr} nb + w\sum_{i=1}^{n}x_i=\sum_{i=1}^{n}{y_i}, \\ & \\ b\sum_{i=1}^{n}x_i + w\sum_{i=1}^{n}{x_i^2}=\sum_{i=1}^{n}{y_i} \end{array} \right.$

$\left\{ \begin{array}{lr} b + w \bar x = \bar y, \\ & \\ b\bar x + w \bar{x^2} = \bar{xy} \end{array} \right.$

梯度下降

Example 1: $w^* = arg \min _{w} L(w)$
1. 隨機選取一個初始點 $w^0$
2. 計算微分 , 判斷移動方向
  
  其中為學習率
  - 大于0向右移動 (增加 $w$ )
  - 小于0向左移動 (減少 $w$ )
3. 計算微分 $\frac{\mathrme4ecima L}{\mathrmy24s6as w} |_{w =w^2}$ , 繼續(xù)更新 $w$
4. ....
5. 直至找到最低點
Example 2: $w^*, b^* = arg \min _{w, b} L(w, b)$
1. 隨機選取 $w^0, b^0$
2. 計算偏微分 $\frac{\partial L}{\partial w} |_{w =w^0, b=b^0}$ , $\frac{\partial L}{\partial b} |_{w =w^0, b=b^0}$ , 根據(jù)學習率更新 $w, b$
3. ....
4. 直至找到最低點

Gradient Decent

梯度下降面臨的挑戰(zhàn)

Gradient Decent Challenges

更復雜的模型

N次線性模型

過擬合問題

優(yōu)化：

融合不同參數(shù)的線性模型
加入更多特征
在損失函數(shù)中加入正則化項

實驗

回歸實驗

參考資料

李宏毅機器學習筆記

李宏毅機器學習視頻課

最后編輯于：2022.05.17 11:00:02

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末碉钠，一起剝皮案震驚了整個濱河市，隨后出現(xiàn)的幾起案子牲蜀，更是在濱河造成了極大的恐慌，老刑警劉巖绅这，帶你破解...
沈念sama閱讀 218,451評論 6贊 506
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件涣达，死亡現(xiàn)場離奇詭異，居然都是意外死亡证薇，警方通過查閱死者的電腦和手機度苔，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 93,172評論 3贊 394
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來浑度，“玉大人寇窑，你說我怎么就攤上這事÷嵴牛” “怎么了甩骏？”我有些...
開封第一講書人閱讀 164,782評論 0贊 354
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵完残，是天一觀的道長。經(jīng)常有香客問我横漏，道長，這世上最難降的妖魔是什么熟掂？我笑而不...
開封第一講書人閱讀 58,709評論 1贊 294
?港島之戀（遺憾婚禮）
正文為了忘掉前任缎浇，我火速辦了婚禮，結(jié)果婚禮上赴肚，老公的妹妹穿的比我還像新娘素跺。我一直安慰自己，他們只是感情好誉券，可當我...
茶點故事閱讀 67,733評論 6贊 392
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布指厌。她就那樣靜靜地躺著，像睡著了一般踊跟。火紅的嫁衣襯著肌膚如雪踩验。梳的紋絲不亂的頭發(fā)上，一...
開封第一講書人閱讀 51,578評論 1贊 305
城市分裂傳說
那天商玫，我揣著相機與錄音箕憾，去河邊找鬼。笑死拳昌，一個胖子當著我的面吹牛袭异，可吹牛的內(nèi)容都是我干的。我是一名探鬼主播炬藤，決...
沈念sama閱讀 40,320評論 3贊 418
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼御铃，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了沈矿？” 一聲冷哼從身側(cè)響起上真，我...
開封第一講書人閱讀 39,241評論 0贊 276
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎细睡，沒想到半個月后谷羞，有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 45,686評論 1贊 314
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡溜徙，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點故事閱讀 37,878評論 3贊 336
?白月光啟示錄
正文我和宋清朗相戀三年湃缎，在試婚紗的時候發(fā)現(xiàn)自己被綠了。大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片蠢壹。...
茶點故事閱讀 39,992評論 1贊 348
活死人
序言：一個原本活蹦亂跳的男人離奇死亡嗓违，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出图贸，到底是詐尸還是另有隱情蹂季，我是刑警寧澤冕广，帶...
沈念sama閱讀 35,715評論 5贊 346
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布，位于F島的核電站偿洁，受9級特大地震影響撒汉，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜涕滋，卻給世界環(huán)境...
茶點故事閱讀 41,336評論 3贊 330
男人毒藥：我在死后第九天來索命
文/蒙蒙一睬辐、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧宾肺，春花似錦溯饵、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 31,912評論 0贊 22
一樁弒父案丰刊，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽。三九已至增拥，卻和暖如春啄巧，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背掌栅。一陣腳步聲響...
開封第一講書人閱讀 33,040評論 1贊 270
情欲美人皮
我被黑心中介騙來泰國打工棵帽，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留，地道東北人渣玲。一個月前我還...
沈念sama閱讀 48,173評論 3贊 370
代替公主和親
正文我出身青樓逗概，卻偏偏與公主長得像，于是被迫代替她去往敵國和親忘衍。傳聞我的和親對象是個殘疾皇子逾苫，可洞房花燭夜當晚...
茶點故事閱讀 44,947評論 2贊 355