李宏毅機器學習課程(持續(xù)更新逆皮。由蘑。。)

前言

雖然現(xiàn)在都在搞深度學習帮碰,但是總覺得之前機器學習的很多基礎算法并沒有掌握好相味,于是專門搜了李宏毅老師的機器學習課程(我的是官網(wǎng)的課程,是在YouTube上看的殉挽,沒法上YouTube的話丰涉,b站上也有一樣的視頻拓巧,老師19年又新增了一些課程,而且還沒更新完一死,附上課程ppt)肛度,打算每周看一些,算是溫故而知新吧投慈,而且說不定會給我現(xiàn)在的課題帶來些靈感贤斜。

第一課——Regression

老師用寶可夢作為例子,用進化前的CP值和進化后的CP值做一個回歸模型逛裤,真的是太生動有趣了,先用最原始一次方程來擬合猴抹,然后逐漸用高次方程带族,還提出了評判模型好壞的方法——損失函數(shù),
損失函數(shù)

老師在視頻中用的是均方誤差函數(shù)蟀给,還提了調(diào)整模型中參數(shù)的方法——梯度下降蝙砌,
梯度下降法

這兩個我都理解,但引起我注意的是跋理,老師說\color{#4169E1}{在線性回歸中用均方誤差作為損失函數(shù)是不會有局部最小值的择克!}

image.png
這個我之前是不知道的也從沒想過,所以才看到的時候很震驚前普,遂google之肚邢,找到了答案[1]
image.png
image.png
從圖中可以很明顯地看出只有一個最小值,所以不存在局部最小值或者說只有一個局部最小值拭卿。
除了上面還有一個盲區(qū)就是骡湖,
正則化
老師說正則化可以使的模型對輸入沒那么敏感,所以對噪聲也就沒那么敏感峻厚,從而提升性能响蕴。
找到了一篇很好的正則化說明[2],里面說的很詳細惠桃。
image.png

第二課——Gradient Descent

這節(jié)課老師主要講了三個內(nèi)容

  • Adaptive Learning Rate
  • Stochastic Gradient Descent
  • Feature Scaling
    雖然每一個我都聽過浦夷,但每一個我都不熟悉,除了第二個還可以辜王,所以下周應該會把第一和第三個了解清楚劈狐,有機會在程序中使用一下。

第三課——ML Lecture 2: Where does the error come from?

昨晚又看完了第三課呐馆,想著趕快整理一下懈息,不然又忘了。其實我沒有做很多筆記摹恰,而且老師講的很多都是例子辫继,所以我只挑了重點記錄怒见。

錯誤主要主要表現(xiàn)在兩個指標上——偏差和方差。

image.png
找到了一篇講的非常好的知乎專欄姑宽,我理解的偏差就是一個模型的預測值的平均值與真實值的差(但是很多文章中都寫成平方的形式遣耍,所以我有點不確定我所說的偏差是不是就是平方形式的呢,這個形式有點像均方誤差的樣子了炮车。)
image.png
方差就是不同模型的所有預測值與其平均值的差的平方和舵变,再求平均值。公式如下
image.png
其中
image.png
是預測值的平均值瘦穆。
知道這兩個指標是為了評定模型是否擬合良好纪隙,高偏差說明模型欠擬合;低偏差高方差說明模型過擬合扛或。
欠擬合與過擬合
偏差-方差dilemma
就是說當模型的擬合能力不夠強(欠擬合)時绵咱,模型無法根據(jù)訓練數(shù)據(jù)給出靠譜的預測數(shù)據(jù),可能預測值分布的七零八落(低方差)熙兔,也可能分布的很集中(高方差)悲伶,但是預測值離真實值都很遠,這時候就表現(xiàn)為高偏差住涉。
當模型擬合能力特別特別強(過擬合)時麸锉,模型可以根據(jù)自己訓練數(shù)據(jù)給出幾乎正確的預測值(訓練集上低偏差),但這樣就好了嗎舆声?并不是花沉,因為當你用測試數(shù)據(jù)去驗證模型的時候,就會發(fā)現(xiàn)預測值還是和真實值相去甚遠(測試集上高偏差)媳握。所以說我之前的觀念(劃刪除線的地方)是錯的主穗,看這篇文章就清楚了。
image.png

這里有篇論文毙芜,等我再遇到偏差方差問題時看看忽媒。

訓練集、驗證集和測試集

以前我也知道有這三個數(shù)據(jù)集腋粥,但是不明白為什么非要分出驗證集晦雨,現(xiàn)在大概懂了。如果只有訓練集和測試集隘冲,我們用訓練集來訓練模型闹瞧,用測試集來調(diào)整模型,那對于訓練集和測試集之外的數(shù)據(jù)展辞,也就是完全沒見過的數(shù)據(jù)奥邮,模型可能并不會表現(xiàn)得很好。所以我們從訓練集中分出一個驗證集(驗證集不參與模型的訓練),然后用訓練集訓練模型洽腺,用驗證集來微調(diào)模型脚粟,用測試集來測試模型,結(jié)果反映的就是模型在未見過的樣本上的性能了蘸朋。但是很難控制自己不根據(jù)測試集再來調(diào)整模型核无,如果又根據(jù)測試集調(diào)整了,那就和沒分驗證集一樣了藕坯。

第十二課————ML Lecture 12: Semi-supervised

)
這節(jié)課講了半監(jiān)督团南,而且半監(jiān)督在NLP中貌似還用的挺多的,視頻中講了幾個方法:

Adversarial Learning(忘了多少課了)

image.png

新增課程

Anomaly Detection(異常檢測)

將數(shù)據(jù)分為正常值和異常值,用正常值的訓練集來訓練一個模型辐马,模型的輸出就是分類的概率拷橘。給模型一個新的輸入,若輸出值大于某個閾值齐疙,則屬于正常值,反之旭咽,屬于異常值贞奋。
檢測異常值的方法:

  • 普通的神經(jīng)網(wǎng)絡
  • 最大似然估計:通過已經(jīng)觀測到的數(shù)據(jù),來推斷什么樣的參數(shù)使得產(chǎn)生這些數(shù)據(jù)的可能性最大穷绵,求得模型的參數(shù)
  • 自編碼器:訓練一個自編碼器轿塔,使得輸入和輸出一模一樣,這樣的話仲墨,給該模型輸入后勾缭,得到輸出,比較輸入和輸出的相似性目养,若是正常值俩由,會盡可能的像,若是異常值癌蚁,則可能不像幻梯。

參考資料

[1] 線性回歸
[2] 機器學習中正則化項L1和L2的直觀理解
[3] 偏差(Bias)與方差(Variance)
[4] 機器學習泛化問題之偏差和方差
[5] Understanding the Bias-Variance Tradeoff

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市努释,隨后出現(xiàn)的幾起案子碘梢,更是在濱河造成了極大的恐慌,老刑警劉巖伐蒂,帶你破解...
    沈念sama閱讀 222,865評論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件煞躬,死亡現(xiàn)場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機恩沛,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,296評論 3 399
  • 文/潘曉璐 我一進店門在扰,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人复唤,你說我怎么就攤上這事健田。” “怎么了佛纫?”我有些...
    開封第一講書人閱讀 169,631評論 0 364
  • 文/不壞的土叔 我叫張陵妓局,是天一觀的道長。 經(jīng)常有香客問我呈宇,道長好爬,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,199評論 1 300
  • 正文 為了忘掉前任甥啄,我火速辦了婚禮存炮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘蜈漓。我一直安慰自己穆桂,他們只是感情好,可當我...
    茶點故事閱讀 69,196評論 6 398
  • 文/花漫 我一把揭開白布融虽。 她就那樣靜靜地躺著享完,像睡著了一般。 火紅的嫁衣襯著肌膚如雪有额。 梳的紋絲不亂的頭發(fā)上般又,一...
    開封第一講書人閱讀 52,793評論 1 314
  • 那天,我揣著相機與錄音巍佑,去河邊找鬼茴迁。 笑死,一個胖子當著我的面吹牛萤衰,可吹牛的內(nèi)容都是我干的堕义。 我是一名探鬼主播,決...
    沈念sama閱讀 41,221評論 3 423
  • 文/蒼蘭香墨 我猛地睜開眼脆栋,長吁一口氣:“原來是場噩夢啊……” “哼胳螟!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起筹吐,我...
    開封第一講書人閱讀 40,174評論 0 277
  • 序言:老撾萬榮一對情侶失蹤糖耸,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后丘薛,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體嘉竟,經(jīng)...
    沈念sama閱讀 46,699評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,770評論 3 343
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了舍扰。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片倦蚪。...
    茶點故事閱讀 40,918評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖边苹,靈堂內(nèi)的尸體忽然破棺而出陵且,到底是詐尸還是另有隱情,我是刑警寧澤个束,帶...
    沈念sama閱讀 36,573評論 5 351
  • 正文 年R本政府宣布慕购,位于F島的核電站,受9級特大地震影響茬底,放射性物質(zhì)發(fā)生泄漏沪悲。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 42,255評論 3 336
  • 文/蒙蒙 一阱表、第九天 我趴在偏房一處隱蔽的房頂上張望殿如。 院中可真熱鬧,春花似錦最爬、人聲如沸涉馁。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,749評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽烤送。三九已至,卻和暖如春蒜鸡,著一層夾襖步出監(jiān)牢的瞬間胯努,已是汗流浹背牢裳。 一陣腳步聲響...
    開封第一講書人閱讀 33,862評論 1 274
  • 我被黑心中介騙來泰國打工逢防, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人蒲讯。 一個月前我還...
    沈念sama閱讀 49,364評論 3 379
  • 正文 我出身青樓忘朝,卻偏偏與公主長得像,于是被迫代替她去往敵國和親判帮。 傳聞我的和親對象是個殘疾皇子局嘁,可洞房花燭夜當晚...
    茶點故事閱讀 45,926評論 2 361

推薦閱讀更多精彩內(nèi)容