機器學習第五課_梯度下降法

機器學習就是需找一種函數(shù)f(x)并進行優(yōu)化滤愕, 且這種函數(shù)能夠做預測厂僧、分類鸟召、生成等工作胆绊。

那么其實可以總結出關于“如何找到函數(shù)f(x)”的方法論∨纺迹可以看作是機器學習的“三板斧”:

第一步:定義一個函數(shù)集合(define a function set)

第二步:判斷函數(shù)的好壞(goodness of a function)

第三步:選擇最好的函數(shù)(pick the best one)

我們先把目光放在第三步上:How to pick the best one ? 我們的目標是讓損失函數(shù)最小化压状。這就引出了下面需要介紹的方法:梯度下降是目前機器學習、深度學習解決最優(yōu)化問題的算法中跟继,最核心种冬、應用最廣的方法。

1舔糖、為什么我們需要梯度下降算法:

?如果我們拋開具體場景碌廓,僅從數(shù)學抽象的角度來看:每個模型都有自己的損失函數(shù),不管是監(jiān)督式學習還是非監(jiān)督式學習剩盒。損失函數(shù)包含了若干個位置的模型參數(shù),比如在多元線性回歸中,損失函數(shù):??辽聊,其中向量表示未知的模型參數(shù)纪挎,我們就是要找到使損失函數(shù)盡可能小的參數(shù)未知模型參數(shù)。

在學習簡單線性回歸時跟匆,我們使用最小二乘法來求損失函數(shù)的最小值异袄,但是這只是一個特例。在絕大多數(shù)的情況下玛臂,損失函數(shù)是很復雜的(比如邏輯回歸)烤蜕,根本無法得到參數(shù)估計值的表達式。因此需要一種對大多數(shù)函數(shù)都適用的方法迹冤。這就引出了梯度算法讽营。

首先梯度下降(GradientDescent, GD),不是一個機器學習算法泡徙,而是一種基于搜索的最優(yōu)化方法橱鹏。梯度下降(GradientDescent, GD)優(yōu)化算法,其作用是用來對原始模型的損失函數(shù)進行優(yōu)化堪藐,以便尋找到最優(yōu)的參數(shù)莉兰,使得損失函數(shù)的值最小。

要找到使損失函數(shù)最小化的參數(shù)礁竞,如果純粹靠試錯搜索糖荒,比如隨機選擇1000個值,依次作為某個參數(shù)的值模捂,得到1000個損失值捶朵,選擇其中那個讓損失值最小的值,作為最優(yōu)的參數(shù)值枫绅,那這樣太笨了泉孩。我們需要更聰明的算法,從損失值出發(fā)并淋,去更新參數(shù)寓搬,且要大幅降低計算次數(shù)。

梯度下降算法作為一個聰明很多的算法县耽,抓住了參數(shù)與損失值之間的導數(shù)句喷,也就是能夠計算梯度(gradient),通過導數(shù)告訴我們此時此刻某參數(shù)應該朝什么方向兔毙,以怎樣的速度運動唾琼,能安全高效降低損失值,朝最小損失值靠攏澎剥。

2锡溯、理解梯度下降算法

?既然是選擇一個方向下山,那么這個方向怎么選?每次該怎么走祭饭?選方向在算法中是以隨機方式給出的芜茵,這也是造成有時候走不到真正最低點的原因。如果選定了方向倡蝙,以后每走一步九串,都是選擇最陡的方向,直到最低點寺鸥≈砼ィ總結起來就一句話:隨機選擇一個方向,然后每次邁步都選擇最陡的方向胆建,直到這個方向上能達到的最低點烤低。

梯度算法有一個比較致命的問題:

從理論上,它只能保證達到局部最低點眼坏,而非全局最低點拂玻。在很多復雜函數(shù)中有很多極小值點,我們使用梯度下降法只能得到局部最優(yōu)解宰译,而不能得到全局最優(yōu)解檐蚜。那么對應的解決方案如下:首先隨機產(chǎn)生多個初始參數(shù)集,即多組沿侈;然后分別對每個初始參數(shù)集使用梯度下降法闯第,直到函數(shù)值收斂于某個值;最后從這些值中找出最小值缀拭,這個找到的最小值被當作函數(shù)的最小值咳短。當然這種方式不一定能找到全局最優(yōu)解,但是起碼能找到較好的蛛淋。對于梯度下降來說咙好,初始點的位置,也是一個超參數(shù)褐荷。

總結:

?在機器學習的“三板斧”中勾效,第三步的目標是讓損失函數(shù)最小化,從而引出了梯度下降法叛甫,這一目前機器學習层宫、深度學習解決最優(yōu)化問題的算法中,最核心其监、應用最廣的方法萌腿。所謂梯度下降,是一種基于搜索的最優(yōu)化方法抖苦,其作用是用來對原始模型的損失函數(shù)進行優(yōu)化毁菱,找到使損失函數(shù)(局部)最小的參數(shù)米死。

首先對梯度下降有一個整體的印象:梯度是向量,是多元函數(shù)的導數(shù)鼎俘,指向誤差值增加最快的方向哲身。我們沿著梯度的反方向進行線性搜索,從而減少誤差值贸伐,是為梯度下降。然后我們通過“下山”這樣的模擬場景怔揩,以及嚴謹?shù)臄?shù)據(jù)公式推導深刻理解了梯度下降算法捉邢,并引出了學習率的概念。最后我們給出了梯度下降方法的不足和改進方法商膊。

?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末伏伐,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子晕拆,更是在濱河造成了極大的恐慌藐翎,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,839評論 6 482
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件实幕,死亡現(xiàn)場離奇詭異吝镣,居然都是意外死亡,警方通過查閱死者的電腦和手機昆庇,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,543評論 2 382
  • 文/潘曉璐 我一進店門末贾,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人整吆,你說我怎么就攤上這事拱撵。” “怎么了表蝙?”我有些...
    開封第一講書人閱讀 153,116評論 0 344
  • 文/不壞的土叔 我叫張陵拴测,是天一觀的道長。 經(jīng)常有香客問我府蛇,道長集索,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 55,371評論 1 279
  • 正文 為了忘掉前任欲诺,我火速辦了婚禮抄谐,結果婚禮上,老公的妹妹穿的比我還像新娘扰法。我一直安慰自己蛹含,他們只是感情好,可當我...
    茶點故事閱讀 64,384評論 5 374
  • 文/花漫 我一把揭開白布塞颁。 她就那樣靜靜地躺著浦箱,像睡著了一般吸耿。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上酷窥,一...
    開封第一講書人閱讀 49,111評論 1 285
  • 那天咽安,我揣著相機與錄音,去河邊找鬼蓬推。 笑死妆棒,一個胖子當著我的面吹牛护侮,可吹牛的內(nèi)容都是我干的禾怠。 我是一名探鬼主播,決...
    沈念sama閱讀 38,416評論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼振愿,長吁一口氣:“原來是場噩夢啊……” “哼毅糟!你這毒婦竟也來了红选?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 37,053評論 0 259
  • 序言:老撾萬榮一對情侶失蹤姆另,失蹤者是張志新(化名)和其女友劉穎喇肋,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體迹辐,經(jīng)...
    沈念sama閱讀 43,558評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡蝶防,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,007評論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了右核。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片慧脱。...
    茶點故事閱讀 38,117評論 1 334
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖贺喝,靈堂內(nèi)的尸體忽然破棺而出菱鸥,到底是詐尸還是另有隱情,我是刑警寧澤躏鱼,帶...
    沈念sama閱讀 33,756評論 4 324
  • 正文 年R本政府宣布氮采,位于F島的核電站,受9級特大地震影響染苛,放射性物質(zhì)發(fā)生泄漏鹊漠。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,324評論 3 307
  • 文/蒙蒙 一茶行、第九天 我趴在偏房一處隱蔽的房頂上張望躯概。 院中可真熱鬧,春花似錦畔师、人聲如沸娶靡。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,315評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽姿锭。三九已至塔鳍,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間呻此,已是汗流浹背轮纫。 一陣腳步聲響...
    開封第一講書人閱讀 31,539評論 1 262
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留焚鲜,地道東北人掌唾。 一個月前我還...
    沈念sama閱讀 45,578評論 2 355
  • 正文 我出身青樓,卻偏偏與公主長得像恃泪,于是被迫代替她去往敵國和親郑兴。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 42,877評論 2 345

推薦閱讀更多精彩內(nèi)容