多變量的梯度下降(Gradient descent for multiple variables)

其實(shí)就是把多變量假設(shè)函數(shù)帶入梯度下降算法之中:


梯度運(yùn)算的使用技巧1:特征縮放(feature scaling)

使特征值在一個(gè)相近的范圍袍榆,這樣的話更容易收斂從而更快的找到全局最優(yōu)解剃氧。

Once again宾肺,使特征值在一個(gè)相近的范圍以清,從而使梯度下降更快典格。只要范圍相近就OK廓潜。

歸一化(mean normalization):

特征值的范圍的標(biāo)準(zhǔn)差做分母(也可以是最大值減去最小值),然后每個(gè)特征值減去它們的的平均值做分子余耽。(因?yàn)橹灰沟锰卣髦捣秶嘟蚈K)

目的是使特征在一個(gè)相近的范圍缚柏,更快的收斂。

上圖中的bedrooms特征那里的分母應(yīng)該是4碟贾。但是就算是5币喧,對梯度下降計(jì)算來說影響也不大,因?yàn)樘卣骺s放并不需要非常精確袱耽,只要范圍相近就OK杀餐。


梯度運(yùn)算的使用技巧2:學(xué)習(xí)率(learning rate)α

其實(shí)就是選擇合適的學(xué)習(xí)率α。

查看代價(jià)函數(shù)曲線扛邑,選擇合適的α。

通常選擇合適的閾值ε是相當(dāng)困難的铐然,為了檢查梯度下降算法是否收斂蔬崩,常選擇查看代價(jià)函數(shù)曲線,而不依靠自動收斂測試搀暑。

α過大會導(dǎo)致代價(jià)函數(shù)振蕩或者發(fā)散沥阳,α過小會導(dǎo)致代價(jià)函數(shù)收斂太慢。

為了選擇更好的學(xué)習(xí)率α自点,所以通常選擇相差10倍的值來測試桐罕,然后查看代價(jià)函數(shù)圖,從而找到合理的值桂敛。(下圖中選擇還有3倍的數(shù)字)

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末功炮,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子术唬,更是在濱河造成了極大的恐慌薪伏,老刑警劉巖,帶你破解...
    沈念sama閱讀 219,039評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件粗仓,死亡現(xiàn)場離奇詭異嫁怀,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)借浊,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,426評論 3 395
  • 文/潘曉璐 我一進(jìn)店門塘淑,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人蚂斤,你說我怎么就攤上這事存捺。” “怎么了曙蒸?”我有些...
    開封第一講書人閱讀 165,417評論 0 356
  • 文/不壞的土叔 我叫張陵召噩,是天一觀的道長母赵。 經(jīng)常有香客問我,道長具滴,這世上最難降的妖魔是什么凹嘲? 我笑而不...
    開封第一講書人閱讀 58,868評論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮构韵,結(jié)果婚禮上周蹭,老公的妹妹穿的比我還像新娘。我一直安慰自己疲恢,他們只是感情好凶朗,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,892評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著显拳,像睡著了一般棚愤。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上杂数,一...
    開封第一講書人閱讀 51,692評論 1 305
  • 那天宛畦,我揣著相機(jī)與錄音,去河邊找鬼揍移。 笑死次和,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的那伐。 我是一名探鬼主播踏施,決...
    沈念sama閱讀 40,416評論 3 419
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼罕邀!你這毒婦竟也來了畅形?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,326評論 0 276
  • 序言:老撾萬榮一對情侶失蹤诉探,失蹤者是張志新(化名)和其女友劉穎束亏,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體阵具,經(jīng)...
    沈念sama閱讀 45,782評論 1 316
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡碍遍,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,957評論 3 337
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了阳液。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片怕敬。...
    茶點(diǎn)故事閱讀 40,102評論 1 350
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖帘皿,靈堂內(nèi)的尸體忽然破棺而出东跪,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 35,790評論 5 346
  • 正文 年R本政府宣布虽填,位于F島的核電站丁恭,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏斋日。R本人自食惡果不足惜牲览,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,442評論 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望恶守。 院中可真熱鬧第献,春花似錦、人聲如沸兔港。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,996評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽衫樊。三九已至飒赃,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間科侈,已是汗流浹背载佳。 一陣腳步聲響...
    開封第一講書人閱讀 33,113評論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留兑徘,地道東北人刚盈。 一個(gè)月前我還...
    沈念sama閱讀 48,332評論 3 373
  • 正文 我出身青樓羡洛,卻偏偏與公主長得像挂脑,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個(gè)殘疾皇子欲侮,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,044評論 2 355

推薦閱讀更多精彩內(nèi)容