前言
要理解神經(jīng)網(wǎng)絡(luò)計(jì)算女揭,我們應(yīng)該簡(jiǎn)化問(wèn)題蚤假,簡(jiǎn)化系統(tǒng)。所以我們先從只有一個(gè)神經(jīng)元的情況入手吧兔,另外為了繼續(xù)簡(jiǎn)化磷仰,我們將神經(jīng)元的輸出定以為二元輸出,即1或0 境蔼。這樣就將單一的神經(jīng)元學(xué)習(xí)問(wèn)題轉(zhuǎn)化為二值邏輯回歸問(wèn)題(Binary Logistic Regression)
二值邏輯回歸問(wèn)題
為了更好的理解邏輯回歸灶平,我們先用數(shù)學(xué)歸納法的方式,從一元線(xiàn)性回歸開(kāi)始箍土,逐漸擴(kuò)展到n元回歸逢享。
一元線(xiàn)性回歸
一元線(xiàn)性回歸簡(jiǎn)而言之就是在二維平面的坐標(biāo)體系下,給定m個(gè)數(shù)據(jù)點(diǎn)吴藻,即 瞒爬,找到一個(gè)最能代表這些數(shù)據(jù)點(diǎn)的直線(xiàn),即所有數(shù)據(jù)到達(dá)該直線(xiàn)的距離之和為最小调缨。為了用數(shù)學(xué)語(yǔ)言精確表達(dá)疮鲫,我們先定義以下數(shù)據(jù)集:
我們的目標(biāo)就是找一條直線(xiàn):
即最終通過(guò)這個(gè)數(shù)據(jù)集找到最優(yōu)的 和 b,為此我們需要定一個(gè)代價(jià)函數(shù)(Cost Function),為了表示上文的 “所有數(shù)據(jù)到達(dá)該直線(xiàn)的距離之和為最小”弦叶, 代價(jià)函數(shù)這樣定義:
通常在統(tǒng)計(jì)學(xué)中俊犯,解決一元線(xiàn)性回歸問(wèn)題,即為了讓上面的 達(dá)到最小伤哺, 一般是用最小二乘法燕侠,即對(duì)
求
和 b的偏導(dǎo)數(shù),當(dāng)偏導(dǎo)數(shù)等于0的時(shí)候立莉,建立方程組求出具體的
和 b的值绢彤,即
但是在這里為了給深度學(xué)習(xí)做準(zhǔn)備,我們準(zhǔn)備用梯度下降法來(lái)求最佳的 和 b蜓耻,梯度下降法的好處是很方便編寫(xiě)代碼求出期望的參數(shù)茫舶。首先給
和 b設(shè)定初始值,再給定一個(gè)學(xué)習(xí)比率(learning rate)
, 通過(guò)以下遞歸式刹淌,經(jīng)過(guò)一定次數(shù)的迭代得到最終的期望的參數(shù):