神經(jīng)網(wǎng)絡是當今最強大的學習算法之一痹愚。本文講述一種在給定訓練集下為神經(jīng)網(wǎng)絡擬合參數(shù)的學習算法逛漫。
術(shù)語
假設我們有一個如左邊所示的 神經(jīng)網(wǎng)絡結(jié)構(gòu) 然后假設我們有一個 像這樣的訓練集 m個訓練樣本x(i) y(i) 司志，我用大寫字母 L 來表示 這個神經(jīng)網(wǎng)絡結(jié)構(gòu)的總層數(shù) 所以 對于下面的網(wǎng)絡結(jié)構(gòu) 我們得到 L等于4 然后我準備用 sl表示 第L層的單元的數(shù)量 也就是神經(jīng)元的數(shù)量 這其中不包括L層的偏差單元 比如說 我們得到s1 也就是輸入層 是等于3的單元 s2在這個例子里等于5個單位 然后輸出層s4羊精，也就是sl 因為L本身等于4 在左邊這個例子中輸出層有4個單位替裆。
對于二元分類問題体谒，y只能等于0或1 在這個例子中 我們有一個輸出單元 上面這個神經(jīng)網(wǎng)絡的有四個輸出單元 但是如果我們 用二元分類的話 我們就只能有一個輸出結(jié)果 也就是計算出來的h(x) 雌隅，h(x)就會是 一個實數(shù)
對于多類分類的問題翻默，如果我們有四類的話 我們就用這樣的表達形式來代表y。在這類問題里 我們就會有K個輸出單元 我們的假設輸出 就是一個K維向量
神經(jīng)網(wǎng)絡代價函數(shù)
我們在神經(jīng)網(wǎng)絡里使用的代價函數(shù)是邏輯回歸里使用的代價函數(shù)的一般化形式澄步，對于邏輯回歸而言我們通常使代價函數(shù) J(θ) 最小化 也就是-1/m 乘以后面這個代價函數(shù)冰蘑，然后再加上這個額外正則化項，這里是一個 j從1到n的求和形式 因為我們 并沒有把偏差項 0正則化
對于神經(jīng)網(wǎng)絡村缸，不再是僅有一個邏輯回歸輸出單元祠肥，取而代之的是K個，所以這是我們的代價函數(shù)神經(jīng)網(wǎng)絡現(xiàn)在輸出了在K維的向量梯皿，這里K可以取到1仇箱，也就是原來的二元分類問題。我準備用這樣一個記法
我的代價函數(shù) J(θ) 將成為這樣的形式 -1/m乘以 一個類似于我們在邏輯回歸里所用的求和項东羹，除了這里我們求的是 k從1到K的所有和剂桥，這個求和項主要是 K個輸出單元的求和 所以如果我有四個輸出單元也就是我的神經(jīng)網(wǎng)絡最后一層，有四個輸出單元属提，那么這個求和就是這個求和項就是 求k等于從1到4的每一個的邏輯回歸算法的代價函數(shù) 权逗，然后按四次輸出的順序 依次把這些代價函數(shù)加起來美尸，最后這里的第二項 這就是類似于我們在邏輯回歸里所用的正則化項。
