以下是臺大林軒田老師講的機(jī)器學(xué)習(xí)基石第10課的學(xué)習(xí)筆記 图谷。
軟性二值分類(soft binary classification)
目標(biāo)函數(shù)
這里我們的二值分類和硬性二值分類的數(shù)據(jù)是一樣的，但是目標(biāo)函數(shù)是不一樣的撕瞧。而軟性二值分類所真正需要的數(shù)據(jù)是跟目標(biāo)函數(shù)一樣的概率抡爹，但是我們收集的數(shù)據(jù)卻是分類的結(jié)果挪圾。
logistic hypothesis
對于提取的特征向量：
計算各個分量的加權(quán)分?jǐn)?shù)，但我們需要把這個分?jǐn)?shù)轉(zhuǎn)化為0-1之間的概率值降淮。（因為我們的目標(biāo)函數(shù)是這個）
用到的轉(zhuǎn)換函數(shù)叫l(wèi)ogistic函數(shù)
這樣我們的logistic hypothesis就是:
而其中的的logistic function(sigmoid函數(shù)就一種)可以為：
sigmoid型函數(shù)表示是一個s型的函數(shù)超埋。
logistic 回歸
作法
用
f(x)=P(y|x)
error measure錯誤衡量
我們這里也要找一個Ein來minimise一下 ，當(dāng)我們的目標(biāo)是一個概率p的時候佳鳖，我們可以用一個特殊的方式霍殴。
這個方式就是最大似然估計的方法，我們假設(shè)目標(biāo)函數(shù)為：
則對于一個數(shù)據(jù)系吩，它取各個值的概率分別為：
那么我們可以從數(shù)據(jù)中取出N個樣本(in sample),觀測它們的分布繁成，我們想要達(dá)到的目標(biāo)是我們的目標(biāo)函數(shù)能夠讓取出這N個觀測的概率盡可能的大，這個就是最大似然估計得到最優(yōu)化的方法淑玫。
用f(x)替換成
用我們的hypothesis替換f:
讓這個可能性最大的g就是我們要找的g
現(xiàn)在我們發(fā)現(xiàn)這個s型的logistic函數(shù)有對稱性
所以我們可以用這個性質(zhì)來簡化優(yōu)化函數(shù)巾腕，因為p(xi)對于所有的h是一樣的，所以沒什么關(guān)系
然后我們用我們的hypothesis的定義式子來替換這個h絮蒿，要找likelihood的最大值尊搬，我們把連乘通過取對數(shù)換成連加，通過帶入logistic函數(shù)最終得到Ein最小化的形式土涝。這個error 衡量我們叫交叉熵錯誤（信息熵的概念）佛寿。
最優(yōu)化
對這個Ein 求梯度為0 的w的值
要想讓這個Ein的梯度小到接近0，就不斷的嘗試 啟發(fā)式搜索 但壮、迭代優(yōu)化（iterative optimization）
v 是方向 η是步頻
每一步都要用貪心的策略冀泻，找一個下降最快的方向
這個優(yōu)化對象不是線性的，我們應(yīng)該使用泰勒展開的形式蜡饵，把公式近似替代為線性的形式
梯度下降法 gradient descent
v的方向取梯度的反方向
η 應(yīng)該和梯度的大小成比例弹渔，這樣才能最終收斂。這樣和v的分母抵消溯祸，最后形成定值學(xué)習(xí)率(fixed learning rate )
下面是logistic 回歸算法用梯度下降法做優(yōu)化
