最簡單的回歸是線性回歸音半,線性回歸是求均值,所以所有點(diǎn)的敏感度都一樣贡蓖,因此曹鸠,容易被比較遠(yuǎn)的點(diǎn)引導(dǎo)走偏。所以斥铺,線性回歸魯棒性較差彻桃,采用邏輯回歸。
邏輯回歸的優(yōu)點(diǎn):靠近分界線時比較敏感晾蜘,離得遠(yuǎn)時敏感度較差邻眷,所以不容易走偏。
邊界的形式如下表示
構(gòu)造預(yù)測函數(shù)為
表示他們?yōu)?的概率
看這個公式剔交,當(dāng)θTx 為0時耗溜,hθ(x)為1/2,也就是邊界的點(diǎn)省容,當(dāng)靠近邊界的時候抖拴,敏感度變大。
下面為怎么通過概率影響敏感度
對于輸入x分類結(jié)果為類別1和類別0的概率分別為
也就是
取似然函數(shù)為:
對數(shù)似然函數(shù)為:
因?yàn)槌肆艘粋€負(fù)的系數(shù)-1/m蛉鹿,所以取
梯度下降法求的最小值
θ更新過程:
θ更新過程可以寫成:
****