機器學(xué)習(xí)-Logistic回歸

簡介

Logistic回歸是機器學(xué)習(xí)中最常用最經(jīng)典的分類方法之一芥丧,有的人稱為邏輯回歸或邏輯斯蒂回歸宪摧。雖然它稱為回歸模型,但是卻處理的是分類問題宏赘,這主要是因為它的本質(zhì)是一個線性模型加上一個映射函數(shù)sigmoid奈泪,將線性模型得到的連續(xù)結(jié)果映射到離散型上适贸。它常用于二分類問題,在多分類問題的推廣叫做softmax段磨。

注:以下圖片或者公式取自不同地方取逾,所以符號有所不同,我會在每個公式或圖片下說明不同符號代表的意思苹支。

Logisitc回歸

由于Logistic回歸是將線性模型的輸出θx+b經(jīng)過f(z)數(shù)處理后,映射到離散值上形成分類問題误阻,所以我們可以假設(shè)分類值y={0债蜜,1},所以Logistic回歸模型可以寫成:h(x)=f(θx+b) 究反,也就是當(dāng)θx+b的值大于0時h(x)=+1寻定,當(dāng)θx+b的值小于0時h(x)=-1。但是這樣的f(z)函數(shù)稱為單位階躍函數(shù)精耐,但是它的數(shù)學(xué)性質(zhì)不好狼速,不連續(xù)也不方便求導(dǎo),所以我們使用它的替代函數(shù)sigmoid函數(shù)也叫s型函數(shù)卦停,我們用g(x)表示向胡。這樣線性模型的輸出經(jīng)過sigmoid的映射就變成了求出樣本屬于哪一類別的概率,即θx+b大于0的話惊完,那么樣本屬于分類1的概率大一點僵芹,如果θx+b小于0的話就是樣本屬于1的概率小屬于類別0的概率大一些。圖1是單位階躍函數(shù)(紅線)與sigmoid函數(shù)(黑線)小槐。

圖1

sigmoid的函數(shù)表達式為:

圖2

其中z在Logistic回歸中就是θx+b拇派。那么為什么要用sigmoid函數(shù)呢?

sigmoid函數(shù)

從概率的角度看Logistic回歸凿跳,如果將樣本分為正類的概率看成h(x)件豌,那么分為負類的概率就是1-h(x),則Logistic回歸模型的概率表達式符合0-1分布:

圖3

對上式結(jié)合就是Logistic回歸的概率分布函數(shù)控嗜,也就是從概率角度的目標(biāo)函數(shù):

圖4

我們對該式進行變換茧彤,可以得到指數(shù)族分布,最后可以得出函數(shù)h(x)就是sigmoid函數(shù)躬审。以下是推導(dǎo)過程:

圖5

其中圖5中的p是圖4中的h(x)棘街,而圖5的z是線性模型的輸出θx+b蟆盐。這樣從指數(shù)族分布就可以推出sigmoid函數(shù)。換一個思路遭殉,我們將一個事件發(fā)生的概率p與其不發(fā)生的概率1-p的比值叫做幾率石挂,對其取對數(shù)后稱為對數(shù)幾率(logit):

圖6

令它等于線性函數(shù)θx+b,最后也可以推出p就是sigmoid函數(shù)险污,也就是圖5的后半段痹愚,這樣說明了sigmoid函數(shù)的值是概率值。另外蛔糯,如果我們不讓對數(shù)幾率函數(shù)等于線性函數(shù)拯腮,讓他等于其他的函數(shù)呢?這也是可以的蚁飒,只不過是sigmoid函數(shù)中z的表達方式改變而已动壤。

求解Logistic回歸模型參數(shù)

我們重新整理一下Logistic回歸的目標(biāo)函數(shù),他的最終形式為:

圖7

因為這是一個概率問題淮逻,所以我們可以使用極大似然估計的方式求解Logistic回歸的參數(shù)θ琼懊。以下是求導(dǎo)過程:

圖8

其中g(shù)()函數(shù)是sigmoid函數(shù),它的導(dǎo)數(shù)為:

圖9

這樣圖8得到的結(jié)果就是關(guān)于θ的梯度爬早,我們通過梯度提升算法(因為目標(biāo)函數(shù)是最大似然估計哼丈,求極大值所以用梯度上升,如果想用梯度下降筛严,可以對似然函數(shù)取負就是求極小值)更新θ醉旦,最后就求出Logistic回歸模型的參數(shù)θ,這與線性回歸方法相同(有沒有發(fā)現(xiàn)他們的更新梯度的目標(biāo)函數(shù)也相同)桨啃。

圖10

以上就是Logistic回歸模型的建立與參數(shù)估計過程车胡,下面我們要說一下他在多分類問題中的推廣----softmax回歸。

softmax

softmax與Logistic回歸的主要區(qū)別就是优幸,Logistic處理二分類問題吨拍,只有一組權(quán)重參數(shù)θ。而softmax處理多分類問題网杆,如果有k個類別羹饰,那么softmax就有k組權(quán)值參數(shù)。每組權(quán)值對應(yīng)一種分類碳却,通過k組權(quán)值求解出樣本數(shù)據(jù)對應(yīng)每個類別的概率队秩,最后取概率最大的類別作為該數(shù)據(jù)的分類結(jié)果。它的概率函數(shù)為:

圖11

softmax經(jīng)常用于神經(jīng)網(wǎng)絡(luò)的最后一層昼浦,用于對神經(jīng)網(wǎng)絡(luò)已經(jīng)處理好的特征進行分類馍资。

個人實現(xiàn)了一個二分類的邏輯回歸,并與sklearn中的logistic回歸做對比:

圖12

數(shù)據(jù)只使用了鳶尾花數(shù)據(jù)的0/1兩個類別关噪,由于本代碼實現(xiàn)的比較簡單鸟蟹,只能處理類別為0/1的數(shù)據(jù)乌妙,有興趣的朋友可以自己做補充,本代碼只做參考建钥。

詳細代碼可參考Github:代碼鏈接

參考書籍:

《機器學(xué)習(xí)》 周志華? 著

《統(tǒng)計學(xué)習(xí)方法》 李航? 著

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末藤韵,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子熊经,更是在濱河造成了極大的恐慌泽艘,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,729評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件镐依,死亡現(xiàn)場離奇詭異匹涮,居然都是意外死亡,警方通過查閱死者的電腦和手機槐壳,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,226評論 3 399
  • 文/潘曉璐 我一進店門然低,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人务唐,你說我怎么就攤上這事脚翘。” “怎么了绍哎?”我有些...
    開封第一講書人閱讀 169,461評論 0 362
  • 文/不壞的土叔 我叫張陵,是天一觀的道長鞋真。 經(jīng)常有香客問我崇堰,道長,這世上最難降的妖魔是什么涩咖? 我笑而不...
    開封第一講書人閱讀 60,135評論 1 300
  • 正文 為了忘掉前任海诲,我火速辦了婚禮,結(jié)果婚禮上檩互,老公的妹妹穿的比我還像新娘特幔。我一直安慰自己,他們只是感情好闸昨,可當(dāng)我...
    茶點故事閱讀 69,130評論 6 398
  • 文/花漫 我一把揭開白布蚯斯。 她就那樣靜靜地躺著,像睡著了一般饵较。 火紅的嫁衣襯著肌膚如雪拍嵌。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,736評論 1 312
  • 那天循诉,我揣著相機與錄音横辆,去河邊找鬼。 笑死茄猫,一個胖子當(dāng)著我的面吹牛狈蚤,可吹牛的內(nèi)容都是我干的困肩。 我是一名探鬼主播,決...
    沈念sama閱讀 41,179評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼脆侮,長吁一口氣:“原來是場噩夢啊……” “哼锌畸!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起他嚷,我...
    開封第一講書人閱讀 40,124評論 0 277
  • 序言:老撾萬榮一對情侶失蹤蹋绽,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后筋蓖,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體卸耘,經(jīng)...
    沈念sama閱讀 46,657評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,723評論 3 342
  • 正文 我和宋清朗相戀三年粘咖,在試婚紗的時候發(fā)現(xiàn)自己被綠了蚣抗。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,872評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡瓮下,死狀恐怖翰铡,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情讽坏,我是刑警寧澤锭魔,帶...
    沈念sama閱讀 36,533評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站路呜,受9級特大地震影響迷捧,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜胀葱,卻給世界環(huán)境...
    茶點故事閱讀 42,213評論 3 336
  • 文/蒙蒙 一漠秋、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧抵屿,春花似錦庆锦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,700評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至朝群,卻和暖如春燕耿,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背姜胖。 一陣腳步聲響...
    開封第一講書人閱讀 33,819評論 1 274
  • 我被黑心中介騙來泰國打工誉帅, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 49,304評論 3 379
  • 正文 我出身青樓蚜锨,卻偏偏與公主長得像档插,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子亚再,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,876評論 2 361

推薦閱讀更多精彩內(nèi)容