Python復(fù)現(xiàn),使用了隨機(jī)梯度下降法蓄拣,梯度下降法扬虚,adagrad和對(duì)偶形式四種算法:
舟曉南:感知機(jī)模型python復(fù)現(xiàn) - 隨機(jī)梯度下降法;梯度下降法球恤;adagrad辜昵;對(duì)偶形式
在《統(tǒng)計(jì)學(xué)習(xí)方法》的感知機(jī)算法章節(jié)中,作者提出了一個(gè)問題咽斧,即如何證明一個(gè)線性可分的數(shù)據(jù)集堪置,可以在有限次的迭代后得到這個(gè)分離超平面。我們稱在有限次迭代后獲得分離超平面的性質(zhì)為感知機(jī)算法的收斂性张惹。對(duì)于一個(gè)線性不可分的數(shù)據(jù)集晋柱,感知機(jī)模型將進(jìn)入無法收斂的狀態(tài),即無法獲得一個(gè)可以將所有實(shí)例正確分類的分離超平面诵叁,而是在迭代過程中進(jìn)入震蕩。
算法的收斂性:
感知機(jī)模型:?
首先為了計(jì)算方便钦椭,將b并入權(quán)重向量w拧额,記作 侥锦,同樣輸入向量也需要相應(yīng)地?cái)U(kuò)充进栽,記作 恭垦。
證明1:
設(shè)訓(xùn)練集線性可分,那么存在超平面可將訓(xùn)練集完全正確分開玄柏,此超平面設(shè)為:
在我的另一篇關(guān)于感知機(jī)的文章:
舟曉南:統(tǒng)計(jì)學(xué)習(xí)方法 - 感知機(jī)模型解讀 | 數(shù)據(jù)分析襟衰,機(jī)器學(xué)習(xí),學(xué)習(xí)歷程全記錄
中提到作為函數(shù)間隔可以等比例放大縮小粪摘,因此這里為了方便可以將放大縮小至 瀑晒。
因?yàn)楸徽_分類的實(shí)例有:
且i有限(實(shí)例的數(shù)量有限),因此在中存在一個(gè)最小值徘意,設(shè)此最小值為γ:
那么對(duì)于所有實(shí)例來說苔悦,都有不等式(1):
證明2:
因?yàn)楦兄獧C(jī)算法從初始權(quán)重向量開始,可令是第k個(gè)誤分類實(shí)例之前的擴(kuò)充權(quán)重向量椎咧,且(xi,yi)是被其誤分類的樣本點(diǎn)玖详。
對(duì)于誤分類的實(shí)例,滿足:
經(jīng)過損失函數(shù)求導(dǎo)得到梯度后邑退,w可進(jìn)行更新:
那么利用不等式(1)可得:
由此可推得不等式(2):
接著竹宋,因?yàn)閷?shí)例有限,即i有限地技,我們可以定義 蜈七,在此基礎(chǔ)上計(jì)算 :
因?yàn)?xi, yi)是誤分類項(xiàng),所以 為負(fù)莫矗,且 ,所以可推得不等式(3):
結(jié)合不等式(2)和不等式(3)作谚,及 的前提條件三娩,可得:
關(guān)于上式這個(gè)部分為柯西-施瓦茲不等式,可自行查看證明過程妹懒。
通過上式可得:
定理表明雀监,誤分類的次數(shù)k是有上界的,經(jīng)過有限次搜索可以找到將訓(xùn)練數(shù)據(jù)完全正確分開的分離超平面涨享。也就是說控淡,當(dāng)訓(xùn)練數(shù)據(jù)集線性可分時(shí),感知機(jī)學(xué)習(xí)算法原始形式迭代是收斂的绰沥。
我是舟曉南瓦宜,關(guān)注我的同名 公眾號(hào) 和 知乎蔚万,發(fā)掘更多內(nèi)容哦
對(duì)機(jī)器學(xué)習(xí),深度學(xué)習(xí)临庇,python感興趣反璃,歡迎關(guān)注專欄,學(xué)習(xí)筆記已原創(chuàng)70+篇假夺,持續(xù)更新中~ ^_^
學(xué)習(xí)筆記:數(shù)據(jù)分析淮蜈,機(jī)器學(xué)習(xí),深度學(xué)習(xí)
專欄文章舉例:
記錄一下工作中用到的少有人知的pandas騷操作悼尾,提升工作效率 - 知乎 (zhihu.com)
關(guān)于切片時(shí)不考慮最后一個(gè)元素以及為什么從0開始計(jì)數(shù)的問題 - 知乎 (zhihu.com)
關(guān)于轉(zhuǎn)行:
舟曉南:如何轉(zhuǎn)行和學(xué)習(xí)數(shù)據(jù)分析 | 工科生三個(gè)月成功轉(zhuǎn)行數(shù)據(jù)分析心得淺談
舟曉南:求職數(shù)據(jù)分析師崗位柿扣,簡(jiǎn)歷應(yīng)該如何寫?|工科生三個(gè)月成功轉(zhuǎn)行數(shù)據(jù)分析心得淺談
我建了個(gè)數(shù)據(jù)分析闺魏,機(jī)器學(xué)習(xí)未状,深度學(xué)習(xí)的群~ 需要學(xué)習(xí)資料,想要加入社群均可私信~
在群里我會(huì)不定期分享各種數(shù)據(jù)分析相關(guān)資源析桥,技能學(xué)習(xí)技巧和經(jīng)驗(yàn)等等~
詳情私信司草,一起進(jìn)步吧!