簡介
什么是感知機(jī)堪藐？
感知機(jī)是二分類的線性分類模型，其輸入為實例的特征向量礁竞，輸出為實例的類別，取+1和-1二值捶朵。
本章介紹：感知機(jī)模型->感知機(jī)的學(xué)習(xí)策略(損失函數(shù))->感知機(jī)學(xué)習(xí)算法(包括原始形式和對偶形式)
2.1 感知機(jī)模型
f(x)=sign(wx+b),其中w表示權(quán)值（weight vector）,b表示偏置（bias）,sign表示符號函數(shù)（+1和-1二值）狂男。
感知機(jī)的性質(zhì)？
感知機(jī)是一種線性分類模型红碑，屬于判別模型泡垃；
感知機(jī)的假設(shè)空間是定義在特征空間中的所有線性分類模型或線性分類器，即函數(shù)集合{f|f(x)=wx+b}
感知機(jī)的幾何解釋：
對于特征空間R(n)中的超平面S兔毙，w是超平面的法向量，b是超平面的截距锡溯；
感知機(jī)的學(xué)習(xí)，由訓(xùn)練數(shù)據(jù)集通過梯度下降的算法來獲得感知機(jī)模型芜茵，即w和b倡蝙。得到正確的模型，對輸入新的數(shù)據(jù)實例輸出實例類別寺鸥。
2.2 感知機(jī)的學(xué)習(xí)策略
感知機(jī)學(xué)習(xí)的目標(biāo)
得到一個超平面將訓(xùn)練集正實例點和負(fù)實例點完全分開的超平面胆建。為了找出這樣的超平面，即確定感知機(jī)的模型參數(shù)w和b笆载。這時我們需要制定一個學(xué)習(xí)的策略，即定義（經(jīng)驗）損失函數(shù)并將其極小化腻要。（這里的學(xué)習(xí)策略是定義損失函數(shù)涝登，或者是選擇一個損失函數(shù)使其函數(shù)值最小。至于怎樣才能這個函數(shù)值最小我們就需要選擇感知機(jī)的學(xué)習(xí)算法來進(jìn)行優(yōu)化缀拭，優(yōu)化的參數(shù)就是w和b）
感知機(jī)的損失函數(shù)
這個損失函數(shù)（經(jīng)驗風(fēng)險函數(shù)）是從所有誤分類點集合M到超平面S的距離之和蛛淋，但是不考慮1/W就得到這個損失函數(shù)了。
2.3 感知機(jī)的學(xué)習(xí)算法
感知機(jī)學(xué)習(xí)算法的原始形式
1.感知機(jī)學(xué)習(xí)算法是誤分類驅(qū)動的勾效，具體采用隨機(jī)梯度下降法叛甫。
2.假設(shè)誤分類點集合M是固定的，那么損失函數(shù)L(w,b)的梯度是：
隨機(jī)選取一個誤分類點（xi,yi）萌腿，對w和b進(jìn)行更新(學(xué)習(xí)算法就是做到怎么更新w和b)：
3.感知機(jī)學(xué)習(xí)算法的原始形式（輸入/輸出/過程）
輸入：訓(xùn)練數(shù)據(jù)集T和每個實例對應(yīng)的分類以及學(xué)習(xí)率g.
輸出：參數(shù)w和b,感知機(jī)模型f(x)=sign(wx+b)
過程：(1)選取初始值w0,b0
? ? ? ? ?? (2)在訓(xùn)練數(shù)據(jù)中選擇誤分類數(shù)據(jù)(xi,yi)
? ? ? ? ?? (3)更新w和b
? ? ? ? ?? (4)轉(zhuǎn)至(2)毁菱，直到訓(xùn)練數(shù)據(jù)集沒有誤分類點
對這種算法的直觀解釋：當(dāng)一個實例點被誤分類，即位于分離超平面的錯誤一側(cè)時贮庞，則調(diào)整w和b使分類超平面向該誤分類的一側(cè)移動，以減少該誤分類點與超平面間的距離物喷，直到超平面越過該誤分類點使其被正確分類遮斥。
4.算法 的收斂性(見書)
感知機(jī)學(xué)習(xí)算法 的對偶形式
1.感知機(jī)學(xué)習(xí)算法的對偶形式（輸入/輸出/過程）
輸入：訓(xùn)練數(shù)據(jù)集T和每個實例對應(yīng)的分類以及學(xué)習(xí)率g.
輸出：參數(shù)w和b,感知機(jī)模型f(x)
過程：
