Learning to Answer Yes_No
第一個(gè)算法 PLA（Perceptron Learning Algorithm）
1绿聘、算法講解
h(x) = sign(E(i=1 -> d)WX - threshold)
w 權(quán)重 x 向量的元素，即特征， E替代求和符號(hào)（矩陣內(nèi)積）剃允， threshold 門(mén)檻值球化，yes no 的判斷標(biāo)準(zhǔn)
h 即假說(shuō)
perceptron 感知機(jī)，識(shí)別機(jī)
h(x) = sign(E(i=1 -> d)WX + （-threshold）+（+1）)
h(x) = sign(E(i=1 -> d)WX + （w0）+（x0）)
h(x) = sign(E(i=0 -> d)WX) 降門(mén)檻值吸收到前面的運(yùn)算中
h(x) = sign(WX) 此時(shí)w 和 x 均為向量呕缭，此時(shí)運(yùn)算即簡(jiǎn)化為向量?jī)?nèi)積了
可以看到在二維圖中表示時(shí)堵泽，h(x) 實(shí)際上是一條直線(xiàn)，含義即為隔開(kāi)不同y（yes or no）的直線(xiàn)
perceptrons（感知機(jī)）《=》linear
資料x(chóng)->y 由目標(biāo)函數(shù)f 產(chǎn)生恢总，首先要保證在這些看到的資料x(chóng)->y中迎罗，假設(shè)函數(shù)g可以預(yù)測(cè)的很好，這個(gè)并不容易片仿，因?yàn)榧僭O(shè)集H 是無(wú)限大的纹安，所以就可以在原有線(xiàn)上做修正
WTX就是向量的內(nèi)積，大于0表示向量夾角為銳角
修正過(guò)程即 wt+1 = wt + yn(t)xn(t)
修正直到所有數(shù)據(jù)集在假說(shuō)中成立
2砂豌、心得總結(jié)
在感知機(jī)里钻蔑，w的定義是超平面的法向量，感知機(jī)的公式w*x+b=0表示的就是那個(gè)超平面奸鸯。wt是法向量的第t次修正的結(jié)果咪笑，wt最終確定，作為法向量形成分割面的時(shí)候娄涩，wt和所有正確的點(diǎn)乘積為正窗怒，與錯(cuò)誤的點(diǎn)乘積為負(fù)。
3蓄拣、練習(xí)題：
解法：wt+1 *（ynxn） = wt *（ynxn）+ ynxn * ynxn扬虚，左右同乘ynxn
4、PLA終止條件
PLA在能夠符合所有資料時(shí)會(huì)停下來(lái)球恤，必要條件D使得w能夠不犯錯(cuò)從而停下來(lái)辜昵，這樣的D叫線(xiàn)性可分
5、收斂性證明咽斧，也即PLA會(huì)停 堪置？
這兩頁(yè)P(yáng)PT比較復(fù)雜，其實(shí)就是在利用條件證明：
6张惹、PLA找出一條較好的線(xiàn)
優(yōu)缺點(diǎn)：
不知道何時(shí)會(huì)停舀锨，不一定能停，即數(shù)據(jù)并非線(xiàn)性可分宛逗。
為了應(yīng)對(duì)Noisy坎匿，我們不可能得到完美的直線(xiàn)（可能是一個(gè)NP問(wèn)題），那么怎么衡量當(dāng)前得到的直線(xiàn)能夠滿(mǎn)足要求呢？憑直覺(jué)替蔬，我們知道如果當(dāng)前直線(xiàn)犯錯(cuò)越少越好（對(duì)所有data）告私，于是有了下面的改進(jìn)算法，Pocket PLA承桥，本質(zhì)上就是在改錯(cuò)的時(shí)候多做一步 -- 判斷當(dāng)前改正犯的錯(cuò)是否比之前更小德挣，也就是貪心選擇
