概念
1.線性可分支持向量機(jī):可以用一條線分割汹买,hard margin maximization
2.線性支持向量機(jī):允許容差的情況下可以用一條線分割灸姊,soft margin maximization
3.非線性支持向量機(jī):在線性支持向量機(jī)的基礎(chǔ)上加一個(gè)核函數(shù) kernel function
其中熏迹,門檻在于1線性可分支持向量機(jī)船响,入門之后膜宋,2和3都好說(shuō)
分割超平面
分割超平面可表示為
分割超平面
來(lái)源:
直線 y = kx + b
可以寫成 kx - y + b = 0受啥,完全等價(jià)
進(jìn)而可以寫成
圖片
也就是
圖片
將(a1, a2)寫成列向量* W的轉(zhuǎn)置做个,將列向量(x1,x2)T 寫成x滚局,就可以得到
分割超平面
當(dāng)W和x*都是2維的時(shí)候居暖,該式子表示一條直線
當(dāng)都是三維的時(shí)候,表示一個(gè)平面藤肢,當(dāng)是多維的時(shí)候太闺,就表示一個(gè)超平面了
再令
圖片.png
當(dāng) y=0 的時(shí)候,就表示這個(gè)平面
當(dāng) y>0 的時(shí)候嘁圈,表示平面以上的部分
當(dāng) y<0 的時(shí)候省骂,表示平面以下的部分
注:有的地方是不寫轉(zhuǎn)置的
線性分類模型
Model:
圖片.png
φ(x) 表示x向量的一個(gè)映射蟀淮,事先確定好了,已知
未知的參數(shù)是 W 和 b
因此钞澳,分類決策函數(shù)就是:
圖片.png
其中怠惶,sign是符號(hào)函數(shù)