上一講中我們介紹了最大間隔分類器的概念杂拨，這一節(jié)，我們介紹一下什么是支撐向量：
1悯衬、支撐向量
支撐向量的英文名叫supporting vector扳躬，為了在后文中看上去顯眼，我們后面統(tǒng)一使用英文名甚亭。不妨回憶一下上次最后一張圖：
可以看到兩個(gè)支撐著中間的 gap 的超平面，它們到中間的超平面 的距離相等（想想看：為什么一定是相等的击胜？）亏狰，即我們所能得到的最大的 幾何間隔γ? 。而“支撐”這兩個(gè)超平面的必定會(huì)有一些點(diǎn)偶摔，試想暇唾，如果某超平面沒(méi)有碰到任意一個(gè)點(diǎn)的話，那么我就可以進(jìn)一步地?cái)U(kuò)充中間的 gap ，于是這個(gè)就不是最大的間隔了策州。由于在 n 維向量空間里一個(gè)點(diǎn)實(shí)際上是和以原點(diǎn)為起點(diǎn)瘸味，該點(diǎn)為終點(diǎn)的一個(gè)向量是等價(jià)的，所以這些“支撐”的點(diǎn)便叫做支持向量够挂。
很顯然旁仿，由于這些 support vector 剛好在邊界上，所以它們是滿足 y(wTx+b)=1 （還記得我們把 函數(shù)間隔定為 1 了嗎孽糖？）枯冈，而對(duì)于所有不是支持向量的點(diǎn)，也就是在“陣地后方”的點(diǎn)办悟，則顯然有 y(wTx+b)>1 尘奏。事實(shí)上，當(dāng)最優(yōu)的超平面確定下來(lái)之后病蛉，這些后方的點(diǎn)就完全成了路人甲了炫加，它們可以在自己的邊界后方隨便飄來(lái)飄去都不會(huì)對(duì)超平面產(chǎn)生任何影響。這樣的特性在實(shí)際中有一個(gè)最直接的好處就在于存儲(chǔ)和計(jì)算上的優(yōu)越性铺然，例如俗孝，如果使用 100 萬(wàn)個(gè)點(diǎn)求出一個(gè)最優(yōu)的超平面，其中是 supporting vector 的有 100 個(gè)探熔，那么我只需要記住這 100 個(gè)點(diǎn)的信息即可驹针，對(duì)于后續(xù)分類也只需要利用這 100 個(gè)點(diǎn)而不是全部 100 萬(wàn)個(gè)點(diǎn)來(lái)做計(jì)算。
哈哈诀艰，說(shuō)了這么多柬甥，其實(shí) support vector很簡(jiǎn)單，就是到分類超平面的函數(shù)間隔為1的點(diǎn)其垄，即距離超平面最近的點(diǎn)苛蒲。至此，我們已經(jīng)學(xué)習(xí)了SVM的基本原理绿满，接下來(lái)臂外，就要進(jìn)入到復(fù)雜的模型推導(dǎo)環(huán)節(jié)了，大家做好準(zhǔn)備喇颁！
