1. 關(guān)于min和max交換位置滿足的 d* <= p* 的條件并不是KKT條件
Ans:這里并非是KKT條件症脂,要讓等號成立需要滿足strong duality(強(qiáng)對偶)盛垦,之后有學(xué)者在強(qiáng)對偶下提出了KKT條件拍鲤。KKT條件成立需要滿足constraint qualifications,而constraint qualifications之一就是Slater條件——即:凸優(yōu)化問題,如果存在一個點x强法,使得所有等式約束都成立(即取嚴(yán)格不等號焚挠,不包括等號)膏萧,則滿足Slater條件。SVM中此處蝌衔,滿足Slater條件榛泛,等號可以成立
2. 核函數(shù)是從高維空間構(gòu)造超平面,是否會帶來高維計算代價的問題噩斟?
Ans:并不會曹锨。在線性不可分的情況下,SVM首先在低維空間中完成計算剃允,然后通過核函數(shù)將輸入空間映射到高維特征空間沛简,最終在高緯度空間中構(gòu)造出最優(yōu)分離超平面。
3. 高斯核函數(shù)在方差參數(shù)δ上選取有什么影響斥废?
Ans:如果δ選的很大椒楣,高次特征上的權(quán)重會衰減的非常快牡肉,此時相當(dāng)于一個低維度的子空間捧灰;如果δ選的很小,則可以將任意的數(shù)據(jù)映射為線性可煩荚板,但可能帶來非常嚴(yán)重的過擬合問題凤壁。
4. 核函數(shù)的本質(zhì)是什么?
Ans:①解決線性不可分問題 ②在低維上先進(jìn)行計算跪另,將實質(zhì)的分類效果在高維上呈現(xiàn)拧抖,巧妙地避免了高維計算復(fù)雜性的問題。
5. 在目標(biāo)函數(shù)中免绿,拉格朗日的參數(shù)α的取值有什么特點唧席?

image
Ans:對于遠(yuǎn)離平面的點為0;在邊緣線的值在 [0, 1/N]之間;對于outlier數(shù)據(jù)的值為1/N