SOFTMAX 與 SVM 比較
SVM(支持向量機):
考量接近邊界的樣例點
SOFTMAX：
考量所有的樣例點
相對于Softmax分類器故俐，SVM更加“局部目標化（local objective）”蠕啄，這既可以看做是一個特性鸠蚪，也可以看做是一個劣勢暴匠≌Ａ裕考慮一個評分是[10, -2, 3]的數(shù)據(jù)蘸朋，其中第一個分類是正確的捉片。那么一個SVM（\Delta =1）會看到正確分類相較于不正確分類蝙茶，已經(jīng)得到了比邊界值還要高的分數(shù)艺骂，它就會認為損失值是0。SVM對于數(shù)字個體的細節(jié)是不關(guān)心的：如果分數(shù)是[10, -100, -100]或者[10, 9, 9]隆夯，對于SVM來說沒設(shè)么不同钳恕，只要滿足超過邊界值等于1，那么損失值就等于0蹄衷。
對于softmax分類器忧额，情況則不同。對于[10, 9, 9]來說愧口，計算出的損失值就遠遠高于[10, -100, -100]的睦番。換句話來說，softmax分類器對于分數(shù)是永遠不會滿意的：正確分類總能得到更高的可能性，錯誤分類總能得到更低的可能性托嚣，損失值總是能夠更小巩检。但是，SVM只要邊界值被滿足了就滿意了示启，不會超過限制去細微地操作具體分數(shù)兢哭。這可以被看做是SVM的一種特性
SVM 與SOFTMAX 是主要的兩個分類器
>>1. 與kNN分類器不同，參數(shù)方法的優(yōu)勢在于一旦通過訓(xùn)練學(xué)習(xí)到了參數(shù)夫嗓，就可以將訓(xùn)練數(shù)據(jù)丟棄了迟螺。同時該方法對于新的測試數(shù)據(jù)的預(yù)測非常快舍咖，因為只需要與權(quán)重W進行一個矩陣乘法運算矩父。