SVM只選自己喜歡的男神裳朋，Softmax把所有備胎全部拉出來評分，最后還歸一化一下
從名字上理解
上面一句話可謂是精辟吓著，Softmax回歸是logistics回歸在多分類問題上的推廣鲤嫡。max就是比較大小取大唄暖眼，但是有時不能直接取，不然會造成分值小的饑餓紊撕，怎么解決罢荡，也要雨露均沾，經(jīng)常取大的区赵，偶爾取小的就好了，概率和大小有關(guān)這也就是為啥是soft max笼才。
Softmax回歸具體的典型實例就是MNIST手寫數(shù)字分類(關(guān)于Softmax部分)漱受。
這個函數(shù)在斯坦福最優(yōu)化課程28分鐘左右有詳細講解，在吳恩達的課程中也有骡送，不懂得可以再詳細看看昂羡。
原理
Softmax代價函數(shù)與logistic 代價函數(shù)在形式上非常類似，只是在Softmax損失函數(shù)中對類標記的k個可能值進行了累加摔踱。注意在Softmax回歸中將x分類為類別j的概率為：
J(θ)最下化問題虐先，通過求導得到梯度公式：
Softmax是有監(jiān)督的，當然也可以和無監(jiān)督結(jié)合用派敷。這個后面文章再說蛹批，
簡單的可以這樣看：假設(shè)有一個數(shù)組V,Vi表示第i個指數(shù)，那么這個元素的Softmax值為：
在神經(jīng)網(wǎng)絡計算中篮愉，我們經(jīng)常計算正向傳播計算分數(shù)S1和按照正確標注的分數(shù)S2之間的差距腐芍，計算Loss，才能應用反向傳播试躏。Loss定義為交叉熵
取log里面的值就是這組數(shù)據(jù)正確分類的Softmax值猪勇，它占的比重越大，這個樣本的Loss也就越小颠蕴，這種定義符合我們的要求
當我們對分類的Loss進行改進的時候泣刹，我們要通過梯度下降，每次優(yōu)化一個step大小的梯度裁替，這個時候我們就要求Loss對每個權(quán)重矩陣的偏導项玛，然后應用鏈式法則貌笨。那么這個過程的第一步弱判，就是求Loss對score的偏導 (下面公式推導部分對于求偏導符號就用求導符號代替)
最后結(jié)果的形式非常的簡單，只要將算出來的概率的向量對應的真正結(jié)果的那一維減1锥惋，就可以了昌腰，舉個例子，通過若干層的計算膀跌，最后得到的某個訓練樣本的向量的分數(shù)是[ 1, 5, 3 ], 那么概率分別就是[0.015,0.866,0.117],如果這個樣本正確的分類是第二個的話遭商，那么計算出來的偏導就是[0.015,0.866?1,0.117]=[0.015,?0.134,0.117]，是不是很簡單Ｍ鄙恕劫流！然后再根據(jù)這個進行back propagation就可以了。
看完上面還懂嗎，不懂看這幅圖
不行就推推公式看看視頻反過來再看看
