3.1 線性分類器的數(shù)學定義
線性分類器：
%20%3D%20Wx)
其中漩符，
代表圖片向量（將二維圖片轉為一維向量）一喘，維度為)
，
為分類器的參數(shù)嗜暴，維度為)
凸克，輸出值為)
向量议蟆，表示圖片屬于10類的可能性大小，數(shù)值最大的一類作為預測結果触徐。
如果考慮偏置咪鲜，公式為：
%20%3D%20Wx%20%2B%20b)
其中
的維度是。
下圖是一個例子：
后面的分析一般忽略偏置撞鹉。
在限定模型為線性分類器之后疟丙，分類器就可以完全由其權值來表征了，也就是說就是分類器鸟雏，分類器就是享郊。
3.2 權值參數(shù)的解釋及可視化
參數(shù)有10行，對應目標標簽的10個類別孝鹊，可以將參數(shù)的每一行看作對應類別的過濾器炊琉。該過濾器將圖片數(shù)據(jù)轉為一個單一值，代表圖片屬于該類別的分數(shù)大小又活。如下圖所示：
也可將每一行的784個數(shù)值轉換為)
的二維矩陣苔咪，把這一行權重當做一張圖片可視化出來。就可以看到這一行權重所代表的的過濾器是什么樣子（圖片的亮暗表示權重值的大辛尽）团赏。有10行，所以可以畫出10張權值圖出來耐薯。
3.3 概率歸一化
分類器的輸出是向量舔清，向量里的元素都是不限范圍的實數(shù)值。下面將其歸一化為概率值曲初。
歸一化函數(shù)要滿足以下條件：
- 目標取值范圍為
![[0, 1]](https://math.jianshu.com/math?formula=%5B0%2C%201%5D)
体谒，且
映射為1，
映射為0
- 映射后的值總和為1
- 映射后的值與原值成正比臼婆，且各個值的大小關系保持不變
Softmax函數(shù)滿足以上條件：
%20%3D%20%5Cfrac%7Be%5E%7Bs_k%7D%7D%7B%5Csum_j%7Be%5E%7Bs_j%7D%7D%7D)
其中抒痒，
是線性分類器的10個輸出值，)
是樣本被預測為第
類的概率目锭。
3.4 模型評估：損失值
給定一個分類器（即給定一組權值）评汰，如何評估其好壞？可以用損失值來代表分類器分錯的程度痢虹。
損失值函數(shù)是權值到實數(shù)的一個映射被去，它要滿足兩個特性：
- 預測錯了類別的樣本越多，損失值越大
- 樣本預測錯得越離譜奖唯，損失值越大
分類器的輸出值做了概率歸一化后惨缆，損失值應滿足：
- 預測為正確類別的概率值為0時，損失值為無窮大
- 預測為正確類別的概率值越大，損失值越小
- 預測為正確類別的概率值為1時坯墨，損失值為最小值0
函數(shù)滿足以上條件寂汇，可以將損失值定義為：
%7D)
其中，
為第i個樣本的正確類別捣染，)
為第i個樣本被預測為正確類別的概率骄瓣，
為分類器在第i個樣本上的損失值。
損失值計算流程圖：
3.5 模型優(yōu)化：如何找到損失值最小的權值
方法一：隨機搜索
隨機生成權值耍攘，例如隨機1000遍榕栏，取結果最好的。
方法二：梯度下降
梯度計算：導數(shù)的負數(shù)
%7D%7Bdx%7D%20%3D%20%5Clim_%7Bh%20%5Cto%200%7D%7B%5Cfrac%7Bf(x%2Bh)%20-%20f(x)%7D%7Bh%7D%7D)
所以給定權值蕾各，計算其損失值扒磁，再對的各元素加微小增量，得新的損失
