第三章線性模型
線性模型的公式
- W是d維權重集合封救，
- X是d維樣本集合，
得到的預測結果y趾访，，但是這個結果是一些離散標簽队丝，需要引入一個非線性的決策函數g()來預測輸出目標
這里主要介紹的四中不同的線性分類模型：logistic回歸靡馁，softmax回歸，感知器（MLP）机久，支持向量機（SVM）
3.1 線性判別函數和決策邊界
3.1.1 二分類
3.1.2 多類分類
分類的類別數C大于2臭墨，需要多個線性判別函數。如果類別為膘盖，常用分類方式：
- 一對其余：多類分類轉為C個一對其余的二分類
- 一對一：多類分類轉為C(C-1)/2個一對一的二分類
- argmax：改進的一對其余方式胧弛，需要C個判別函數，能夠解決“特征空間中存在難以確定類別的區(qū)域”的問題
3.2 Logistic回歸
使用激活函數解決連續(xù)的線性函數不適合分類的問題侠畔，將線性函數值域壓縮到(0,1)之間结缚，表示概率。
在Logistic回歸中软棺，使用Logistic函數作為激活函數红竭。
標簽y=1的后驗概率：
標簽y=0的后驗概率：
現在對上面的公式進行變換
3.2.1 參數學習
Logistic回歸采用交叉熵作為損失函數，梯度下降作為參數優(yōu)化喘落。
3.3 softmax回歸
也叫多項茵宪、多類Logistic回歸，是多類分類問題的推廣瘦棋。
向量表示
決策函數是argmax
3.4 感知器
是一種簡單的二類線性分類模型
3.4.2 感知器的收斂性
3.4.3 參數平均感知器
3.4.4 擴展到多類分類
3.5 支持向量機SVM
是一個經典兩類分類算法稀火，其找到的分割超平面具有更好的魯棒性。
3.5.1 核函數
將樣本映射到更高維度赌朋，解決原始特征空間線性不可分的問題凰狞。
3.5.2 軟間隔
學的有點崩壞了，這本書得配合練習來做沛慢。
