p53-72
第三章 線性模型
3.1 基本形式 p33
3.2 線性回歸
3.3 對數(shù)幾率回歸
為了解決分類問題统台。引入一個單調(diào)可微函數(shù)臭觉，將分類任務的真實標記y與線性回歸模型的預測值聯(lián)系起來卤橄。
常用對數(shù)幾率函數(shù)警医。
3.4 線性判別分析
簡稱LDA
經(jīng)典的線性學習方法
找到一條直線乌妒，使同類樣例的投影點盡可能接近。
最大化J （p61）
如何確定w：式3.39
3.5 多分類學習
基本思路：拆解法追葡，將多分類問題拆為若干個二分類任務求解腺律。
拆分策略：1v1,1vR(rest),M(many)vM(many)
1v1 ：分成C(2,n)個任務奕短，最終結(jié)果由投票決定。
1vR：每次將一類作為正例匀钧，其他作為負例翎碑。執(zhí)行n次。
最終若只有一個正例之斯，則就是他日杈。
若多個正例，則選置信度大的吊圾。
MvM：若干個類作為正达椰，若干個作為負翰蠢。
咋選项乒？糾錯輸出碼技術：p65
構造coding matrix。最終計算距離梁沧。
3.6 類別不平衡問題
令y為預測值檀何，越靠近1越正例
決策規(guī)則： y/(1-y) > 1：預測為正例。
改進規(guī)則：y/(1-y) > m+ / m- ：預測正例廷支，其中m+為正例個數(shù)
即令y'/(1-y') = y/(1-y) x (m- / m+) >1 預測為正例
即 "再縮放”策略
