2.7 為什么在分類問(wèn)題中用交叉熵代替二次代價(jià)函數(shù)谜慌？
交叉熵?fù)p失函數(shù)的學(xué)習(xí)速度更快辙喂，但是對(duì)于回歸問(wèn)題，它的準(zhǔn)確性又不如MSE損失函數(shù)哟沫。
2.8 線性判別分析的思想是什么饺蔑？
線性判別分析（Linear Discriminant Analysis，LDA）是一種降維方法嗜诀。和主成分分析PCA不考慮樣本類別輸出的無(wú)監(jiān)督降維技術(shù)不同猾警，LDA是一種監(jiān)督學(xué)習(xí)的降維技術(shù)，數(shù)據(jù)集的每個(gè)樣本有類別輸出隆敢。
LDA分類思想簡(jiǎn)單總結(jié)如下：
- 多維空間中发皿，數(shù)據(jù)處理分類問(wèn)題較為復(fù)雜，LDA算法將多維空間中的數(shù)據(jù)投影到一條直線上筑公，將d維數(shù)據(jù)轉(zhuǎn)化成1維數(shù)據(jù)進(jìn)行處理雳窟。
- 對(duì)于訓(xùn)練數(shù)據(jù)，設(shè)法將多維數(shù)據(jù)投影到一條直線上匣屡，同類數(shù)據(jù)的投影點(diǎn)盡可能接近封救，異類數(shù)據(jù)點(diǎn)盡可能遠(yuǎn)離。
- 對(duì)數(shù)據(jù)進(jìn)行分類時(shí)捣作，將其投影到同樣的這條直線上誉结，再根據(jù)投影點(diǎn)的位置來(lái)確定樣本的類別。
如果用一句話概括LDA思想券躁，即“投影后類內(nèi)方差最小惩坑，類間方差最大”。
圖1 LDA示意圖
圖1左圖為最大化平均點(diǎn)距離最遠(yuǎn)的投影方式也拜。最大化類間距離以舒；
圖1右圖為最小化類內(nèi)距離的方式。
