? ? LDA在模式識別領(lǐng)域(比如人臉識別，艦艇識別等圖形圖像識別領(lǐng)域)中有非常廣泛的應(yīng)用会喝，因此我們有必要了解下它的算法原理其兴。??
? 不同于PCA方差最大化理論，LDA算法的思想是將數(shù)據(jù)投影到低維空間之后血筑，使得同一類數(shù)據(jù)盡可能的緊湊，不同類的數(shù)據(jù)盡可能的分散煎楣。因此云挟，LDA算法是一種有監(jiān)督的機器學(xué)習(xí)算法。同時转质，LDA有如下兩個假設(shè)：(1)原始數(shù)據(jù)根據(jù)樣本均值進行分類。(2)不同類的數(shù)據(jù)擁有相同的協(xié)方差矩陣帖世。當(dāng)然休蟹，在實際情況中，不可能滿足以上兩個假設(shè)日矫。但是當(dāng)數(shù)據(jù)主要是由均值來區(qū)分的時候赂弓，LDA一般都可以取得很好的效果。
1.算法流程
? ? （1）計算類內(nèi)散度矩陣
? ? （2）計算類間散度矩陣
? ? （3）計算矩陣
? ? （4）對矩陣進行特征分解盈魁，計算最大的d個最大的特征值對應(yīng)的特征向量組成W。
? ? （5）計算投影后的數(shù)據(jù)點
以上就是使用LDA進行降維的算法流程窃诉。實際上LDA除了可以用于降維以外杨耙，還可以用于分類。一個常見的LDA分類基本思想是假設(shè)各個類別的樣本數(shù)據(jù)符合高斯分布飘痛，這樣利用LDA進行投影后珊膜，可以利用極大似然估計計算各個累唄投影數(shù)據(jù)的均值和方差，進而得到該類別高斯分布的概率密度函數(shù)宣脉。當(dāng)一個新的樣本到來后车柠，我們可以將它投影，然后將投影后的樣本特征分別帶入各個類別的高斯分布概率密度函數(shù)塑猖，計算它屬于這個類別的概率竹祷，最大的概率對應(yīng)的類別即為預(yù)測類別。LDA應(yīng)用于分類現(xiàn)在似乎也不是那么流行羊苟。
2.discriminant_analysis.LinearDiscriminantAnalysis 分類 sklearn
????class sklearn.discriminant_analysis.LinearDiscriminantAnalysis(solver='svd', shrinkage=None, priors=None, n_components=None, store_covariance=False, tol=0.0001)
參數(shù)：
（1）solver: str類型塑陵，默認(rèn)值為"svd"，
? ? svd:使用奇異值分解求解蜡励，不用計算協(xié)方差矩陣猿妈，適用于特征數(shù)量很大的情形吹菱，無法使用參數(shù)收縮(shrinkage)。
? ? lsqr:最小平方QR分解彭则，可以結(jié)合shrinkage使用鳍刷。
? ? eigen：特征值分解，可以結(jié)合shrinkage使用俯抖。
?（2）shrinkage: str or float類型输瓜，默認(rèn)值為None
? ? 是否使用參數(shù)收縮
? ? None:不使用參數(shù)收縮
? ? auto:str，使用Ledoit-Wolf lemma
? ? 浮點數(shù)：自定義收縮比例芬萍。
? ?（3）components：int類型尤揣，需要保留的特征個數(shù)，小于等于n-1
屬性：
（1）covariances_：每個類的協(xié)方差矩陣柬祠，shape = [n_features, n_features]
（2）means_：類均值北戏，shape = [n_features, n_feateures]
（3）priors_：歸一化的先驗概率。
（4）rotations_：LDA分析得到的主軸漫蛔，shape = [n_features, n_component]
（5）scalings_：數(shù)組列表嗜愈，每個高斯分布的方差σ
3.優(yōu)缺點和特性
????特點：
? ? ? ? 降維之后的維數(shù)最多為類別數(shù)-1。所以當(dāng)數(shù)據(jù)維度很高莽龟，但是類別數(shù)少的時候蠕嫁，算法并不適用。LDA算法既可以用來降維毯盈，又可以用來分類剃毒。但是目前來說，主要還是用于降維搂赋。在我們進行圖像識別相關(guān)的數(shù)據(jù)分析時赘阀，LDA是一個有力的工具。
? ?優(yōu)點：
? ?（1）LDA在樣本分類信息依賴均值而不是方差的時候脑奠，比PCA之類的算法較優(yōu)纤壁。
? ?（2）在降維過程中可以使用類別的先驗知識經(jīng)驗，而像PCA這樣的無監(jiān)督學(xué)習(xí)則無法使用類別先驗知識捺信。
? ? 缺點：
? ? （1）LDA不適合非高斯分布樣本進行降維酌媒，PCA也存在這個問題。
? ? （2）LDA降維最多降到類別數(shù)K-1的維數(shù)迄靠，如果我們降維的維度大于k-1秒咨，則不能使用LDA。當(dāng)然目前有一些LDA的進化版算法可以繞過這個問題掌挚。
? ? （3）LDA在樣本分類信息依賴方差而不是均值的時候雨席，降維效果不好。
? ? （4）LDA可能過度擬合數(shù)據(jù)吠式。
4.LDA和PCA的區(qū)別
? ? 二者都有降維的作用陡厘。
1.左邊是PCA抽米，屬于無監(jiān)督方法，當(dāng)數(shù)據(jù)沒有標(biāo)簽時可以用它糙置。右邊是LDA云茸，屬于監(jiān)督學(xué)習(xí)方法“梗考慮了數(shù)據(jù)的分類信息标捺，這樣數(shù)據(jù)在低維空間上就可以分類了，減少了很多的運算量揉抵。
2.PCA主要是從特征的協(xié)方差角度考慮亡容，追求的是在降維之后能夠最大化保持?jǐn)?shù)據(jù)的內(nèi)在信息。它不考慮分類信息冤今，因此降低維度后闺兢，信息損失降到最低，但分類上可能會變得更加困難戏罢。LDA追求的是降維后的數(shù)據(jù)點盡可能容易被區(qū)分屋谭。降維后的樣本數(shù)據(jù)在新的維度空間有最大的類間距離和最小的類內(nèi)方差，數(shù)據(jù)在低維空間有最佳的可分離性帖汞。
3.PCA降維后的維度數(shù)目是和數(shù)據(jù)維度相關(guān)的，原始數(shù)據(jù)是n維凑术，那么PCA后維度為1翩蘸、2~n維。LDA后的維度數(shù)目是和類別的個數(shù)相關(guān)的淮逊，原始數(shù)據(jù)是n維催首，一共有C個類別，那么LDA后維度為1泄鹏、2~C-1維郎任。
4.PCA投影的坐標(biāo)系都是正交的。LDA關(guān)注分類能力备籽，不保證投影到的坐標(biāo)系是正交的舶治。
