之前在文章[機(jī)器學(xué)習(xí)-Bayesian概念學(xué)習(xí)奋单，簡書]中介紹了概念學(xué)習(xí)，即將一個(gè)概念與這個(gè)概念包含所有實(shí)例的集合等同留凭，通過屬于這個(gè)集合的數(shù)據(jù)來學(xué)習(xí)這個(gè)集合可能是什么辙浑。也就是說狸捅，給定屬于這個(gè)集合C的一些數(shù)據(jù)D衷蜓，我們希望估計(jì)一個(gè)未知的x屬于集合C的概率，換個(gè)角度看尘喝，也就是估計(jì)x屬于C的概率和x屬于C的補(bǔ)集的概率磁浇。假如我們考慮多個(gè)集合C1,...Ck，則指標(biāo)1,...,k可以看做label朽褪，給定帶label的數(shù)據(jù)D置吓，估計(jì)x屬于具體某一集合的概率，也就是估計(jì)它的label可能是哪個(gè)缔赠。這樣衍锚，Bayesian概念學(xué)習(xí)可以用來處理機(jī)器學(xué)習(xí)中的分類問題。
而估計(jì)集合“長什么樣子”和估計(jì)描述集合的參數(shù)是相同的嗤堰。下面我們不妨設(shè)這些參數(shù)都是已知的戴质，即省略了給定數(shù)據(jù)D來學(xué)習(xí)的過程，因?yàn)榻o高斯模型的參數(shù)加先驗(yàn)稍微復(fù)雜一點(diǎn)，以后有機(jī)會(huì)再細(xì)說告匠。我們先來研究一下二維高斯模型下的二次判別和線性判別戈抄，quadratic discriminant analysis(QDA)&linear discriminant analysis(LDA)，關(guān)于高斯模型的一些基礎(chǔ)可參見我的上一篇文章[數(shù)學(xué)基礎(chǔ)-高斯模型后专，簡書]划鸽。
對不同label的占比附加一個(gè)先驗(yàn)概率π，則在估計(jì)y(x)=c時(shí)的后驗(yàn)概率為
這個(gè)式子是Bayesian定理的直接應(yīng)用戚哎，其中x可以取平面上的任意點(diǎn)裸诽。我們?nèi)绻xx點(diǎn)的label就是使得y(x)=c概率最大的c。根據(jù)結(jié)果可以將平面分成不同的區(qū)域建瘫，而不同區(qū)域的邊界就是使得上式分子相等的x崭捍，即為||x-μ_c||_Σc=a||x-μ_e||_Σe，a是常數(shù)啰脚，這是一個(gè)二次方程，故解出來的邊界是二次(quadratic)曲線实夹，如下圖所示橄浓。
圖中的橢圓圍成的中心點(diǎn)就是μ，而一個(gè)個(gè)橢圓就是等高線亮航，黑色的邊界就是二次方程的解荸实，橢圓的稀疏不同代表Σ大小不同。
而當(dāng)所有的Σ_c都相同時(shí)缴淋，
概率估計(jì)的分子指數(shù)項(xiàng)中可以將x^2提出來准给，即后面一項(xiàng)，剩下前面一項(xiàng)為Ax+a的形式重抖，于是邊界是Ax+a=Bx+b的解露氮，即為直線。從之前一幅圖的右圖中可以看到钟沛，橙色的等高圓和綠色的等高圓表示二者的Σ分別有兩個(gè)相同的特征值畔规，于是它們兩個(gè)之間的邊界線為直線段。同時(shí)下面藍(lán)色的橢圓表示Σ特征值不同恨统，于是和橙綠的邊界都是曲線叁扫。
這就是QDA和LDA命名的由來。
