title: 模式識別 第四 五章 線性分類器 非線性判別函數(shù)
date: 2017-03-26 18:47:50
categories: ML/盧曉春 模式識別引論
mathjax: true
tags: [Machine Learning]
第四章 線性分類器
線性分類器冰肴、廣義線性分類器
貝葉斯分類器：最優(yōu)分類器
線性判別函數(shù)產(chǎn)生的錯誤率或風(fēng)險可能更大，但實現(xiàn)容易飞盆。
準(zhǔn)則函數(shù)包括：感知準(zhǔn)則霞赫、最小平方誤差準(zhǔn)則、最小錯分樣本數(shù)準(zhǔn)則轻专、Fisher準(zhǔn)則
類內(nèi)類間等要記住
線性判別函數(shù)：c類問題=c個的兩類問題
或者 c*（c-1）/2個線性判別式
Fisher線性判別準(zhǔn)則
類間大蚓峦、類內(nèi)小：
感知準(zhǔn)則函數(shù)
例子：
用梯度下降法：
最小平方誤差準(zhǔn)則
感知準(zhǔn)則函數(shù)及其梯度下降法只適用于樣本線性可分的情況气破，對于線性不可分情況聊浅，迭代過程永遠(yuǎn)不會終結(jié)，即算法不收斂。
在實際問題中常常無法事先知道樣本集是否線性可分狗超，因此希望找到一種既適用于線性可分又適用于線性不可分的算法弹澎。
通過這種算法得到的解都統(tǒng)一稱為最優(yōu)解。
例子：
最小錯分樣本數(shù)準(zhǔn)則
對于不等式w^Tx^i >0努咐，如果有解苦蒿，可以得到解向量w^*，如果無解渗稍，則說明樣本集線性不可分佩迟，那么對于任何向量w，必然有某些樣本被錯分竿屹，此時我們可以尋找使最多數(shù)目的不等式得到滿足的權(quán)向量报强，將它作為最優(yōu)解向量w^*。
上述準(zhǔn)則便是最小錯分樣本數(shù)準(zhǔn)則的基本思想拱燃。
第五章 非線性判別函數(shù)
由于樣本在特征空間分布的復(fù)雜性秉溉，很多情況下采用線性判別函數(shù)不能取得滿意的效果。
采用分段線性判別或二次函數(shù)判別等非線性方法效果會好得多碗誉。
分段線性判別函數(shù)
二次判別函數(shù)
