1袜硫、第三章：線性模型

多分類學(xué)習(xí)：不失一般性备闲，考慮N個(gè)類別，多分類學(xué)習(xí)的基本思路是"拆解法",即將多分類任務(wù)拆為若干個(gè)二分類任務(wù)求解捅暴。具體來說恬砂，先對問題進(jìn)行拆分，然后為拆出的每個(gè)二分類任務(wù)訓(xùn)練一個(gè)分類器蓬痒；在測試時(shí)泻骤，對這些分類器的預(yù)測結(jié)果進(jìn)行集成以獲得最終的多分類結(jié)果。
最經(jīng)典的拆分策略有三種：一對一，一對其余狱掂，多對多演痒。

多分類學(xué)習(xí)：一對一策略(OvO)：給定數(shù)據(jù)集D，其中有N個(gè)分類趋惨，那么一對一的策略將這N個(gè)類別兩兩配對鸟顺，從而產(chǎn)生N(N-1)/2個(gè)二分類任務(wù)，例如OvO將為區(qū)分類別Ci和Cj訓(xùn)練一個(gè)分類器器虾，該分類器把D中的Ci類樣例作為正例讯嫂，Cj類樣例作為反例。在測試階段兆沙，新樣本將同時(shí)提交給所有分類器欧芽，于是我們會得到N(N-1)/2個(gè)結(jié)果，最終結(jié)果可通過投票產(chǎn)生：即把被預(yù)測的最多的類別作為最終的分類結(jié)果葛圃。

多分類學(xué)習(xí)：一對多策略(OvR):OvR則是每次講一個(gè)類的樣例作為正例编整，所有其他類的樣例作為反例來訓(xùn)練N個(gè)分類器，在測試時(shí)若僅有一個(gè)分類器預(yù)測為正類听盖，則對應(yīng)的類別標(biāo)記便是最終的分類結(jié)果朦前，如果有多個(gè)分類器預(yù)測為正類，則通尘髡铮考慮各分類器的預(yù)測置信度洞渤，選擇置信度最大的類別標(biāo)記作為分類結(jié)果。

下圖展示了OvO和OvR策略的示意圖：

多分類學(xué)習(xí)：多對賭策略（MvM）:MvM每次將若干個(gè)類作為正類属瓣，若干個(gè)其他類作為反類载迄，MvM的正反類構(gòu)造必須有特殊的設(shè)計(jì)，不能隨意選取抡蛙，這里我們介紹一種最常用的MvM技術(shù)护昧，“糾錯(cuò)輸出碼”（EOOC）：
EOOC是將編碼的思想引入類別拆分，并盡可能在解碼過程中具有容錯(cuò)性粗截，EOOC的工作過程主要分為兩步：
編碼：對N個(gè)類別做M次劃分惋耙，每次劃分將一部分類別劃分為正類，一部分劃分為反類熊昌，從而形成一個(gè)二分類訓(xùn)練集绽榛；這樣一共產(chǎn)生M個(gè)訓(xùn)練集，可訓(xùn)練出M個(gè)分類器婿屹。
解碼：M個(gè)分類器分別對測試樣本進(jìn)行預(yù)測灭美，這些預(yù)測標(biāo)記組成一個(gè)編碼，將這個(gè)預(yù)測編碼與每個(gè)類別各自的編碼進(jìn)行比較昂利，返回其中距離最小的類別作為最終預(yù)測結(jié)果届腐。
類別劃分通過編碼矩陣指定铁坎，編碼矩陣有多種形式，最常見的是二元碼和三元碼犁苏，前者將每個(gè)類別分別指定為正類和反類硬萍，后者在這個(gè)基礎(chǔ)上增加了停用類。如下是EOOC的示意圖：

2围详、第四章：決策樹

連續(xù)值處理：最簡單的策略是采用二分法朴乖，連續(xù)屬性如果有N個(gè)取值，則有N-1個(gè)分割點(diǎn)短曾，然后就可以對這N-1個(gè)分割點(diǎn)分別計(jì)算其信息增益寒砖，以選取最好的分割點(diǎn)。

缺失值處理：直接上圖：

3嫉拐、第五章：神經(jīng)網(wǎng)絡(luò)

如何跳出局部極小：神經(jīng)網(wǎng)絡(luò)中容易陷入局部極小的問題哩都，那么實(shí)際中如何跳出局部極小呢？主要有以下幾種策略：
1）以多組不同的參數(shù)值初始化多個(gè)神經(jīng)網(wǎng)絡(luò)婉徘，按標(biāo)準(zhǔn)方法訓(xùn)練后漠嵌，取其中誤差最小的解作為最終參數(shù)，這相當(dāng)于從多個(gè)不同的初始點(diǎn)開始搜索盖呼，這樣就可能陷入不同的局部極小儒鹿，從中進(jìn)行選擇有可能獲得更接近全局最小的結(jié)果。
2）模擬退火几晤，模擬退火在每一步都以一定的概率接受比當(dāng)前解更差的結(jié)果约炎，從而有助于跳出局部極小，在每步迭代過程中蟹瘾，接受次優(yōu)解的概率要隨著時(shí)間的推移而逐漸降低圾浅，從而保證算法的穩(wěn)定性。
3）使用隨機(jī)梯度下降憾朴，與標(biāo)準(zhǔn)梯度下降法精確計(jì)算梯度不同狸捕，隨機(jī)梯度下降法在計(jì)算梯度時(shí)加入了隨機(jī)因素，于是众雷，即便陷入局部極小點(diǎn)灸拍，它計(jì)算出的梯度仍可能不為0，這樣就有機(jī)會跳出局部極小繼續(xù)搜索砾省。
4）遺傳方法也經(jīng)常用來訓(xùn)練神經(jīng)網(wǎng)絡(luò)以更好的逼近全局最小鸡岗。

4、第六章：支持向量機(jī)

支持向量機(jī)回歸SVR

這樣我們可以得到一個(gè)帶正則項(xiàng)的損失函數(shù)：

可以看到编兄，這個(gè)誤差函數(shù)中后面一部分與SVM中的目標(biāo)函數(shù)類似轩性，我們再將二次誤差函數(shù)替換為?個(gè)? -不敏感誤差函數(shù)，于是SVR問題可形式為：

? -不敏感誤差函數(shù)如下：

通過引入松弛變量的方式翻诉，我們可以重新表達(dá)最優(yōu)化問題炮姨。對于每個(gè)數(shù)據(jù)點(diǎn)xn，我們現(xiàn)在需要兩個(gè)松弛變量碰煌，如下圖所示：

目標(biāo)點(diǎn)位于上圖管道中的條件為：

引入松弛變量之后舒岸，在上圖中管道上下兩側(cè)的點(diǎn)滿足的條件為：

這樣，支持向量回歸機(jī)的優(yōu)化問題可以寫為：

同樣芦圾，使用拉格朗日乘子法將約束條件帶入目標(biāo)函數(shù)中：

同樣使用SVM中求解對偶問題的思路蛾派，可以得到：

使用這些結(jié)果消去拉格朗日函數(shù)中對應(yīng)的變量，得到SVR的對偶問題：

這樣个少，得到的SVR回歸模型為：