圖解機器學習 | 模型評估方法與準則

作者：韓信子@ShowMeAI
教程地址：http://www.showmeai.tech/tutorials/34
本文地址：http://www.showmeai.tech/article-detail/186
聲明：版權所有，轉載請聯(lián)系平臺與作者并注明出處

引言

科學家門捷列夫說「沒有測量，就沒有科學」，在AI場景下我們同樣需要定量的數(shù)值化指標來指導我們更好地應用模型對數(shù)據(jù)進行學習和建模镊掖。

事實上，在機器學習領域呛每，對模型的測量和評估至關重要缩滨。選擇與問題相匹配的評估方法呐萨，能幫助我們快速準確地發(fā)現(xiàn)在模型選擇和訓練過程中出現(xiàn)的問題冯挎，進而對模型進行優(yōu)化和迭代底哥。本文我們系統(tǒng)地講解一下機器學習模型評估相關知識。

（本篇內容會涉及到不少機器學習基礎知識房官，沒有先序知識儲備的寶寶可以查看ShowMeAI的文章圖解機器學習 | 機器學習基礎知識趾徽。

1.模型評估的目標

模型評估的目標是選出泛化能力強的模型完成機器學習任務。實際的機器學習任務往往需要進行大量的實驗翰守，經(jīng)過反復調參孵奶、使用多種模型算法（甚至多模型融合策略）來完成自己的機器學習問題，并觀察哪種模型算法在什么樣的參數(shù)下能夠最好地完成任務蜡峰。

泛化能力強的模型能很好地適用于未知的樣本了袁，模型的錯誤率低、精度高湿颅。機器學習任務中载绿，我們希望最終能得到準確預測未知標簽的樣本、泛化能力強的模型肖爵。

但是我們無法提前獲取「未知的樣本」卢鹦，因此我們會基于已有的數(shù)據(jù)進行切分來完成模型訓練和評估，借助于切分出的數(shù)據(jù)進行評估劝堪，可以很好地判定模型狀態(tài)（過擬合 or 欠擬合），進而迭代優(yōu)化揉稚。

在建模過程中秒啦，為了獲得泛化能力強的模型，我們需要一整套方法及評價指標搀玖。

評估方法：為保證客觀地評估模型余境，對數(shù)據(jù)集進行的有效劃分實驗方法。
性能指標：量化地度量模型效果的指標。

2.離線與在線實驗方法

進行評估的實驗方法可以分為「離線」和「在線」兩種芳来。

1）離線實驗方法

模型評估通常指離線試驗含末。原型設計（Prototyping）階段及離線試驗方法，包含以下幾個過程：

使用歷史數(shù)據(jù)訓練一個適合解決目標任務的一個或多個機器學習模型即舌。
對模型進行驗證（Validation）與離線評估（Offline Evaluation）佣盒。
通過評估指標選擇一個較好的模型。

2）在線實驗方法

除了離線評估之外顽聂，其實還有一種在線評估的實驗方法肥惭。由于模型是在老的模型產(chǎn)生的數(shù)據(jù)上學習和驗證的，而線上的數(shù)據(jù)與之前是不同的紊搪，因此離線評估并不完全代表線上的模型結果蜜葱。因此我們需要在線評估，來驗證模型的有效性耀石。

在線實驗有一個杰出代表牵囤，那就是A/B Test。

A/B Test是目前在線測試中最主要的方法滞伟。A/B Test是為同一個目標制定兩個方案讓一部分用戶使用A方案奔浅，另一部分用戶使用B方案，記錄下用戶的使用情況诗良，看哪個方案更符合設計目標汹桦。如果不做AB實驗直接上線新方案，新方案甚至可能會毀掉你的產(chǎn)品鉴裹。

3）評估指標

在離線評估中舞骆，經(jīng)常使用準確率（Accuracy）、查準率（Precision）径荔、召回率（Recall）督禽、ROC、AUC总处、PRC等指標來評估模型狈惫。

在線評估與離線評估所用的評價指標不同，一般使用一些商業(yè)評價指標鹦马，如用戶生命周期值（Customer Lifetime value）胧谈、廣告點擊率（Click Through Rate）、用戶流失率（Customer Churn Rate）等標荸频。

我們將常見的評估指標匯總如下：

3.常見模型評估方法介紹

下面我們來了解一下模型評估方法菱肖，主要涉及到對完整數(shù)據(jù)集不同的有效劃分方法，保證我們后續(xù)計算得到的評估指標是可靠有效的旭从，進而進行模型選擇和優(yōu)化稳强。

1）留出法（Hold-out）

留出法是機器學習中最常見的評估方法之一场仲，它會從訓練數(shù)據(jù)中保留出驗證樣本集，這部分數(shù)據(jù)不用于訓練退疫，而用于模型評估渠缕。

完整的數(shù)學定義如下：

對于一個機器學習問題，通常有數(shù)據(jù)集D（用于訓練模型）褒繁，但還需要評估模型亦鳞，因此不能把整個D用于訓練，因為拿訓練過的數(shù)據(jù)再去評估必然無效澜汤。那么最基本的方法就是留出法：把D劃分為兩部分蚜迅，訓練集S和測試集T，其中SUT=D俊抵，S∩T=Φ谁不。

下面是留出法數(shù)據(jù)劃分的注意點：

隨機劃分不一定能保證有效性，因為如果T中正好只取到某一種特殊類型數(shù)據(jù)徽诲，從而帶來了額外的誤差刹帕。此時處理方法要視具體情況而定，如當數(shù)據(jù)明顯的分為有限類時谎替，可以采用分層抽樣方式選擇測試數(shù)據(jù)偷溺，保證數(shù)據(jù)分布比例的平衡。
單次劃分不一定能得到合適的測試集钱贯，一般多次重復「劃分 - 訓練 - 測試求誤差」的步驟挫掏，取誤差的平均值。
劃分的驗證集秩命，太大或者太小都不合適尉共，常用做法是選擇1/5 - 1/3左右數(shù)據(jù)當作驗證集用于評估。

2）交叉驗證法（Cross Validation）

留出法的數(shù)據(jù)劃分弃锐，可能會帶來偏差袄友。在機器學習中，另外一種比較常見的評估方法是交叉驗證法——K折交叉驗證對K個不同分組訓練的結果進行平均來減少方差霹菊。

因此模型的性能對數(shù)據(jù)的劃分就不那么敏感剧蚣，對數(shù)據(jù)的使用也會更充分，模型評估結果更加穩(wěn)定旋廷，可以很好地避免上述問題鸠按。

3）自助法（Bootstrap）

部分場景下，數(shù)據(jù)量較少柳洋，很難通過已有的數(shù)據(jù)來估計數(shù)據(jù)的整體分布（因為數(shù)據(jù)量不足時待诅，計算的統(tǒng)計量反映不了數(shù)據(jù)分布），這時可以使用Bootstrap自助法熊镣。

Bootstrap是一種用小樣本估計總體值的一種非參數(shù)方法，在進化和生態(tài)學研究中應用十分廣泛。Bootstrap通過有放回抽樣生成大量的偽樣本绪囱，通過對偽樣本進行計算测蹲，獲得統(tǒng)計量的分布，從而估計數(shù)據(jù)的整體分布鬼吵。

有了有效的模型評估方法扣甲，我們還需要量化的度量標準來精準評估與判斷。下文歸納了分類與回歸問題的各類評估指標齿椅。

4.回歸問題常用的評估指標

回歸類問題場景下，我們會得到連續(xù)值的預測結果，比對標準答案政基，我們有MAE凑兰、MSE、RMSE等評估指標（準則）可以衡量預測結果相對實際情況的偏離程度遣蚀，它們的取值越小說明回歸模型的預測越準矾麻，模型性能越好。如下圖所示：

1）平均絕對誤差 MAE

平均絕對誤差（Mean Absolute Error芭梯，MAE）险耀，又叫平均絕對離差，是所有標簽值與回歸模型預測值的偏差的絕對值的平均玖喘。

優(yōu)點：直觀地反映回歸模型的預測值與實際值之間的偏差甩牺。準確地反映實際預測誤差的大小。不會出現(xiàn)平均誤差中誤差符號不同而導致的正負相互抵消累奈。
缺點：不能反映預測的無偏性（估算的偏差就是估計值的期望與真實值的差值贬派。無偏就要求估計值的期望就是真實值）。

$MAE=\frac{1}{m} \sum_{i=1}^{m}\left|f\left(x_{i}\right)-y_{i}\right|$

2）平均絕對百分誤差 MAPE

雖然平均絕對誤差能夠獲得一個評價值费尽，但是你并不知道這個值代表模型擬合是優(yōu)還是劣赠群，只有通過對比才能達到效果。當需要以相對的觀點來衡量誤差時旱幼，則使用MAPE查描。

平均絕對百分誤差（Mean Absolute Percentage Error，MAPE）是對MAE的一種改進柏卤，考慮了絕對誤差相對真實值的比例冬三。

優(yōu)點：考慮了預測值與真實值的誤差≡蹈浚考慮了誤差與真實值之間的比例勾笆。

$MAPE=\frac{100}{m} \sum_{i=1}^{m} \left | \frac{y_{i}-f\left(x_{i}\right)}{y_{i}} \right |$

在某些場景下，如房價從5K到50K之間桥滨，5K預測成10K與50K預測成45K的差別是非常大的窝爪，而平均絕對百分誤差考慮到了這點弛车。

3）均方誤差 MSE

MAE雖能較好衡量回歸模型的好壞，但是絕對值的存在導致函數(shù)不光滑蒲每，在某些點上不能求導纷跛。可以考慮將絕對值改為殘差的平方邀杏，就得到了均方誤差贫奠。

均方誤差（Mean Square Error，MSE）相對于平均絕對誤差而言望蜡，均方誤差求的是所有標簽值與回歸模型預測值的偏差的平方的平均唤崭。

優(yōu)點：準確地反映實際預測誤差的大小。放大預測偏差較大的值脖律。比較不同預測模型的穩(wěn)定性谢肾。
缺點：不能反映預測的無偏性。

$MSE=\frac{1}{m} \sum_{i=1}^{m}\left(f\left(x_{i}\right)-y_{i}\right)^{2}$

4）均方根誤差 RMSE

均方根誤差（Root-Mean-Square Error状您，RMSE）勒叠，也稱標準誤差，是在均方誤差的基礎上進行開方運算膏孟。RMSE會被用來衡量觀測值同真值之間的偏差眯分。

$RMSE=\sqrt{MSE} =\sqrt{\frac{1}{m} \sum_{i=1}^{m}\left(f\left(x_{i}\right)-y_{i}\right)^{2}}$

5）決定系數(shù)

決定系數(shù)R平方與之前介紹的三個指標有所不同，它表征的是因變量y的變化中有多少可以用自變量x來解釋柒桑，是回歸方程對觀測值擬合程度的一種體現(xiàn)弊决。

R平方越接近1，說明回歸模型的性能越好魁淳，即能夠解釋大部分的因變量變化飘诗。

優(yōu)點：用于定量描述回歸模型的解釋能力。
缺點：沒有考慮特征數(shù)量變化的影響界逛。無法比較特征數(shù)目不同的回歸模型昆稿。

$R^{2}=\frac{SSR}{SST}$

SSR：Sum of Squares of the Regression，即預測數(shù)據(jù)與原始數(shù)據(jù)均值之差的平方和息拜，反映的是模型相對原始數(shù)據(jù)均值的離散程度溉潭。
SST：Total Sum of Squares，即原始數(shù)據(jù)和均值之差的平方和少欺，反映的是原始數(shù)據(jù)相對均值的離散程度喳瓣。
SSE：Sum of Squares for Error，殘差平方和赞别，原始數(shù)據(jù)和預測數(shù)據(jù)之差的平方和畏陕。

6）校正決定系數(shù)

在利用R平方來評價回歸方程的優(yōu)劣時，隨著自變量個數(shù)的不斷增加仿滔，R平方將不斷增大惠毁。而校正決定系數(shù)則可以消除樣本數(shù)量和特征數(shù)量的影響犹芹。

優(yōu)點：在決定系數(shù)R平方的基礎上考慮了特征個數(shù)的影響。比較變量數(shù)不同的模型仁讨。

$R^{2}_{-} \text {adjusted }=1-\frac{\left(1-R^{2}\right)(m-1)}{m-n-1}$

5.回歸評估指標適用場景分析

在熟悉了回歸問題的各種評價指標后羽莺，再來看看各自適用的具體場景以及優(yōu)缺點实昨。

MAE洞豁、MSE、RMSE均存在求平均的操作（包括R的平方也可以認為有此操作荒给，只是因為分子分母的約分導致求平均的操作不明顯）丈挟，而取均值是為了消除樣本數(shù)量的影響，使得評估指標的大小不會太依賴于樣本數(shù)量志电，而是更多地反映模型的誤差曙咽。

校正之后的決定系數(shù)在此基礎上消除了樣本數(shù)量和特征數(shù)量的影響，自變量越多挑辆，校正決定系數(shù)就會對自變量進行處罰例朱，所以一般校正決定系數(shù)小于決定系數(shù)，它能更好地反映模型的質量鱼蝉，可以用來選擇不同特征數(shù)量的回歸模型洒嗤。

6.分類問題常用的評估指標

分類問題是機器學習領域最常見的大類問題，有很多場景可以劃歸到分類問題的解決范疇魁亦。下面我們梳理一下分類問題的主要評估指標（Evaluation Metrics）渔隶。

1）混淆矩陣

在人工智能中，混淆矩陣（Confusion Matrix）是非常有效的評估模式洁奈，特別用于監(jiān)督學習（在無監(jiān)督學習中一般叫做匹配矩陣）间唉。典型的混淆矩陣構成如下圖所示：

每一列代表了預測類別，每一列的總數(shù)表示預測為該類別的數(shù)據(jù)的數(shù)目利术。
每一行代表了數(shù)據(jù)的真實歸屬類別呈野，每一行的數(shù)據(jù)總數(shù)表示該類別的數(shù)據(jù)實例的數(shù)目。

True Positive（TP）：真實值為Positive印叁，預測值為Positive被冒。
False positive（FP）：真實值為Negative，預測值為Negative喉钢。
False Negative（FN）：真實值為Negative姆打，預測值為Positive。
True Negative（TN）：真實值為Positive肠虽，預測值為Negative幔戏。

很多評估指標可以基于混淆矩陣計算得到，如下圖所示：

2）Accuracy 精確率

對于分類問題税课，精確率（Accuracy）指分類正確的樣本數(shù)占樣本總數(shù)的比例闲延，是最常用的指標痊剖，可以總體上衡量一個預測的性能。一般情況（數(shù)據(jù)類別均衡）下垒玲，模型的精度越高陆馁，說明模型的效果越好。

$Accuracy =\frac{TP+TN}{FP+FN+FP+TN}$

但是在數(shù)據(jù)類別嚴重不均衡的情況下合愈，這個評估指標并不合理叮贩，比如發(fā)病率0.1％的醫(yī)療場景下，如果只追求Accuracy佛析，模型可以把所有人判定為沒有病的正常人益老，Accuracy高達99.9%，但這個模型實際是不可用的寸莫。為了更好地應對上述問題捺萌，衍生出了一系列其他評估指標。例如：

寧愿漏掉膘茎，不可錯殺：在識別垃圾郵件的場景中可能偏向這一種思路桃纯，因為不希望很多的正常郵件被誤殺，這樣會造成嚴重的困擾披坏。因此态坦，查準率（Precision）將是一個被側重關心的指標。
寧愿錯殺刮萌，不可漏掉：在金融風控領域大多偏向這種思路驮配，希望系統(tǒng)能夠篩選出所有有風險的行為或用戶，然后交給人工鑒別着茸，漏掉一個可能造成災難性后果壮锻。因此，查全率（Recall）將是一個被側重關心的指標涮阔。

3）Precision 查準率

Precision（查準率）猜绣，又稱正確率、準確率敬特，表示在模型識別為正類的樣本中掰邢，真正為正類的樣本所占的比例。一般情況下伟阔，查準率越高辣之，說明模型的效果越好。

$Precision =\frac{TP}{FP+FP}$

4）Recall 查全率

Recall（查全率）皱炉，又稱召回率怀估，表示的是，模型正確識別出為正類的樣本的數(shù)量占總的正類樣本數(shù)量的比值。一般情況下多搀，Recall越高歧蕉，說明有更多的正類樣本被模型預測正確，模型的效果越好康铭。

$Recall =\frac{TP}{TP+FN}$

5）Fβ-Score和F1-Score

理論上來說惯退，Precision和Recall都是越高越好，但更多時候它們兩個是矛盾的从藤，經(jīng)常無法保證二者都很高催跪。此時，引入一個新指標 $F \beta - Score$ 呛哟，用來綜合考慮 Precision 與 Recall叠荠。

$F_{\beta}=\left(1+\beta^{2}\right) \times \frac{\text { Precision } \times \text { Recall }}{\beta^{2} \times \text { Precision }+\text { Recall }}$

需要根據(jù)不同的業(yè)務場景來調整 $\beta$ 值：

$\beta = 1$ 時， $F \beta - Score$ 就是 $F 1 - Score$ 扫责，綜合平等考慮Precision和Recall的評估指標，當F1值較高時則說明模型性能較好逃呼。

$F_{1}=\frac{2 \text { Precision } \times \text { Recall }}{\text { Precision }+\text { Recall }}$

$\beta < 1$ 時鳖孤，更關注Precision。
$\beta > 1$ 時抡笼，更關注Recall苏揣。

6）ROC

除了前面介紹的Accuracy、Precision與Recall推姻，還有一些其他的度量標準平匈，如使用True Positive Rate（TPR，真正例率）和False Positive Rate（FPR藏古，假正例率）兩個指標來繪制ROC曲線增炭。

$TPR =\frac{TP}{TP+FN}$

$FPR =\frac{FP}{FP+TN}$

算法對樣本進行分類時，都會有置信度拧晕，即表示該樣本是正樣本的概率隙姿。

比如，99%的概率認為樣本Ａ是正例厂捞，１％的概率認為樣本B是正例输玷。通過選擇合適的閾值，比如50%靡馁，對樣本進行劃分欲鹏，概率大于50%的就認為是正例，小于50%的就是負例臭墨。

通過置信度可以對所有樣本進行降序排序赔嚎，再逐個樣本地選擇閾值，比如排在某個樣本之前的都屬于正例裙犹，該樣本之后的都屬于負例尽狠。每一個樣本作為劃分閾值時衔憨，都可以計算對應的TPR和FPR，那么就可以繪制ROC曲線袄膏。

ROC曲線（Receiver Operating Characteristic Curve）全稱是「受試者工作特性曲線」践图。綜合考慮了概率預測排序的質量，體現(xiàn)了學習器在不同任務下的「期望泛化性能」的好壞沉馆，反映了TPR和FPR隨閾值的變化情況码党。

ROC曲線越接近左上角，表示該分類器的性能越好斥黑。也就是說模型在保證能夠盡可能地準確識別小眾樣本的基礎上揖盘，還保持一個較低的誤判率，即不會因為要找出小眾樣本而將很多大眾樣本給誤判锌奴。

一般來說兽狭，如果ROC是光滑的，那么基本可以判斷沒有太大的overfitting鹿蜀。

7）AUC

ROC曲線的確能在一定程度上反映模型的性能箕慧，但它并不是那么方便，因為曲線靠近左上方這個說法還比較主觀茴恰，不夠定量化颠焦，因此還是需要一個定量化的標量指標來反映這個事情。ROC曲線的AUC值恰好就做到了這一點往枣。

AUC（Area Under ROC Curve）是ROC曲線下面積伐庭，其物理意義是，正樣本的預測結果大于負樣本的預測結果的概率分冈，本質是AUC反應的是分類器對樣本的排序能力圾另。

AUC值越大，就能夠保證ROC曲線越靠近左上方丈秩。

8）PRC

與ROC曲線的思想類似盯捌，根據(jù)Precision和Recall，也提出了一種Precision-Recall曲線蘑秽。

同樣是通過置信度就可以對所有樣本進行降序排序饺著，再逐個樣本地選擇閾值，比如排在某個樣本之前的都屬于正例肠牲，該樣本之后的都屬于負例幼衰。每一個樣本作為劃分閾值時，都可以計算對應的Precision和Recall缀雳，那么就可以繪制PR曲線渡嚣。

9）小結

7.二分類評估指標適用場景

在不同的業(yè)務場景中，Precision和Recall的側重不一樣：

對于癌癥預測、地震預測這類業(yè)務場景识椰，人們更關注模型對正類的預測能力和敏感度绝葡，因此模型要盡可能提升Recall，甚至不惜降低Precision腹鹉。
而對于垃圾郵件識別等場景中藏畅，人們更難以接受FP（把正常郵件識別為垃圾郵件，影響工作）功咒，因此模型可以適度降低Recall以便獲得更高的Precision愉阎。我們可以通過調節(jié) $F \beta - Score$ 中 $\beta$ 的大小來控制Precision和Recall的側重程度。

1）評價指標分析

對于這些評價指標的選擇力奋，有如下的一些經(jīng)驗：

Accuracy適用于正負樣本比例相差不大的情況的結果評估榜旦。
Precision和Recall適用于正負樣本差異很大的情況，Precision不能用于抽樣情況下的效果評估景殷，Recall不受抽樣影響溅呢。
負樣本的數(shù)量遠遠大于正樣本的數(shù)據(jù)集里，PRC更能有效衡量分類器的好壞滨彻。
AUC計算主要與排序有關藕届，所以它對排序敏感，而對預測分數(shù)沒那么敏感亭饵。

2）垃圾郵件識別

垃圾郵件占用網(wǎng)絡帶寬、侵犯收件人的隱私權梁厉、騙人錢財?shù)裙佳颍呀?jīng)對現(xiàn)實社會造成了危害。一般來說词顾，凡是未經(jīng)用戶許可就強行發(fā)送到用戶的郵箱中的任何電子郵件都可稱作是垃圾郵件八秃，這是一個典型的二分類問題。

「把垃圾文件識別為正常文件」和「把正常文件識別為垃圾文件」肉盹，二者相比昔驱，、我們顯然更能容忍前者上忍，因此模型可以適度降低Recall以便獲得更高的Precision骤肛。

3）金融風控

再來看個金融風控的例子，首先需要明確一點窍蓝，正骋傅撸客戶的數(shù)量一般來說是遠遠大于風險客戶的，這是個樣本不均衡問題吓笙∈缑担互聯(lián)網(wǎng)金融公司風控部門的主要工作是利用機器模型抓取壞客戶。

根據(jù)前面對Precision、Recall以及PR曲線的介紹絮蒿，知道尊搬，Precision和Recall往往都是相互牽制的，很難同時達到一個很高的水平土涝。所以在這個案例中佛寿，同樣需要根據(jù)業(yè)務場景來衡量這兩個指標的重要性。

互聯(lián)網(wǎng)金融公司要擴大業(yè)務量回铛，盡量多的吸引好客戶狗准，此時風控部門就會提高閾值，從而提高模型的查準率Precision茵肃，同時腔长，也會放進一部分壞客戶，導致查全率Recall下降验残。
如果公司壞賬擴大捞附，公司縮緊業(yè)務，盡可能抓住更多的壞客戶您没，此時風控部門需要不惜一切代價降低損失鸟召，守住風險底線，因此會降低閾值氨鹏，從而提高模型的查全率Recall欧募，但是這樣會導致一部分好客戶誤抓，從而降低模型的查準率Precision仆抵。

可以通過調節(jié) $F \beta - Score$ 中 $\beta$ 的大小來控制Precision和Recall的側重程度跟继。 $\beta < 1$ ，重視查準率镣丑； $\beta > 1$ 舔糖，重視查全率。

8.樣本均衡與采樣

首先看看什么是分類任務中的樣本不均衡問題莺匠，以及如何解決樣本不均衡問題金吗。

1）樣本均衡問題

在學術研究與教學中，很多算法都有一個基本假設趣竣，那就是數(shù)據(jù)分布是均勻的摇庙。當把這些算法直接應用于實際數(shù)據(jù)時，大多數(shù)情況下都無法取得理想的結果期贫，因為實際數(shù)據(jù)往往分布得很不均勻跟匆，都會存在「長尾現(xiàn)象」。

多數(shù)樣本數(shù)量多通砍，信息量大玛臂，容易被模型充分學習烤蜕，模型容易識別這類樣本
少數(shù)樣本數(shù)量少，信息量少迹冤，模型沒有充分學習到它們的特征讽营，很難識別這類樣本

解決這一問題的基本思路是，讓正負樣本在訓練過程中擁有相同的話語權（比如利用采樣與加權等方法）泡徙。樣本類別不均衡的情況下橱鹏，最常見的處理方式是「數(shù)據(jù)采樣」與「樣本加權」，詳細介紹如下：

2）數(shù)據(jù)采樣

（1）欠采樣 / 下采樣

欠采樣技術是將數(shù)據(jù)從原始數(shù)據(jù)集中移除堪藐。

從多數(shù)類集合中篩選樣本集E莉兰。
將這些樣本從多數(shù)類集合中移除。

（2）過采樣 / 上采樣

隨機過采樣：

首先在少數(shù)類集合中隨機選中一些少數(shù)類樣本礁竞。
然后通過復制所選樣本生成樣本集合E糖荒。
將它們添加到少數(shù)類集合中來擴大原始數(shù)據(jù)集從而得到新的少數(shù)類集合。

我們也有一些少類別樣本合成技術方法模捂，比如機器學習中有SMOTE算法通過合成新樣本完成過采樣捶朵，緩解樣本類別不均衡問題。

（3）不同采樣方法的比較

下采樣的缺點顯而易見狂男，那就是最終的訓練集丟失了數(shù)據(jù)综看，模型只學到了總體模式的一部分。而SMOTE算法為每個小眾樣本合成相同數(shù)量的新樣本岖食，但這也帶來一些潛在的問題：

一方面是增加了類之間重疊的可能性红碑，即通過算法生成的小眾樣本并不一定是合理的小眾樣本。
另一方面是生成一些沒有提供有益信息的樣本泡垃。

3）加權

除了上采樣和下采樣這種采樣方式以外句喷，還可以通過加權的方式來解決數(shù)據(jù)不均衡問題，即對不同類別分錯的代價不同兔毙，對于小眾樣本，如果分錯了會造成更大的損失兄春。這種方法的難點在于設置合理的權重澎剥，實際應用中一般讓各個分類間的加權損失值近似相等。當然這并不是通用法則赶舆，還是需要具體問題具體分析哑姚。

視頻教程

可以點擊 B站查看視頻的【雙語字幕】版本

【雙語字幕+資料下載】斯坦福CS229 | 機器學習-吳恩達主講(2018·完整版)
https://www.bilibili.com/video/BV1TT4y127Nf?p=8

最后編輯于：2022.03.13 20:24:19

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個濱河市芜茵，隨后出現(xiàn)的幾起案子叙量，更是在濱河造成了極大的恐慌，老刑警劉巖九串，帶你破解...
沈念sama閱讀 206,839評論 6贊 482
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件绞佩，死亡現(xiàn)場離奇詭異寺鸥，居然都是意外死亡，警方通過查閱死者的電腦和手機品山，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 88,543評論 2贊 382
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門胆建，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人肘交，你說我怎么就攤上這事笆载。” “怎么了涯呻？”我有些...
開封第一講書人閱讀 153,116評論 0贊 344
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵凉驻，是天一觀的道長。經(jīng)常有香客問我复罐，道長涝登，這世上最難降的妖魔是什么？我笑而不...
開封第一講書人閱讀 55,371評論 1贊 279
?港島之戀（遺憾婚禮）
正文為了忘掉前任市栗，我火速辦了婚禮缀拭，結果婚禮上，老公的妹妹穿的比我還像新娘填帽。我一直安慰自己蛛淋，他們只是感情好，可當我...
茶點故事閱讀 64,384評論 5贊 374
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布篡腌。她就那樣靜靜地躺著褐荷，像睡著了一般。火紅的嫁衣襯著肌膚如雪嘹悼。梳的紋絲不亂的頭發(fā)上叛甫，一...
開封第一講書人閱讀 49,111評論 1贊 285
城市分裂傳說
那天，我揣著相機與錄音杨伙，去河邊找鬼其监。笑死，一個胖子當著我的面吹牛限匣，可吹牛的內容都是我干的抖苦。我是一名探鬼主播，決...
沈念sama閱讀 38,416評論 3贊 400
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼米死，長吁一口氣：“原來是場噩夢啊……” “哼锌历！你這毒婦竟也來了囤踩？” 一聲冷哼從身側響起突诬，我...
開封第一講書人閱讀 37,053評論 0贊 259
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤撤师，失蹤者是張志新（化名）和其女友劉穎迎膜，沒想到半個月后米罚，有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體慕购，經(jīng)...
沈念sama閱讀 43,558評論 1贊 300
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡洲胖，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內容為張勛視角年9月15日...
茶點故事閱讀 36,007評論 2贊 325
?白月光啟示錄
正文我和宋清朗相戀三年竣况，在試婚紗的時候發(fā)現(xiàn)自己被綠了。大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片商膊。...
茶點故事閱讀 38,117評論 1贊 334
活死人
序言：一個原本活蹦亂跳的男人離奇死亡伏伐，死狀恐怖，靈堂內的尸體忽然破棺而出晕拆，到底是詐尸還是另有隱情藐翎，我是刑警寧澤，帶...
沈念sama閱讀 33,756評論 4贊 324
?日本核電站爆炸內幕
正文年R本政府宣布实幕，位于F島的核電站吝镣，受9級特大地震影響，放射性物質發(fā)生泄漏昆庇。R本人自食惡果不足惜末贾，卻給世界環(huán)境...
茶點故事閱讀 39,324評論 3贊 307
男人毒藥：我在死后第九天來索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望整吆。院中可真熱鬧拱撵，春花似錦、人聲如沸表蝙。這莊子的主人今日做“春日...
開封第一講書人閱讀 30,315評論 0贊 19
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽府蛇。三九已至集索，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間汇跨，已是汗流浹背务荆。一陣腳步聲響...
開封第一講書人閱讀 31,539評論 1贊 262
情欲美人皮
我被黑心中介騙來泰國打工，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留穷遂，地道東北人函匕。一個月前我還...
沈念sama閱讀 45,578評論 2贊 355
代替公主和親
正文我出身青樓，卻偏偏與公主長得像蚪黑，于是被迫代替她去往敵國和親浦箱。傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當晚...
茶點故事閱讀 42,877評論 2贊 345