文章轉(zhuǎn)載自Google,最近更新：2018-08-3

Google上線了一個“機器學(xué)習(xí)速成課程”，英文簡稱MLCC或听。這個課程節(jié)奏緊湊、內(nèi)容實用衰腌。課程基本可以全程中文（包括視頻）,免費,并且有相關(guān)的練習(xí).

如果可以翻墻的小伙伴,可以看看,鏈接如下:機器學(xué)習(xí)速成課程

具體內(nèi)容如下:

1.指定閾值

邏輯回歸返回的是概率贸伐。您可以“原樣”使用返回的概率（例如勘天，用戶點擊此廣告的概率為 0.00023），也可以將返回的概率轉(zhuǎn)換成二元值（例如捉邢，這封電子郵件是垃圾郵件）脯丝。

如果某個邏輯回歸模型對某封電子郵件進行預(yù)測時返回的概率為 0.9995，則表示該模型預(yù)測這封郵件非撤ィ可能是垃圾郵件宠进。相反，在同一個邏輯回歸模型中預(yù)測分數(shù)為 0.0003 的另一封電子郵件很可能不是垃圾郵件藐翎〔牡牛可如果某封電子郵件的預(yù)測分數(shù)為 0.6 呢？為了將邏輯回歸值映射到二元類別吝镣，您必須指定分類閾值（也稱為判定閾值）堤器。如果值高于該閾值，則表示“垃圾郵件”末贾；如果值低于該閾值闸溃，則表示“非垃圾郵件”。人們往往會認為分類閾值應(yīng)始終為 0.5拱撵，但閾值取決于具體問題辉川，因此您必須對其進行調(diào)整。

我們將在后面的部分中詳細介紹可用于對分類模型的預(yù)測進行評估的指標拴测，以及更改分類閾值對這些預(yù)測的影響乓旗。

注意：“調(diào)整”邏輯回歸的閾值不同于調(diào)整學(xué)習(xí)速率等超參數(shù)。在選擇閾值時昼扛，需要評估您將因犯錯而承擔多大的后果寸齐。例如欲诺，將非垃圾郵件誤標記為垃圾郵件會非常糟糕。不過渺鹦，雖然將垃圾郵件誤標記為非垃圾郵件會令人不快扰法，但應(yīng)該不會讓您丟掉工作。

關(guān)鍵字詞

1. 二元分類 (binary classification)
   一種分類任務(wù)毅厚，可輸出兩種互斥類別之一塞颁。例如，對電子郵件進行評估并輸出“垃圾郵件”或“非垃圾郵件”的機器學(xué)習(xí)模型就是一個二元分類器吸耿。

2. 分類模型 (classification model)
   一種機器學(xué)習(xí)模型祠锣，用于區(qū)分兩種或多種離散類別。例如咽安，某個自然語言處理分類模型可以確定輸入的句子是法語伴网、西班牙語還是意大利語。請與回歸模型進行比較妆棒。

2.分類 (Classification)：真與假以及正類別與負類別

在本部分澡腾，我們將定義用于評估分類模型的指標的主要組成部分。不過糕珊，我們先來看一則寓言故事：

伊索寓言：狼來了（精簡版）

有一位牧童要照看鎮(zhèn)上的羊群动分，但是他開始厭煩這份工作。為了找點樂子红选，他大喊道：“狼來了澜公！”其實根本一頭狼也沒有出現(xiàn)。村民們迅速跑來保護羊群喇肋，但他們發(fā)現(xiàn)這個牧童是在開玩笑后非常生氣坟乾。

[這樣的情形重復(fù)出現(xiàn)了很多次。]

一天晚上苟蹈，牧童看到真的有一頭狼靠近羊群糊渊，他大聲喊道：“狼來了！”村民們不想再被他捉弄慧脱，都待在家里不出來渺绒。這頭饑餓的狼對羊群大開殺戒，美美飽餐了一頓菱鸥。這下子宗兼，整個鎮(zhèn)子都揭不開鍋了〉桑恐慌也隨之而來

我們做出以下定義：

• “狼來了”是正類別殷绍。
• “沒有狼”是負類別。

我們可以使用一個 2x2 混淆矩陣來總結(jié)我們的“狼預(yù)測”模型鹊漠，該矩陣描述了所有可能出現(xiàn)的結(jié)果（共四種）：

真正例是指模型將正類別樣本正確地預(yù)測為正類別主到。同樣茶行，真負例是指模型將負類別樣本正確地預(yù)測為負類別。

假正例是指模型將負類別樣本錯誤地預(yù)測為正類別登钥，而假負例是指模型將正類別樣本錯誤地預(yù)測為負類別畔师。

在后面的部分中，我們將介紹如何使用從這四種結(jié)果中衍生出的指標來評估分類模型牧牢。

關(guān)鍵字詞

1. 混淆矩陣 (confusion matrix)
   一種 NxN 表格看锉，用于總結(jié)分類模型的預(yù)測成效；即標簽和模型預(yù)測的分類之間的關(guān)聯(lián)塔鳍。在混淆矩陣中伯铣，一個軸表示模型預(yù)測的標簽，另一個軸表示實際標簽轮纫。N 表示類別個數(shù)腔寡。在二元分類問題中，N=2蜡感。例如蹬蚁，下面顯示了一個二元分類問題的混淆矩陣示例：
   

上面的混淆矩陣顯示，在 19 個實際有腫瘤的樣本中郑兴，該模型正確地將 18 個歸類為有腫瘤（18 個真正例），錯誤地將 1 個歸類為沒有腫瘤（1 個假負例）贝乎。同樣情连，在 458 個實際沒有腫瘤的樣本中，模型歸類正確的有 452 個（452 個真負例）览效，歸類錯誤的有 6 個（6 個假正例）却舀。

多類別分類問題的混淆矩陣有助于確定出錯模式。例如锤灿，某個混淆矩陣可以揭示挽拔，某個經(jīng)過訓(xùn)練以識別手寫數(shù)字的模型往往會將 4 錯誤地預(yù)測為 9，將 7 錯誤地預(yù)測為 1但校◇ψ纾混淆矩陣包含計算各種效果指標（包括精確率和召回率）所需的充足信息。

2. 負類別 (negative class)

在二元分類中状囱，一種類別稱為正類別术裸，另一種類別稱為負類別。正類別是我們要尋找的類別亭枷，負類別則是另一種可能性袭艺。例如，在醫(yī)學(xué)檢查中叨粘，負類別可以是“非腫瘤”猾编。在電子郵件分類器中瘤睹，負類別可以是“非垃圾郵件”。另請參閱正類別答倡。

3. 正類別 (positive class)

在二元分類中轰传，兩種可能的類別分別被標記為正類別和負類別。正類別結(jié)果是我們要測試的對象绸吸。（不可否認的是，我們會同時測試這兩種結(jié)果设江，但只關(guān)注正類別結(jié)果锦茁。）例如，在醫(yī)學(xué)檢查中叉存，正類別可以是“腫瘤”码俩。在電子郵件分類器中，正類別可以是“垃圾郵件”歼捏。與負類別相對稿存。

4. 真正例 (TP, true positive)

被模型正確地預(yù)測為正類別的樣本。例如瞳秽，模型推斷出某封電子郵件是垃圾郵件瓣履，而該電子郵件確實是垃圾郵件。

5. 真負例 (TN, true negative)

被模型正確地預(yù)測為負類別的樣本练俐。例如袖迎，模型推斷出某封電子郵件不是垃圾郵件，而該電子郵件確實不是垃圾郵件腺晾。

3.分類 (Classification)：準確率

準確率是一個用于評估分類模型的指標燕锥。通俗來說，準確率是指我們的模型預(yù)測正確的結(jié)果所占的比例悯蝉。正式點說归形，準確率的定義如下：

對于二元分類，也可以根據(jù)正類別和負類別按如下方式計算準確率：

其中鼻由，TP = 真正例暇榴，TN = 真負例，F(xiàn)P = 假正例嗡靡，F(xiàn)N = 假負例跺撼。

讓我們來試著計算一下以下模型的準確率，該模型將 100 個腫瘤分為惡性 （正類別）或良性（負類別）：

準確率為 0.91讨彼，即 91%（總共 100 個樣本中有 91 個預(yù)測正確）歉井。這表示我們的腫瘤分類器在識別惡性腫瘤方面表現(xiàn)得非常出色，對吧哈误？

實際上哩至，只要我們仔細分析一下正類別和負類別躏嚎，就可以更好地了解我們模型的效果。

在 100 個腫瘤樣本中菩貌，91 個為良性（90 個 TN 和 1 個 FP）卢佣，9 個為惡性（1 個 TP 和 8 個 FN）。

在 91 個良性腫瘤中箭阶，該模型將 90 個正確識別為良性虚茶。這很好。不過仇参，在 9 個惡性腫瘤中嘹叫，該模型僅將 1 個正確識別為惡性。這是多么可怕的結(jié)果诈乒！9 個惡性腫瘤中有 8 個未被診斷出來罩扇！

雖然 91% 的準確率可能乍一看還不錯，但如果另一個腫瘤分類器模型總是預(yù)測良性怕磨，那么這個模型使用我們的樣本進行預(yù)測也會實現(xiàn)相同的準確率（100 個中有 91 個預(yù)測正確）喂饥。換言之，我們的模型與那些沒有預(yù)測能力來區(qū)分惡性腫瘤和良性腫瘤的模型差不多肠鲫。

當您使用分類不平衡的數(shù)據(jù)集（比如正類別標簽和負類別標簽的數(shù)量之間存在明顯差異）時员帮，單單準確率一項并不能反映全面情況。

在下一部分中导饲，我們將介紹兩個能夠更好地評估分類不平衡問題的指標：精確率和召回率集侯。

關(guān)鍵字詞

1. 準確率 (accuracy)

分類模型的正確預(yù)測所占的比例。在多類別分類中帜消，準確率的定義如下：

在二元分類中，準確率的定義如下：

2. 分類不平衡的數(shù)據(jù)集 (class-imbalanced data set)

一種二元分類問題浓体，在此類問題中泡挺，兩種類別的標簽在出現(xiàn)頻率方面具有很大的差距。例如命浴，在某個疾病數(shù)據(jù)集中娄猫，0.0001 的樣本具有正類別標簽，0.9999 的樣本具有負類別標簽生闲，這就屬于分類不平衡問題媳溺；但在某個足球比賽預(yù)測器中，0.51 的樣本的標簽為其中一個球隊贏碍讯，0.49 的樣本的標簽為另一個球隊贏悬蔽，這就不屬于分類不平衡問題。

4.分類 (Classification)：精確率和召回率

精確率

精確率指標嘗試回答以下問題：

在被識別為正類別的樣本中捉兴，確實為正類別的比例是多少蝎困？

精確率的定義如下：

注意：如果模型的預(yù)測結(jié)果中沒有假正例录语，則模型的精確率為 1.0。

讓我們來計算一下上一部分中用于分析腫瘤的機器學(xué)習(xí)模型的精確率：

召回率

召回率嘗試回答以下問題：

在所有正類別樣本中始藕，被正確識別為正類別的比例是多少蒲稳？

從數(shù)學(xué)上講，召回率的定義如下：

注意：如果模型的預(yù)測結(jié)果中沒有假負例伍派，則模型的召回率為 1.0江耀。

讓我們來計算一下腫瘤分類器的召回率：

該模型的召回率是 0.11，也就是說拙已，該模型能夠正確識別出所有惡性腫瘤的百分比是 11%决记。

精確率和召回率：一場拔河比賽

要全面評估模型的有效性，必須同時檢查精確率和召回率倍踪。遺憾的是系宫，精確率和召回率往往是此消彼長的情況。也就是說建车，提高精確率通常會降低召回率值扩借，反之亦然。請觀察下圖來了解這一概念缤至，該圖顯示了電子郵件分類模型做出的 30 項預(yù)測潮罪。分類閾值右側(cè)的被歸類為“垃圾郵件”，左側(cè)的則被歸類為“非垃圾郵件”领斥。

圖 1. 將電子郵件歸類為垃圾郵件或非垃圾郵件

我們根據(jù)圖 1 所示的結(jié)果來計算精確率和召回率值：

精確率指的是被標記為垃圾郵件的電子郵件中正確分類的電子郵件所占的百分比嫉到，即圖 1 中閾值線右側(cè)的綠點所占的百分比：

圖 2 顯示了提高分類閾值產(chǎn)生的效果月洛。

圖 2. 提高分類閾值

假正例數(shù)量會減少何恶，但假負例數(shù)量會相應(yīng)地增加。結(jié)果嚼黔，精確率有所提高细层，而召回率則有所降低：

相反，圖 3 顯示了降低分類閾值（從圖 1 中的初始位置開始）產(chǎn)生的效果唬涧。

圖 3. 降低分類閾值

假正例數(shù)量會增加疫赎，而假負例數(shù)量會減少。結(jié)果這一次碎节，精確率有所降低捧搞，而召回率則有所提高：

我們已根據(jù)精確率和召回率指標制定了各種指標。有關(guān)示例，請參閱 F1 值实牡。

關(guān)鍵字詞

1. 精確率 (precision)

一種分類模型指標陌僵。精確率指模型正確預(yù)測正類別的頻率，即：

2. 召回率 (recall)

一種分類模型指標创坞，用于回答以下問題：在所有可能的正類別標簽中碗短，模型正確地識別出了多少個？即：

5.分類 (Classification)：檢查您的理解情況（準確率题涨、精確率偎谁、召回率）

題目1:準確率

在以下哪種情況下，高的準確率值表示機器學(xué)習(xí)模型表現(xiàn)出色纲堵？
A巡雨、一只造價昂貴的機器雞每天要穿過一條交通繁忙的道路一千次。某個機器學(xué)習(xí)模型評估交通模式席函，預(yù)測這只雞何時可以安全穿過街道铐望，準確率為 99.99%。

B茂附、一種致命但可治愈的疾病影響著 0.01% 的人群正蛙。某個機器學(xué)習(xí)模型使用其癥狀作為特征，預(yù)測這種疾病的準確率為 99.99%营曼。

C乒验、在 roulette 游戲中，一只球會落在旋轉(zhuǎn)輪上蒂阱，并且最終落入 38 個槽的其中一個內(nèi)锻全。某個機器學(xué)習(xí)模型可以使用視覺特征（球的旋轉(zhuǎn)方式、球落下時旋轉(zhuǎn)輪所在的位置录煤、球在旋轉(zhuǎn)輪上方的高度）預(yù)測球會落入哪個槽中鳄厌，準確率為 4%。

正確答案是C妈踊，具體解析如下：

A解析：在一條交通繁忙的道路上部翘，99.99% 的準確率充分表明該機器學(xué)習(xí)模型的作用比碰運氣要好得多。不過响委，在某些情況下，即使偶爾出現(xiàn)錯誤窖梁，代價也相當高赘风。99.99% 的準確率意味著這只昂貴的雞平均每 10 天就要更換一次。（這只雞也可能對它撞到的汽車造成嚴重損壞纵刘。）

B解析：在這種情形中邀窃，準確率是個糟糕的指標。畢竟，即使它只是個一律預(yù)測“沒病”的“愚蠢”模型瞬捕，也依然能達到 99.99% 的準確率鞍历。而將某個患病的人錯誤地預(yù)測為“沒病”則可能是致命的。

C解析：這個機器學(xué)習(xí)模型做出的預(yù)測比碰運氣要好得多肪虎；隨機猜測的正確率為 1/38劣砍，即準確率為 2.6%。盡管該模型的準確率“只有”4%扇救，但成功預(yù)測獲得的好處遠遠大于預(yù)測失敗的損失刑枝。

題目2:精確率

讓我們以一種將電子郵件分為“垃圾郵件”或“非垃圾郵件”這兩種類別的分類模型為例。如果提高分類閾值迅腔，精確率會怎樣装畅？
A、一定會提高沧烈。
B掠兄、一定會降低。
C锌雀、可能會降低蚂夕。
D、可能會提高汤锨。

A解析：提高分類閾值通常會使精確率提高双抽；不過，精確率并不一定會隨著閾值的提高單調(diào)遞增闲礼。
B解析：一般來說牍汹，提高分類閾值會減少假正例，從而提高精確率柬泽。
C解析：一般來說慎菲，提高分類閾值會減少假正例，從而提高精確率锨并。
D解析：一般來說露该，提高分類閾值會減少假正例，從而提高精確率第煮。

題目3:召回率

讓我們以一種將電子郵件分為“垃圾郵件”或“非垃圾郵件”這兩種類別的分類模型為例解幼。如果提高分類閾值，召回率會怎樣包警？
A撵摆、一定會提高。
B害晦、始終下降或保持不變特铝。
C、始終保持不變。

A解析：提高分類閾值會導(dǎo)致出現(xiàn)以下兩種情況：

• 真正例數(shù)量會減少或保持不變鲫剿。
• 假負例數(shù)量會增加或保持不變鳄逾。

因此，召回率一定不會提高灵莲。

B解析：提高分類閾值會導(dǎo)致真正例的數(shù)量減少或保持不變雕凹，而且會導(dǎo)致假負例的數(shù)量增加或保持不變。因此笆呆，召回率會保持不變或下降请琳。

C解析：提高分類閾值會導(dǎo)致真正例的數(shù)量減少或保持不變，而且會導(dǎo)致假負例的數(shù)量增加或保持不變赠幕。因此俄精，召回率會保持不變或下降。

題目4:精確率和召回率

以兩個模型（A 和 B）為例榕堰，這兩個模型分別對同一數(shù)據(jù)集進行評估竖慧。 以下哪一項陳述屬實？
A逆屡、如果模型 A 的召回率優(yōu)于模型 B圾旨，則模型 A 更好。
B魏蔗、如果模型 A 的精確率優(yōu)于模型 B，則模型 A 更好莺治。
C廓鞠、如果模型 A 的精確率和召回率均優(yōu)于模型 B，則模型 A 可能更好谣旁。

A解析：雖然更高的召回率是好事床佳，但可能是以精確率大幅度降低為代價。一般來說榄审，我們需要同時查看精確率和召回率砌们，或者需要匯總曲線下面積等指標（我們將在后面部分進行討論）。

B解析：雖然更高的精確率是好事搁进，但可能是以召回率大幅度降低為代價浪感。一般來說，我們需要同時查看精確率和召回率饼问，或者需要匯總曲線下面積等指標（我們將在后面部分進行討論）篮撑。

C解析：一般來說，如果某個模型在精確率和召回率方面均優(yōu)于另一模型匆瓜，則該模型可能更好。很顯然，我們需要確保在精確率/召回率點處進行比較驮吱，這在實踐中非常有用茧妒，因為這樣做才有實際意義。例如左冬，假設(shè)我們的垃圾郵件檢測模型需要達到至少 90% 的精確率才算有用桐筏，并可以避免不必要的虛假警報。在這種情況下拇砰，將 {20% 精確率梅忌，99% 召回率} 模型與另一個 {15% 精確率，98% 召回率} 模型進行比較不是特別有意義除破，因為這兩個模型都不符合 90% 的精確率要求牧氮。但考慮到這一點，在通過精確率和召回率比較模型時瑰枫，這是一種很好的方式踱葛。

6.分類 (Classification)：ROC 和曲線下面積

ROC 曲線

ROC 曲線（接收者操作特征曲線）是一種顯示分類模型在所有分類閾值下的效果的圖表。該曲線繪制了以下兩個參數(shù)：

• 真正例率
• 假正例率

**真正例率 (TPR) **是召回率的同義詞光坝，因此定義如下：

**假正例率 (FPR) **的定義如下：

ROC 曲線用于繪制采用不同分類閾值時的 TPR 與 FPR尸诽。降低分類閾值會導(dǎo)致將更多樣本歸為正類別，從而增加假正例和真正例的個數(shù)盯另。下圖顯示了一個典型的 ROC 曲線性含。

圖 4. 不同分類閾值下的 TP 率與 FP 率

為了計算 ROC 曲線上的點，我們可以使用不同的分類閾值多次評估邏輯回歸模型鸳惯，但這樣做效率非常低商蕴。幸運的是，有一種基于排序的高效算法可以為我們提供此類信息悲敷，這種算法稱為曲線下面積究恤。

曲線下面積：ROC 曲線下面積

曲線下面積表示“ROC 曲線下面積”。也就是說后德，曲線下面積測量的是從 (0,0) 到 (1,1) 之間整個 ROC 曲線以下的整個二維面積（參考積分學(xué)）部宿。

圖 5. 曲線下面積（ROC 曲線下面積）

曲線下面積對所有可能的分類閾值的效果進行綜合衡量。曲線下面積的一種解讀方式是看作模型將某個隨機正類別樣本排列在某個隨機負類別樣本之上的概率瓢湃。以下面的樣本為例理张，邏輯回歸預(yù)測從左到右以升序排列：

圖 6. 預(yù)測按邏輯回歸分數(shù)以升序排列

曲線下面積表示隨機正類別（綠色）樣本位于隨機負類別（紅色）樣本右側(cè)的概率。

曲線下面積的取值范圍為 0-1绵患。預(yù)測結(jié)果 100% 錯誤的模型的曲線下面積為 0.0雾叭；而預(yù)測結(jié)果 100% 正確的模型的曲線下面積為 1.0。

• 曲線下面積因以下兩個原因而比較實用：
• 曲線下面積的尺度不變落蝙。它測量預(yù)測的排名情況织狐，而不是測量其絕對值暂幼。
  曲線下面積的分類閾值不變。它測量模型預(yù)測的質(zhì)量移迫，而不考慮所選的分類閾值旺嬉。

不過合陵，這兩個原因都有各自的局限性讶隐，這可能會導(dǎo)致曲線下面積在某些用例中不太實用：

• 并非總是希望尺度不變。 例如檬洞，有時我們非常需要被良好校準的概率輸出荡陷，而曲線下面積無法告訴我們這一結(jié)果雨效。

• 并非總是希望分類閾值不變。 在假負例與假正例的代價存在較大差異的情況下废赞，盡量減少一種類型的分類錯誤可能至關(guān)重要徽龟。例如，在進行垃圾郵件檢測時蛹头，您可能希望優(yōu)先考慮盡量減少假正例（即使這會導(dǎo)致假負例大幅增加）顿肺。對于此類優(yōu)化，曲線下面積并非一個實用的指標渣蜗。

關(guān)鍵字詞

1. ROC 曲線下面積 (AUC, Area under the ROC Curve)

一種會考慮所有可能分類閾值的評估指標屠尊。

ROC 曲線下面積是，對于隨機選擇的正類別樣本確實為正類別耕拷，以及隨機選擇的負類別樣本為正類別讼昆，分類器更確信前者的概率。

2. 受試者工作特征曲線（receiver operating characteristic, 簡稱 ROC 曲線）

不同分類閾值下的真正例率和假正例率構(gòu)成的曲線骚烧。另請參閱曲線下面積浸赫。

7.分類 (Classification)：檢查您的理解情況（ROC 和 AUC）

題目1:ROC 和 AUC

以下哪條 ROC 曲線可產(chǎn)生大于 0.5 的 AUC 值？

A

B

C

D

E

答案是BE

A解析:這是可能出現(xiàn)的最差 ROC 曲線赃绊；它將所有負分類排列在正分類之上既峡，其 AUC 為 0.0。如果您要逆轉(zhuǎn)每一項預(yù)測結(jié)果（將負分類翻轉(zhuǎn)為正分類碧查，將正分類翻轉(zhuǎn)為負分類）运敢，還真的需要一個完美分類器！

B解析:這是可能達到的最好 ROC 曲線忠售，因為它將所有正類別排列在所有負類別之上传惠。該曲線的 AUC 為 1.0。

備注:實際上稻扬，如果您有一個 AUC 為 1.0 的“完美”分類器卦方，您應(yīng)該感到可疑，因為這可能表明您的模型中存在錯誤泰佳。例如盼砍，您的訓(xùn)練數(shù)據(jù)可能過擬合尘吗，或者帶標簽數(shù)據(jù)可能被復(fù)制到其中一項特征中。

C解析:該 ROC 曲線的 AUC 介于 0 到 0.5 之間浇坐，這意味著它在不到 50% 的情況下將某個隨機正分類樣本排列在某個隨機負分類樣本之上摇予。相應(yīng)的模型實際上比隨機猜測的效果更差！如果您看到這樣的 ROC 曲線吗跋，可能表明您的數(shù)據(jù)中存在錯誤。

D解析:該 ROC 曲線的 AUC 為 0.5宁昭，這意味著 50% 的情況下它將某個隨機正分類樣本排列在某個隨機負分類樣本之上跌宛。因此，相應(yīng)的分類模型基本上毫無價值积仗，因為其預(yù)測能力與隨機猜測差不多疆拘。

E解析:該 ROC 曲線的 AUC 介于 0.5 到 1.0 之間，這意味著它在超過 50% 以上的情況下將某個隨機正分類樣本排列在某個隨機負分類樣本之上寂曹。實際二元分類的 AUC 值通常在此范圍內(nèi)哎迄。

題目2:AUC 和預(yù)測結(jié)果的尺度

將給定模型的所有預(yù)測結(jié)果都乘以 2.0（例如，如果模型預(yù)測的結(jié)果為 0.4隆圆，我們將其乘以 2.0 得到 0.8）漱挚，會使按 AUC 衡量的模型效果產(chǎn)生何種變化？

A渺氧、這會使 AUC 變得很糟糕旨涝，因為預(yù)測值現(xiàn)在相差太大。
B侣背、這會使 AUC 變得更好白华，因為預(yù)測值之間相差都很大。
C贩耐、沒有變化弧腥。AUC 只關(guān)注相對預(yù)測分數(shù)。

A解析：有趣的是潮太，即使預(yù)測值不同（可能與事實相差很大）管搪，將它們?nèi)砍艘?2.0 會使預(yù)測值的相對排序保持不變。由于 AUC 只關(guān)注相對排名消别，因此不會受到任何簡單的預(yù)測大小縮放的影響抛蚤。

B解析：預(yù)測結(jié)果之間的差距實際上并不會影響 AUC。即使隨機抽取的真正例的預(yù)測分數(shù)只比隨機抽取的負類別樣本的預(yù)測分數(shù)大一點點寻狂，也會被當作對總體 AUC 分數(shù)有貢獻岁经。

C解析：沒錯，AUC 以相對預(yù)測為依據(jù)蛇券，因此保持相對排名的任何預(yù)測變化都不會對 AUC 產(chǎn)生影響缀壤。而對其他指標而言顯然并非如此樊拓，例如平方誤差、對數(shù)損失函數(shù)或預(yù)測偏差（稍后討論）塘慕。

8.分類 (Classification)：預(yù)測偏差

邏輯回歸預(yù)測應(yīng)當無偏差筋夏。即：

“預(yù)測平均值”應(yīng)當約等于“觀察平均值”

注意：“預(yù)測偏差”與偏差（“wx + b”中的“b”）不是一回事图呢。

如果出現(xiàn)非常高的非零預(yù)測偏差条篷，則說明模型某處存在錯誤，因為這表明模型對正類別標簽的出現(xiàn)頻率預(yù)測有誤蛤织。

例如赴叹，假設(shè)我們知道，所有電子郵件中平均有 1% 的郵件是垃圾郵件指蚜。如果我們對某一封給定電子郵件一無所知乞巧，則預(yù)測它是垃圾郵件的可能性為 1%。同樣摊鸡，一個出色的垃圾郵件模型應(yīng)該預(yù)測到電子郵件平均有 1% 的可能性是垃圾郵件绽媒。（換言之，如果我們計算單個電子郵件是垃圾郵件的預(yù)測可能性的平均值免猾，則結(jié)果應(yīng)該是 1%是辕。）然而，如果該模型預(yù)測電子郵件是垃圾郵件的平均可能性為 20%掸刊，那么我們可以得出結(jié)論免糕，該模型出現(xiàn)了預(yù)測偏差。

造成預(yù)測偏差的可能原因包括：

• 特征集不完整
• 數(shù)據(jù)集混亂
• 模型實現(xiàn)流水線中有錯誤忧侧？
• 訓(xùn)練樣本有偏差
• 正則化過強

您可能會通過對學(xué)習(xí)模型進行后期處理來糾正預(yù)測偏差石窑，即通過添加校準層來調(diào)整模型的輸出，從而減小預(yù)測偏差蚓炬。例如松逊，如果您的模型存在 3% 以上的偏差，則可以添加一個校準層肯夏，將平均預(yù)測偏差降低 3%经宏。但是，添加校準層并非良策驯击，具體原因如下：

• 您修復(fù)的是癥狀烁兰，而不是原因。
• 您建立了一個更脆弱的系統(tǒng)徊都，并且必須持續(xù)更新沪斟。

如果可能的話，請避免添加校準層暇矫。使用校準層的項目往往會對其產(chǎn)生依賴 - 使用校準層來修復(fù)模型的所有錯誤主之。最終择吊，維護校準層可能會令人苦不堪言。

注意：出色模型的偏差通常接近于零槽奕。即便如此几睛，預(yù)測偏差低并不能證明您的模型比較出色。特別糟糕的模型的預(yù)測偏差也有可能為零粤攒。例如所森，只能預(yù)測所有樣本平均值的模型是糟糕的模型，盡管其預(yù)測偏差為零夯接。

分桶偏差和預(yù)測偏差

邏輯回歸可預(yù)測 0 到 1 之間的值必峰。不過，所有帶標簽樣本都正好是 0（例如钻蹬，0 表示“非垃圾郵件”）或 1（例如，1 表示“垃圾郵件”）凭需。因此问欠，在檢查預(yù)測偏差時，您無法僅根據(jù)一個樣本準確地確定預(yù)測偏差粒蜈；您必須在“一大桶”樣本中檢查預(yù)測偏差顺献。也就是說，只有將足夠的樣本組合在一起以便能夠比較預(yù)測值（例如 0.392）與觀察值（例如 0.394）枯怖，邏輯回歸的預(yù)測偏差才有意義注整。

您可以通過以下方式構(gòu)建桶：

• 以線性方式分解目標預(yù)測。
• 構(gòu)建分位數(shù)度硝。

請查看以下某個特定模型的校準曲線肿轨。每個點表示包含 1000 個值的分桶。兩個軸具有以下含義：

• x 軸表示模型針對該桶預(yù)測的平均值蕊程。
• y 軸表示該桶的數(shù)據(jù)集中的實際平均值椒袍。

兩個軸均采用對數(shù)尺度。

圖 8. 預(yù)測偏差曲線（對數(shù)尺度）

為什么只有模型的某些部分所做的預(yù)測如此糟糕藻茂？以下是幾種可能性：

• 訓(xùn)練集不能充分表示數(shù)據(jù)空間的某些子集驹暑。
• 數(shù)據(jù)集的某些子集比其他子集更混亂。
• 該模型過于正則化辨赐。（不妨減小 lambda 的值优俘。）

關(guān)鍵字詞

1. 分桶 (bucketing)

將一個特征（通常是連續(xù)特征）轉(zhuǎn)換成多個二元特征（稱為桶或箱），通常是根據(jù)值區(qū)間進行轉(zhuǎn)換掀序。例如帆焕，您可以將溫度區(qū)間分割為離散分箱，而不是將溫度表示成單個連續(xù)的浮點特征森枪。假設(shè)溫度數(shù)據(jù)可精確到小數(shù)點后一位视搏，則可以將介于 0.0 到 15.0 度之間的所有溫度都歸入一個分箱审孽，將介于 15.1 到 30.0 度之間的所有溫度歸入第二個分箱，并將介于 30.1 到 50.0 度之間的所有溫度歸入第三個分箱浑娜。

2. 預(yù)測偏差 (prediction bias)

一個值佑力，用于表明預(yù)測平均值與數(shù)據(jù)集中標簽的平均值相差有多大。

3. 校準層 (calibration layer)

一種預(yù)測后調(diào)整筋遭，通常是為了降低預(yù)測偏差打颤。調(diào)整后的預(yù)測和概率應(yīng)與觀察到的標簽集的分布一致。