觀點1
摘要
?????現(xiàn)有的處理不平衡數(shù)據(jù)/長尾分布的方法絕大多數(shù)都是針對分類問題，而回歸問題中出現(xiàn)的數(shù)據(jù)不均衡問題確極少被研究缕陕。但是吟宦，現(xiàn)實很多的工業(yè)預(yù)測場景都是需要解決回歸的問題公黑，也就是涉及到連續(xù)的哆致，甚至是無限多的目標(biāo)值绕德，如何解決回歸問題中出現(xiàn)的數(shù)據(jù)不均衡問題呢？ICML2021一篇被接收為Long oral presentation的論文：Delving into Deep Imbalanced Re...
?????現(xiàn)有的處理不平衡數(shù)據(jù)/長尾分布的方法絕大多數(shù)都是針對分類問題摊阀，而回歸問題中出現(xiàn)的數(shù)據(jù)不均衡問題確極少被研究耻蛇。但是，現(xiàn)實很多的工業(yè)預(yù)測場景都是需要解決回歸的問題胞此，也就是涉及到連續(xù)的臣咖，甚至是無限多的目標(biāo)值，如何解決回歸問題中出現(xiàn)的數(shù)據(jù)不均衡問題呢漱牵？ICML2021一篇被接收為Long oral presentation的論文：Delving into Deep Imbalanced Regression夺蛇，推廣了傳統(tǒng)不均衡分類問題的范式，將數(shù)據(jù)不平衡問題從離散值域推廣到了連續(xù)值域布疙，并提出了兩種解決深度不均衡回歸問題的方法蚊惯。
?????主要的貢獻(xiàn)是三個方面：1）提出了一個深度不均衡回歸（Deep Imbalanced Regression, DIR）任務(wù)，定義為從具有連續(xù)目標(biāo)的不平衡數(shù)據(jù)中學(xué)習(xí)灵临，并能泛化到整個目標(biāo)范圍；2）提出了兩種解決DIR的新方法趴荸，標(biāo)簽分布平滑（label distribution smoothing, LDS）和特征分布平滑（feature distribution smoothing, FDS）儒溉，來解決具有連續(xù)目標(biāo)的不平衡數(shù)據(jù)的學(xué)習(xí)問題；3）建立了5個新的DIR數(shù)據(jù)集发钝，包括了CV顿涣、NLP波闹、healthcare上的不平衡回歸任務(wù)，致力于幫助未來在不平衡數(shù)據(jù)上的研究涛碑。
數(shù)據(jù)不平衡問題背景
?????1.現(xiàn)實世界的數(shù)據(jù)通常不會每個類別都具有理想的均勻分布精堕，而是呈現(xiàn)出長尾的偏斜分布，其中某些目標(biāo)值的觀測值明顯較少蒲障，這對于深度學(xué)習(xí)模型有較大的挑戰(zhàn)歹篓。傳統(tǒng)的解決辦法可以分為基于數(shù)據(jù)和基于模型兩種：基于數(shù)據(jù)的解決方案無非對少數(shù)群體進(jìn)行過采樣和對多數(shù)群體進(jìn)行下采樣，比如SMOTE算法揉阎；基于模型的解決方案包括對損失函數(shù)的重加權(quán)（re-weighting）或利用相關(guān)的學(xué)習(xí)技巧庄撮，如遷移學(xué)習(xí)、元學(xué)習(xí)毙籽、兩階段訓(xùn)練等洞斯。
?????2 .但是現(xiàn)有的數(shù)據(jù)不平衡解決方案，主要是針對具有categorical index的目標(biāo)值坑赡，也就是離散的類別標(biāo)簽數(shù)據(jù)烙如。其目標(biāo)值屬于不同的類別，并且具有嚴(yán)格的硬邊界毅否，不同類別之間沒有重疊√瑁現(xiàn)實世界很多的預(yù)測場景可能涉及到連續(xù)目標(biāo)值的標(biāo)簽數(shù)據(jù)。比如搀突，根據(jù)人臉視覺圖片預(yù)測年齡刀闷，年齡便是一個連續(xù)的目標(biāo)值，并且在目標(biāo)范圍內(nèi)可能會高度失衡仰迁。在工業(yè)領(lǐng)域中甸昏，也會發(fā)生類似的問題，比如在水泥領(lǐng)域徐许，水泥熟料的質(zhì)量施蜜，一般都是連續(xù)的目標(biāo)值；在配煤領(lǐng)域雌隅，焦炭的熱強(qiáng)指標(biāo)也是連續(xù)的目標(biāo)值翻默。這些應(yīng)用中需要預(yù)測的目標(biāo)變量往往存在許多稀有和極端值。在連續(xù)域的不平衡問題在線性模型和深度模型中都是存在的恰起，在深度模型中甚至更為嚴(yán)重修械，這是因為深度學(xué)習(xí)模型的預(yù)測往往都是over-confident的，會導(dǎo)致這種不平衡問題被嚴(yán)重的放大检盼。
?????因此肯污，這篇文章定義了深度不平衡回歸問題（DIR），即從具有連續(xù)目標(biāo)值的不平衡數(shù)據(jù)中學(xué)習(xí)，同時需要處理某些目標(biāo)區(qū)域的潛在確實數(shù)據(jù)蹦渣，并使最終模型能夠泛化到整個支持所有目標(biāo)值的范圍上哄芜。
不平衡回歸問題的挑戰(zhàn)
解決DIR問題的三個挑戰(zhàn)如下：
1.對于連續(xù)的目標(biāo)值（標(biāo)簽），不同目標(biāo)值之間的硬邊界不再存在柬唯，無法直接采用不平衡分類的處理方法认臊。
2.連續(xù)標(biāo)簽本質(zhì)上說明在不同的目標(biāo)值之間的距離是有意義的。這些目標(biāo)值直接告訴了哪些數(shù)據(jù)之間相隔更近锄奢，指導(dǎo)我們該如何理解這個連續(xù)區(qū)間上的數(shù)據(jù)不均衡的程度失晴。
3.對于DIR，某些目標(biāo)值可能根本沒有數(shù)據(jù)斟薇，這為對目標(biāo)值做extrapolation和interpolation提供了需求
解決方法一：標(biāo)簽分布平滑（LDS）
解決方法二：特征分布平滑（FDS）
[論文]：https://arxiv.org/abs/2102.09554
[代碼]：https://github.com/YyzHarry/imbalanced-regression
觀點2
這個問題是普遍存在的师坎，是有影響的，但往往也是“不重要”或者可以修正的堪滨。
1 為何普遍存在胯陋？
機(jī)器學(xué)習(xí)回歸問題的目標(biāo)變量常為連續(xù)型隨機(jī)變量Y，在社會經(jīng)濟(jì)領(lǐng)域中袱箱，連續(xù)隨機(jī)變量常常服從正態(tài)分布遏乔，即有少數(shù)樣本偏離均值，而大量樣本落在均值附近发笔，那么這些少數(shù)偏離均值的樣本是否就是你所說的不均衡盟萨？
2 為何有影響？從回歸問題的優(yōu)化目標(biāo)函數(shù)可以看出了讨。如果選用MSE捻激，即估計值與真實值的離差平方和作為優(yōu)化目標(biāo)，那么在所有樣本等權(quán)重的情況下前计，這次機(jī)器學(xué)習(xí)的目標(biāo)其實是優(yōu)先學(xué)習(xí)好樣本量多的部分胞谭，因此不平衡會導(dǎo)致模型在樣本少的部分?jǐn)M合與預(yù)測能力下降。在統(tǒng)計學(xué)中男杈，也就是導(dǎo)致樣本少的地方估計置信區(qū)間更寬丈屹。
3 為何“不重要”，怎么解決伶棒，取決于研究所關(guān)注的問題旺垒。
如預(yù)測價格等問題，本身回歸模型可能更關(guān)注某個目標(biāo)區(qū)間內(nèi)的預(yù)測能力肤无，那么目標(biāo)區(qū)間外的樣本較少也沒有問題先蒋；如果是研究的問題就關(guān)注于較少發(fā)生的情況，那往往會轉(zhuǎn)化為是否發(fā)生該問題或者對異常值的研究舅锄；如果就是關(guān)注的部分有少量的不均衡鞭达，可以采用對樣本加權(quán)的方式平衡樣本司忱；如果就是關(guān)注的部分有大量的不平衡問題皇忿，那么有可能這個問題需要重新建模
