深度神經(jīng)網(wǎng)絡(luò)已經(jīng)是橫行于視覺以及自然語言處理領(lǐng)域菌羽，但是為什么在表格數(shù)據(jù)上卻表現(xiàn)平平呢掠械，
這篇論文——
啊 摘要的第一個單詞就看不懂，Heterogeneous 異質(zhì)性注祖。
說白了就是不一樣猾蒂，用在表格上指的就是數(shù)據(jù)類型是不一樣的，比如性別和年齡是晨，就是完全不同的信息肚菠，
因為不然的話把一張圖片用二維數(shù)據(jù)表式也是一張表格，所以這篇論文著重討論的是深度學(xué)習(xí)在異構(gòu)表格數(shù)據(jù)上的痛點罩缴。
- Inappropriate Training Data: missing values, outliers,
- Missing or Irregular Spatial Dependencies
- Extensive Preprocessing
- Model Sensitivity
作者針對從深度神經(jīng)網(wǎng)絡(luò)的角度出發(fā)列出了四個難點蚊逢，看到這就不難理解，為什么梯度提升樹樹模型還是要比深度神經(jīng)網(wǎng)絡(luò)更適合處理表格數(shù)據(jù)靴庆，因為這里的很多點，比如缺失值怒医，離群值炉抒，以及復(fù)雜的數(shù)據(jù)預(yù)處理，GBM都還是都比較容易拿捏稚叹。
而很不巧焰薄，深度神經(jīng)網(wǎng)絡(luò)十分強大的表征能力拿诸，卻因為表格數(shù)據(jù)缺失了規(guī)律性的空間依賴關(guān)系而受到了很大的限制。（自信監(jiān)督）
這也是為什么遷移學(xué)習(xí)難以在表格數(shù)據(jù)上奏效的原因塞茅。圖片無論是來自哪個數(shù)據(jù)集亩码，基礎(chǔ)的特征都是一些弧形直線等幾何圖形，而表格數(shù)據(jù)確是天差地別了野瘦。
接下來就是各個模型描沟。
- single-dimensional encoding:
- 確定性地deterministic對每一列進(jìn)行編碼
- multi-dimensional encoding:
- 用模型自動對整個（也可以是局部？）輸入向量編碼
- 混合模型
- 完全可微分
- 可進(jìn)行端對端訓(xùn)練
- 局部可微分
- 比如神經(jīng)網(wǎng)絡(luò)和梯度提升樹結(jié)合
- 完全可微分
- 基于Transformer的模型
- 對鞭光，又是那個無處不在的Transformer
- 正則化模型
-
通過特定的損失函數(shù)限制DNN的極度非線性和高復(fù)雜度造成的影響
（雖然RLN表現(xiàn)墊底）
-
我們直接跳到最重要的（不是）準(zhǔn)確度
橫軸訓(xùn)練時間惰许，豎軸準(zhǔn)確度席覆，圓圈的半徑代表標(biāo)準(zhǔn)差。前三名都是梯度提升樹的不同實現(xiàn)汹买。
那未來的趨勢以及改進(jìn)方向有哪些佩伤，作者分享了一些觀點，
模型魔改有一定優(yōu)勢晦毙，應(yīng)該是引入了有效的先驗
正則化的重要性
-
數(shù)據(jù)增強
如果我們擁有數(shù)據(jù)應(yīng)該是怎么樣的概念生巡，這個還是很值得一試的
模型的可解釋性，獲取反饋
那未來的趨勢以及改進(jìn)方向有哪些结序，作者分享了一些觀點障斋，模型魔改有一定優(yōu)勢，應(yīng)該是引入了有效的先驗
正則化的重要性
-
數(shù)據(jù)增強
如果我們擁有數(shù)據(jù)應(yīng)該是怎么樣的概念徐鹤，這個還是很值得一試的
-
模型的可解釋性垃环，獲取反饋
SHAP- values，不像GBM只能給出特征重要性的絕對值返敬，還能給出各個特征對模型輸出的影響方向遂庄，還能對單個樣本進(jìn)行解釋。
-
自監(jiān)督以及遷移學(xué)習(xí)劲赠，參見上面第二條涛目，缺失或者不規(guī)則的空間依賴性。不像圖片凛澎，不管哪個數(shù)據(jù)集霹肝，基礎(chǔ)依賴都是一些基本的幾何圖形。
但是另一方面塑煎，想搞出一個模型沫换，對著隨便一張缺漏的表，都能學(xué)得有模有樣也不太現(xiàn)實最铁，所以我覺得如果能有巨頭能分享一些維度比較高讯赏，數(shù)量又足夠龐大的表格數(shù)據(jù)垮兑，挑選出類似特征進(jìn)行遷移學(xué)習(xí)，也許是一個可以考慮的方向吧漱挎。
SHAP Values系枪，不像GBM只能給出特征重要性的絕對值，還能給出各個特征對模型輸出的影響方向磕谅，還能對單個樣本進(jìn)行解釋私爷。
-
自監(jiān)督以及遷移學(xué)習(xí)，參見上面第二條怜庸，缺失或者不規(guī)則的空間依賴性当犯。不像圖片，不管哪個數(shù)據(jù)集割疾，基礎(chǔ)依賴關(guān)系表示的都是一些基本的幾何圖形嚎卫。
但是另一方面，想搞出一個模型宏榕，對著隨便一張缺漏的表拓诸，都能學(xué)得有模有樣也不太現(xiàn)實，所以我覺得如果能找到一個維度比較高麻昼，數(shù)量又足夠龐大的表格數(shù)據(jù)奠支，挑選出和目標(biāo)數(shù)據(jù)集類似特征進(jìn)行遷移學(xué)習(xí)，也許是一個可以考慮的方向吧抚芦。
