1. 數(shù)據(jù)分箱
一般在建立分類模型時(shí)筛严，需要對(duì)連續(xù)變量離散化削祈，特征離散化后，模型會(huì)更穩(wěn)定脑漫，降低了模型過(guò)擬合的風(fēng)險(xiǎn)髓抑。比如在建立申請(qǐng)?jiān)u分卡模型時(shí)用logsitic作為基模型就需要對(duì)連續(xù)變量進(jìn)行離散化，離散化通常采用分箱法优幸。分箱的有以下重要性及其優(yōu)勢(shì)：
- 離散特征的增加和減少都很容易吨拍，易于模型的快速迭代；
- 稀疏向量?jī)?nèi)積乘法運(yùn)算速度快网杆，計(jì)算結(jié)果方便存儲(chǔ)羹饰，容易擴(kuò)展；
- 離散化后的特征對(duì)異常數(shù)據(jù)有很強(qiáng)的魯棒性：比如一個(gè)特征是年齡>30是1碳却，否則0队秩。如果特征沒(méi)有離散化，一個(gè)異常數(shù)據(jù)“年齡300歲”會(huì)給模型造成很大的干擾昼浦；
- 邏輯回歸屬于廣義線性模型馍资，表達(dá)能力受限；單變量離散化為N個(gè)后关噪，每個(gè)變量有單獨(dú)的權(quán)重鸟蟹，相當(dāng)于為模型引入了非線性乌妙，能夠提升模型表達(dá)能力，加大擬合建钥；
- 離散化后可以進(jìn)行特征交叉藤韵，由M+N個(gè)變量變?yōu)镸*N個(gè)變量，進(jìn)一步引入非線性熊经，提升表達(dá)能力泽艘；
- 特征離散化后，模型會(huì)更穩(wěn)定镐依，比如如果對(duì)用戶年齡離散化匹涮，20-30作為一個(gè)區(qū)間，不會(huì)因?yàn)橐粋€(gè)用戶年齡長(zhǎng)了一歲就變成一個(gè)完全不同的人馋吗。當(dāng)然處于區(qū)間相鄰處的樣本會(huì)剛好相反，所以怎么劃分區(qū)間是門學(xué)問(wèn)秋秤；
- 特征離散化以后宏粤，起到了簡(jiǎn)化了邏輯回歸模型的作用，降低了模型過(guò)擬合的風(fēng)險(xiǎn)灼卢。
- 可以將缺失作為獨(dú)立的一類帶入模型绍哎。
- 將所有變量變換到相似的尺度上。
2. 標(biāo)準(zhǔn)化/歸一化
標(biāo)準(zhǔn)化后會(huì)使每個(gè)特征中的數(shù)值平均變?yōu)?（將每個(gè)特征的值都減掉原始資料中該特征的平均）鞋真、標(biāo)準(zhǔn)差變?yōu)?.
歸一化把數(shù)據(jù)變?yōu)椋?崇堰，1）或者（-1，1）之前的小數(shù)涩咖，為了數(shù)據(jù)處理方便海诲，把量綱表達(dá)式變成無(wú)量綱表達(dá)式，便于不同單位或量級(jí)的指標(biāo)能夠進(jìn)行比較或加權(quán)檩互。
標(biāo)準(zhǔn)化與歸一化的區(qū)別：歸一化是將樣本的特征值轉(zhuǎn)換到同一量綱下把數(shù)據(jù)映射到[0, 1]或者[-1, 1]區(qū)間內(nèi)特幔，僅由變量的極值確定，因區(qū)間放縮是歸一化的一種闸昨。標(biāo)準(zhǔn)化是依照特征矩陣的處理數(shù)據(jù)蚯斯，其通過(guò)求z-score的方法，轉(zhuǎn)換為標(biāo)準(zhǔn)正態(tài)分布饵较，和整體樣本分布相關(guān)拍嵌，每個(gè)樣本點(diǎn)都能對(duì)標(biāo)準(zhǔn)化產(chǎn)生影響。
無(wú)量綱的理解：去掉實(shí)際過(guò)程中的單位
3. Why歸一化/標(biāo)準(zhǔn)化循诉？
歸一化/標(biāo)準(zhǔn)化是一種線性變換横辆，線性變換由很多良好的性質(zhì)，這些性質(zhì)決定了對(duì)數(shù)據(jù)改變后不會(huì)造成“失效”茄猫，反而能提高數(shù)據(jù)的表現(xiàn)龄糊，這些性質(zhì)是歸一化/標(biāo)準(zhǔn)化的前提逆粹。線性變換不會(huì)改變?cè)紨?shù)據(jù)的數(shù)值排序。
主要表現(xiàn)為三點(diǎn)：1）模型求解需要炫惩，比如加快梯度下降過(guò)程 2）無(wú)量綱化 3）避免數(shù)值問(wèn)題僻弹，比如數(shù)值過(guò)大。
4. 特征構(gòu)造
主要包括構(gòu)造統(tǒng)計(jì)量特征（比如求和他嚷、比例等）蹋绽，時(shí)間特征（包括節(jié)假日等），地理信息（比如分箱筋蓖、分布編碼等）卸耘，非線性變換（包括log/平方/根號(hào)等），特征組合（特征交叉等）粘咖，自己認(rèn)為可構(gòu)造的特征蚣抗。
5. 特征篩選
特征篩選包括：過(guò)濾式（filter）、包裹式（wrapper）瓮下、嵌入式（embedding）翰铡。
- 過(guò)濾式
先對(duì)數(shù)據(jù)進(jìn)行特征選擇，然后在訓(xùn)練學(xué)習(xí)器讽坏，常見的方法由Relief/方差選擇法/卡方檢驗(yàn)法/互信息法 - 包裹式
直接把最終將要使用的學(xué)習(xí)器的性能作為特征子集的評(píng)價(jià)準(zhǔn)則锭魔，常見方法有LVM（Las Vegas Wrapper） - 嵌入式
結(jié)合過(guò)濾式和包裹式，學(xué)習(xí)器訓(xùn)練過(guò)程中自動(dòng)進(jìn)行了特征選擇路呜，常見的有l(wèi)asso回歸
6. 降維
將數(shù)據(jù)從原來(lái)的d微轉(zhuǎn)變?yōu)閗微的子集（d < n）
Why降維迷捧？
- 降低數(shù)據(jù)占用空間
- 減少計(jì)算時(shí)間
- 一些算法在高維度數(shù)據(jù)上表現(xiàn)不好，通過(guò)降維來(lái)改善算法適用性
- 刪除冗余的特征
- 有利于可視化
常用方法包括 線性映射和非線性映射兩大類
線性映射：PCA主成分分析胀葱、LDA線性判別分析
非線性映射：基于核的非線性降維漠秋、流形學(xué)習(xí)、ISOMap
Ps：特征選擇也是一種降維
