大話稀疏回歸系列? ?目錄
一.為什么要使回歸系數(shù)稀疏
二.常用的稀疏回歸方法
三.L0和L1、L2正則化
四.求解非凸優(yōu)化問題——Lasso回歸
? ? 1.坐標(biāo)軸下降法
? ? 2.近端梯度下降法
五.前向逐步回歸和最小角回歸
? ? 1.Forward Stagewise Regression
? ? 2.Least Angle Regression
一.為什么要使回歸系數(shù)稀疏
? ? ? ?我們?cè)谇蠼舛嘣€性回歸問題的時(shí)候捞蛋，常常因?yàn)樘卣鲾?shù)量太多孝冒，而最終得到不準(zhǔn)確的結(jié)果。我們可以先從簡(jiǎn)單的線性代數(shù)的角度去看待一下這個(gè)問題拟杉。
? ? ? ?假如X為m*n矩陣庄涡，為訓(xùn)練集，有m個(gè)樣本搬设，每個(gè)樣本有n維特征穴店。y是訓(xùn)練標(biāo)簽，為m列向量焕梅。那么我們對(duì)數(shù)據(jù)預(yù)處理之后，需要求解系數(shù)w卦洽，w為n為列向量贞言，使X*w近似等于y。
? ? ? ?大家熟悉的最小二乘法的解為w=(X'X)^(-1)*X'y阀蒂，很容易求解该窗。那么問題來了弟蚀，如果X的秩<min{m，n}酗失，X'X成為奇異矩陣义钉，我們這樣便不能正常求解。就算使用偽逆规肴，我們可能也發(fā)現(xiàn)事情不大對(duì)勁捶闸，因?yàn)檫@說明訓(xùn)練集某些特征是線性相關(guān)的，如果僅僅想線性表示y拖刃，那么很多特征列就不需要啊删壮。
? ? ? ?但是，我們是否可以直接去掉某些列兑牡，使訓(xùn)練集的秩和特征維度相等呢央碟？事實(shí)上是不可以的，因?yàn)槲覀冊(cè)谛颖窘５臅r(shí)候均函，維度甚至比樣本數(shù)還要多亿虽，即n>m，這樣的長(zhǎng)矩陣苞也，我們難道直接將其變成方陣嗎洛勉？顯然不靠譜。
? ? ? ?從本質(zhì)來看墩朦，那些使X'X成為奇異矩陣的列坯认，就是產(chǎn)生高誤差有以及過擬合的始作俑者，因?yàn)槊セ粒覀儜?yīng)該想一些辦法去掉某些特征牛哺，但是，去掉哪些特征劳吠？以及去掉多少個(gè)特征引润？從實(shí)際工程看，當(dāng)然是去掉使我們測(cè)試誤差最小的特征痒玩。但是淳附，僅僅是使那些沒用的特征xj的系數(shù)wj變成0嗎，其余w會(huì)受到什么影響呢蠢古？
? ? ? ?這種種問題奴曙，產(chǎn)生了一個(gè)領(lǐng)域，稱為特征選擇草讶。但是洽糟，特征選擇的方法不止有稀疏回歸，還有PCA、LDA等多種方法坤溃，稀疏回歸也不止可以解決特征選擇和降維的問題拍霜，它也是一種成熟的回歸模型，可以直接用來訓(xùn)練數(shù)據(jù)薪介，得到比最小二乘法更精確的結(jié)果祠饺。
? ? ? ?常用的稀疏回歸法有L0汁政、L1正則化道偷，最小角回歸法，OMP等烂完，而這些方法的內(nèi)部也有著比較緊密的聯(lián)系试疙，而Lasso問題的求解也是我們?cè)陧?xiàng)目中遇到的常見算法，期間不僅要考慮準(zhǔn)確性抠蚣，還應(yīng)考慮程序的性能祝旷，接下來的幾期會(huì)詳細(xì)介紹幾種產(chǎn)生稀疏解的算法，并提供易于修改的源代碼嘶窄。
