交叉驗證與模型選擇
- 定義：亦稱循環(huán)估計晋南，是一種統(tǒng)計學上將數(shù)據(jù)樣本切割成較小子集的實用方法◎纪眨可以先在一個子集上做建模分析魄幕，而其它子集則用來做后續(xù)對此分析的效果評價及驗證。一開始的子集被稱為訓練集（Train set）颖杏。而其它的子集則被稱為驗證集(Validation set)或測試集(Test set)纯陨。
- 交叉驗證是一種評估統(tǒng)計分析、機器學習算法對獨立于訓練數(shù)據(jù)的數(shù)據(jù)集的泛化能力（Generalize）输玷。交叉驗證大致分為三種：簡單交叉驗證（hold-outcross validation）队丝、k-折交叉驗證（k-fold cross validation）和留一交叉驗證（leave one out cross validation）。
- R包實現(xiàn)：ISLR
- 示例
library(ISLR)
data('Auto') ##載入數(shù)據(jù)集
head(Auto)
set.seed(111)
n=nrow(Auto) ## 共392個樣本
train=sample(n,n/2) ## 選擇50%的樣本作為訓練集
test=(-train) ## 50%的樣本作為測試集
lm.fit=lm(mpg~horsepower, data=Auto, subset=train)
## 使用訓練集擬合線性回歸模型
## 以horsepower來擬合mpg的值
mean((Auto[test,'mpg']-predict(lm.fit, newdata=Auto[test,]))^2) ## 計算均方誤差
lm.fit2=lm(mpg~poly(horsepower,2), data=Auto, subset=train)
## 使用訓練集擬合多項式回歸
mean((Auto[test,'mpg']-predict(lm.fit2, newdata=Auto[test,]))^2) ## 均方誤差
簡單交叉驗證
MSE=matrix(NA,10,10) ## 建10行10列的Matrix
for(seed in 1:10){
set.seed(seed)
train=sample(n,n/2)
test=(-train)
for(degree in 1:10){
lm.fit=lm(mpg~poly(horsepower,degree), data=Auto,subset=train)
MSE[seed,degree]=mean((Auto[test,'mpg']-predict(lm.fit,newdata=Auto[test,]))^2)
}
}
## 結(jié)果可視化
plot(MSE[1,],
ylim=range(MSE),
type='l',
lwd=2,
col=rainbow(10)[1],
xlab='degree',
ylab='the estimated test MSE')
for(seed in 2:10){
points(MSE[seed,],
type='l',
lwd=2,
col=ggsci::pal_npg()(10)[seed])
}
K-折交叉驗證
library(boot)
cv.error.10=rep(NA,10)
for(degree in 1:10){
glm.fit=glm(mpg ~ poly(horsepower,degree), data=Auto)
set.seed(1234)
cv.error.10[degree] <- cv.glm(Auto,glm.fit,K=10)$delta[1]
}
cv.error.10
plot(cv.error.10,type='b',xlab='degree',col=ggsci::pal_npg()(10))
留一交叉驗證
loocv.error=rep(NA,10)
for(degree in 1:10){
glm.fit=glm(mpg ~ poly(horsepower,degree), data=Auto)
loocv.error[degree]=cv.glm(Auto,glm.fit,K = nrow(Auto))$delta[1]
}
loocv.error
plot(loocv.error,type='b',xlab='degree',col=ggsci::pal_npg()(10))
