一.R語言基礎(chǔ)

1.1 R的數(shù)據(jù)結(jié)構(gòu)

向量错洁、數(shù)據(jù)框入撒、矩陣屬于最常用的R數(shù)據(jù)結(jié)構(gòu),關(guān)于基礎(chǔ)這里不多講赊瞬，簡單概括一下

向量先煎，簡單來說就是一維數(shù)組

矩陣，就是二維數(shù)組

數(shù)據(jù)框巧涧，簡單理解就是一張excel表薯蝎，或者理解為關(guān)系型數(shù)據(jù)庫的table

1.2 數(shù)據(jù)讀取

讀取csv文件：
read.csv(file="",header=TURE,sep="",stringAsFactors=FALSE)

讀取文本文件：read.table()

從關(guān)系型數(shù)據(jù)庫里讀取數(shù)據(jù)

install.packages("RODBC")           如果安裝時報錯： sudo apt-get install unixODBC;   sudo apt-get install unixODBC-dev

library(RODBC)

mydb <- odbcConnect("my_dsn",uid="username",pwd="password")

query <- "select * from …………"

df <- sqlQuery(channel=mydb,query,stringAsFactors=FALSE)

odbcClose(mydb)

二.數(shù)據(jù)探索

2.1 探索數(shù)據(jù)結(jié)構(gòu)

以一個簡單的圖像識別數(shù)據(jù)為例

df <- read.csv("train.csv")

str(df)

'data.frame': 42000 obs. of 785 variables:
$ label : int 1 0 1 4 0 0 7 3 5 3 ...
$ pixel0 : int 0 0 0 0 0 0 0 0 0 0 ...
$ pixel1 : int 0 0 0 0 0 0 0 0 0 0 ...
$ pixel2 : int 0 0 0 0 0 0 0 0 0 0 ...
$ pixel3 : int 0 0 0 0 0 0 0 0 0 0 ...
$ pixel4 : int 0 0 0 0 0 0 0 0 0 0 ...
$ pixel5 : int 0 0 0 0 0 0 0 0 0 0 ...
$ pixel6 : int 0 0 0 0 0 0 0 0 0 0 ...

dim(df)

[1] 42000   785

head(df)

2.2 探索數(shù)值型變量以及變量關(guān)系

假設(shè)我們還不太了解這個數(shù)據(jù)的特征，那么我們?nèi)绾芜M一步理解這些數(shù)據(jù)呢谤绳？首先我們先來看一下summary(df)

summary(df$label)
Min. 1st Qu. Median Mean 3rd Qu. Max. 
0.000 2.000 4.000 4.457 7.000 9.000

可以看到每一個特征的最大占锯、最小、均值缩筛、中位數(shù)消略、25%、75%瞎抛。

df$label是從0到9的數(shù)字艺演，也就是我們的目標(biāo)值

as.factor(df[,1])將label轉(zhuǎn)換為因子

其他列均為0-255的數(shù)字，共784列桐臊。

這里的數(shù)據(jù)是將手寫數(shù)字0-9的圖像轉(zhuǎn)換為二維矩陣存儲起來钞艇，即784=28*28，首列為數(shù)字標(biāo)簽豪硅。

diff(range(df$pixel358))   某列數(shù)據(jù)最大差值

 IQR(df$pixel668)   Q3-Q1

quantile(df$pixel771,probs = c(0.01,0.99))     查看百分位數(shù)

可視化：

boxplot()

cov()

cor()

aggregate()

pairs()

plot()

CrossTable()

各種統(tǒng)計模型和視圖，包括3D散布圖挺物、熱圖懒浮、等高圖等等以及方差、交叉表、分布模型……

2.3 探索分類變量

table(df$label)    頻率

prop.table(table(df$label))      占比重

2.4 處理數(shù)據(jù)

這里的數(shù)據(jù)時手寫數(shù)字的圖像砚著，我們嘗試將它轉(zhuǎn)化為圖像次伶。

我們來看低40張數(shù)字：

im <- matrix(as.matrix(df[40,-1]),nrow = 28,ncol = 28)

image(1:28, 1:28, im, col=gray((0:255)/255))

圖像是個反著的數(shù)字4，很容易認(rèn)出來稽穆。那個機器如何識別出來呢冠王？

三.算法嘗試之隨機森林

分類算法多種多樣，我們可以選擇很多種分類器來做分類舌镶。這里我們嘗試一下隨機森林算法柱彻。

R里面有randomForest（局限性比較大）包，可以做簡單的隨機森林算法嘗試餐胀。party包也有cforest函數(shù)哟楷。

df <- read.csv("train.csv")
df$label <- as.factor(df$label)
ind <- sample(2,nrow(df),replace=TRUE,prob=c(0.8,0.2))          #隨機取樣，分為訓(xùn)練數(shù)據(jù)80%與測試數(shù)據(jù)20%
trainData <- df[ind==1,]
testData <- df[ind==2,]
rf <- randomForest(label ~ .,data=trainData,ntree=50,proximity=TRUE)     70M數(shù)據(jù)否灾，80%訓(xùn)練數(shù)據(jù)卖擅，大概需要20多G內(nèi)存，
plot(rf)    #樹圖
importance(rf)          #特征重要性
rfPred <- predict(rf,testData)               #預(yù)測
table(rfPred,testData$label)              
prop.table(table(rfPred,testData$label))  

就是這樣一個簡單的流程墨技，都沒用到自己寫什么優(yōu)化方案或者建模惩阶，測試分類正確率可以達(dá)到96%還多，對于新給的test.csv（大概50M測試數(shù)據(jù)扣汪，模型的表現(xiàn)可以達(dá)到96%的正確率）断楷。當(dāng)然，可以選擇的算法和優(yōu)化方案很多私痹，上面寫的只是一個探索的流程脐嫂。其實做一些優(yōu)化后，準(zhǔn)確率可以達(dá)到99%紊遵。

四.算法嘗試之kNN

關(guān)于乳腺癌預(yù)測的數(shù)據(jù)

數(shù)據(jù)探索就簡單略過了账千，數(shù)據(jù)第一列沒什么用，刪除wbcd <- wbcd[-1]

第二列是因子（B,M）暗膜，表示癌癥的陰性和陽性

剩余30個特征都是細(xì)胞的一些物理特征匀奏，算法的目的是通過細(xì)胞的特征來判斷癌癥的陰性和陽性

4.1 數(shù)據(jù)處理

wbcd <- read.table("wdbc.data",header = FALSE,sep = ",")

wbcd <- wbcd[-1]

因為kNN算法是依據(jù)距離來計算的，一般用歐式距離比較易懂学搜。所以這里涉及到數(shù)據(jù)的轉(zhuǎn)換娃善。

min-max標(biāo)準(zhǔn)化：(x-min(x))/(max(x)-min(x))  #把數(shù)值型數(shù)據(jù)轉(zhuǎn)換到0-1之間，必選數(shù)據(jù)范圍的影響

z-score標(biāo)準(zhǔn)化：(x-mean(x))/StdDev(x)   

4.2 數(shù)據(jù)準(zhǔn)備

library(class)

wbcd <- read.table("wdbc.data",header = FALSE,sep = ",")

wbcd <- wbcd[-1]

normalize <- function(x) {
    return ((x-min(x))/(max(x)-min(x)))
}

wbcd_n <- as.data.frame(lapply(wbcd[,2:31],normalize))

ind <- sample(2,nrow(wbcd_n),replace = TRUE,prob = c(0.8,0.2))

wbcd_pred <- knn(train.data,test.data,wbcd[ind==1,1],k = 10)

CrossTable(x = wbcd_n[ind==2,1],wbcd_pred,prop.chisq = FALSE)

    otal Observations in Table: 117

| wbcd_pred 
wbcd[ind == 2, 1] | B | M | Row Total | 
------------------|-----------|-----------|-----------|
B | 74 | 0 | 74 | 
| 1.000 | 0.000 | 0.632 | 
| 0.961 | 0.000 | | 
| 0.632 | 0.000 | | 
------------------|-----------|-----------|-----------|
M | 3 | 40 | 43 | 
| 0.070 | 0.930 | 0.368 | 
| 0.039 | 1.000 | | 
| 0.026 | 0.342 | | 
------------------|-----------|-----------|-----------|
Column Total | 77 | 40 | 117 | 
| 0.658 | 0.342 | | 
------------------|-----------|-----------|-----------|

還可以通過選擇k值瑞佩，不同的數(shù)據(jù)標(biāo)準(zhǔn)化聚磺，不同的算法，不同的特征來優(yōu)化準(zhǔn)確率炬丸。