用scikit-learn來預(yù)測北京的pm2.5

機器學(xué)習(xí)最好入門的是什么晃琳?根基是什么寿羞?
我覺得是分類察滑。

我當(dāng)然不會講什么具體的分類算法的實現(xiàn)有勾,我們直接用Scikit-learn。關(guān)于scikit-learn,唯一需要知道的是林说,它除了深度學(xué)習(xí)煎殷,傳統(tǒng)機器學(xué)習(xí)它都很好用,也就是直接調(diào)個函數(shù)的事兒(如果你會那么一點點的python)述么。

但蝌数,這次要用到的不是分類愕掏,是回歸度秘。在我看來它們差不多,如果你把連續(xù)的數(shù)饵撑,一個一個來看剑梳,也就是分類了。

從uci獲取北京的pm2.5數(shù)據(jù)

從這個csv網(wǎng)址你可以直接獲得數(shù)據(jù)滑潘。

打開看一下垢乙,它大概是這個樣子:

No,year,month,day,hour,pm2.5,DEWP,TEMP,PRES,cbwd,Iws,Is,Ir
1,2010,1,1,0,NA,-21,-11,1021,NW,1.79,0,0
2,2010,1,1,1,NA,-21,-12,1020,NW,4.92,0,0
3,2010,1,1,2,NA,-21,-11,1019,NW,6.71,0,0
4,2010,1,1,3,NA,-21,-14,1019,NW,9.84,0,0
5,2010,1,1,4,NA,-20,-12,1018,NW,12.97,0,0
6,2010,1,1,5,NA,-19,-10,1017,NW,16.1,0,0
7,2010,1,1,6,NA,-19,-9,1017,NW,19.23,0,0
8,2010,1,1,7,NA,-19,-9,1017,NW,21.02,0,0
9,2010,1,1,8,NA,-19,-9,1017,NW,24.15,0,0

第一列是編號,第二個是年份语卤,第三個是月份追逮,第四個是日期,第五個小時粹舵,第六個是pm2.5的值钮孵,單位是ug/m^3,第七個是露點(Dew point)眼滤,又稱露點溫度巴席,第八個是溫度,第九個是氣壓诅需,第十個是風(fēng)向漾唉,下來是風(fēng)速荧库,下來是積累雪量與積累雨量。

如果數(shù)據(jù)缺失赵刑,就用NA,代表分衫。

1.先把數(shù)據(jù)用python加載了

這個很簡單,只需要用numpy庫的genfromtxt函數(shù)

import numpy as np


//dtype是轉(zhuǎn)換的數(shù)據(jù)類型料睛,這里是一個元組丐箩,分別是字符串與float
2.對數(shù)據(jù)集做些預(yù)處理

我們隨機選取100個數(shù)據(jù),作為訓(xùn)練數(shù)據(jù)恤煞。

from random import sample
tran = sample(rawdata, 100)

我們再選取pm2.5的值作為目標(biāo)值剩下的作為特征值屎勘。

tranX=[]
tranY=[]
for item in tran:  
      tranX.append([item[4],item[6],item[7],item[8],item[9],item[10],item[11],item[12]])
      tranY.append(item[5])

把字符串轉(zhuǎn)化成數(shù)字,用平均值來處理缺失值,并把它們從列表轉(zhuǎn)化成numpy的數(shù)組居扒。

trainX=np.array(tranX)

tranytmp=[]
for item in tranY:
  if item!='NA':
     tranytmp.append(int(item))

mean=sum(tranytmp)/len(tranytmp)
  
for i in range(len(tranY)):
    if tranY[i] == 'NA':
        tranY[i]=mean
    else:
        tranY[i]=int(tranY[i])
trainY=np.array(tranY)

把trainX的字符串的特征概漱,例如風(fēng)向的‘cv','nw'轉(zhuǎn)換成數(shù)字

from sklearn import preprocessing
tmpcol4=preprocessing.LabelEncoder().fit_transform(trainX[:,4])
trainX[:,4]=tmpcol4
3.使用Scikit-learn線性回歸

scikit-learn要求X是一個特征矩陣,y是一個NumPy向量.所以我們上面已經(jīng)把列表轉(zhuǎn)成numpy的向量喜喂。

from sklearn.linear_model import LinearRegression
linreg = LinearRegression()
linreg.fit(trainX,trainY)
Out[15]:
LinearRegression(copy_X=True, fit_intercept=True, n_jobs=1, normalize=False)

一旦你用LinearRegression的fit構(gòu)建好了線性回歸模型,接下來就可以拿它來預(yù)測了,其中的X_test是待測試向量瓤摧。

linreg.predict(X_test)

我們可以使用linreg來輕易的打出相應(yīng)的回歸系數(shù)

print linreg.intercept_
2889.16443903
print linreg.coef_
[  7.28287635e-02   4.14856097e+00  -6.23696623e+00  -2.67270208e+00
   6.20566609e+00  -2.70742577e-01   1.52082272e+02  -1.10300471e+01]

4.你需要自己用測試集的數(shù)據(jù)來驗證錯誤率

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市玉吁,隨后出現(xiàn)的幾起案子照弥,更是在濱河造成了極大的恐慌,老刑警劉巖进副,帶你破解...
    沈念sama閱讀 221,635評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件这揣,死亡現(xiàn)場離奇詭異,居然都是意外死亡影斑,警方通過查閱死者的電腦和手機给赞,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,543評論 3 399
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來矫户,“玉大人片迅,你說我怎么就攤上這事〗粤桑” “怎么了柑蛇?”我有些...
    開封第一講書人閱讀 168,083評論 0 360
  • 文/不壞的土叔 我叫張陵,是天一觀的道長驱闷。 經(jīng)常有香客問我耻台,道長,這世上最難降的妖魔是什么遗嗽? 我笑而不...
    開封第一講書人閱讀 59,640評論 1 296
  • 正文 為了忘掉前任粘我,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘征字。我一直安慰自己都弹,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 68,640評論 6 397
  • 文/花漫 我一把揭開白布匙姜。 她就那樣靜靜地躺著畅厢,像睡著了一般。 火紅的嫁衣襯著肌膚如雪氮昧。 梳的紋絲不亂的頭發(fā)上框杜,一...
    開封第一講書人閱讀 52,262評論 1 308
  • 那天,我揣著相機與錄音袖肥,去河邊找鬼咪辱。 笑死,一個胖子當(dāng)著我的面吹牛椎组,可吹牛的內(nèi)容都是我干的油狂。 我是一名探鬼主播,決...
    沈念sama閱讀 40,833評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼寸癌,長吁一口氣:“原來是場噩夢啊……” “哼专筷!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起蒸苇,我...
    開封第一講書人閱讀 39,736評論 0 276
  • 序言:老撾萬榮一對情侶失蹤磷蛹,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后溪烤,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體味咳,經(jīng)...
    沈念sama閱讀 46,280評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,369評論 3 340
  • 正文 我和宋清朗相戀三年氛什,在試婚紗的時候發(fā)現(xiàn)自己被綠了莺葫。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片匪凉。...
    茶點故事閱讀 40,503評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡枪眉,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出再层,到底是詐尸還是另有隱情贸铜,我是刑警寧澤,帶...
    沈念sama閱讀 36,185評論 5 350
  • 正文 年R本政府宣布聂受,位于F島的核電站蒿秦,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏蛋济。R本人自食惡果不足惜棍鳖,卻給世界環(huán)境...
    茶點故事閱讀 41,870評論 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧渡处,春花似錦镜悉、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,340評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至醇份,卻和暖如春稼锅,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背僚纷。 一陣腳步聲響...
    開封第一講書人閱讀 33,460評論 1 272
  • 我被黑心中介騙來泰國打工矩距, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人怖竭。 一個月前我還...
    沈念sama閱讀 48,909評論 3 376
  • 正文 我出身青樓剩晴,卻偏偏與公主長得像,于是被迫代替她去往敵國和親侵状。 傳聞我的和親對象是個殘疾皇子赞弥,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,512評論 2 359

推薦閱讀更多精彩內(nèi)容