數(shù)據(jù)科學(xué)中有各種各樣的模型巴元,有的聽(tīng)起來(lái)很簡(jiǎn)單毡咏,比如線性回歸;有點(diǎn)呢,聽(tīng)起來(lái)就很?chē)樔舜伲热缟疃葘W(xué)習(xí)呕缭。但是不管什么樣的模型,從本質(zhì)上來(lái)講,模型都是對(duì)訓(xùn)練數(shù)據(jù)做數(shù)學(xué)運(yùn)算恢总,并以此求得模型參數(shù)的估計(jì)值落恼。
所以我們需要保證兩點(diǎn):
第一,訓(xùn)練數(shù)據(jù)能進(jìn)行數(shù)學(xué)運(yùn)算;
第二离熏,對(duì)變量所做的數(shù)學(xué)運(yùn)算是合理的佳谦。
對(duì)于第一點(diǎn),通常只在一些特定的應(yīng)用場(chǎng)景里才需要比較復(fù)雜的處理滋戳,比如自然語(yǔ)言處理钻蔑、圖像識(shí)別等。
但對(duì)于第二點(diǎn)奸鸯,幾乎所有的場(chǎng)景都會(huì)遇到咪笑。
這里將注重研究第二點(diǎn)“對(duì)變量所做的數(shù)學(xué)運(yùn)算是合理的”,它表示的內(nèi)涵是:對(duì)于變量娄涩,數(shù)字的運(yùn)算有相應(yīng)的實(shí)際意義窗怒,包括以下兩個(gè)方面:
數(shù)字的大小關(guān)系。
數(shù)字的四則運(yùn)算蓄拣。
為了更好地討論問(wèn)題扬虚,將模型的自變量分類(lèi)。正如前面章節(jié)所提到的球恤,在模型里使用的變量可以分為兩類(lèi):數(shù)值型變量和類(lèi)別型變量辜昵。如圖1所示。
圖1
數(shù)值型變量咽斧,在學(xué)術(shù)上也被稱(chēng)為定量變量(quantitative variable)堪置,如長(zhǎng)度、收入张惹、重量等舀锨。它們的數(shù)值表示具體的測(cè)量或計(jì)數(shù)。事實(shí)上宛逗,定量變量按是否連續(xù)可進(jìn)一步細(xì)分為連續(xù)型變量和離散型變量坎匿。在一定區(qū)間內(nèi)可以任意取值的變量叫連續(xù)型變量,比如人的身高拧额、體重等;反之則是離散型變量碑诉,比如公司員工人數(shù)等。對(duì)于這類(lèi)變量侥锦,數(shù)字間的不等關(guān)系是有實(shí)際意義的进栽。比如對(duì)于收入,在數(shù)學(xué)上恭垦,100小于1000;在實(shí)際生活中快毛,100元也小于1000元格嗅。數(shù)字間的四則運(yùn)算也同理,這里就不贅述了唠帝。當(dāng)然由于數(shù)字的等于關(guān)系和四則運(yùn)算屯掖,數(shù)值型變量常常隱含著邊際效應(yīng)恒定的假設(shè),正如我們?cè)诘?章里討論的那樣襟衰。在某些場(chǎng)景下贴铜,這個(gè)隱含假設(shè)與現(xiàn)實(shí)不符,直接使用變量會(huì)影響模型的效果瀑晒。
類(lèi)別型變量绍坝,也被稱(chēng)為定性變量(categorical variable)。它并不是表示數(shù)量上的變化苔悦,而是表示類(lèi)別轩褐。比如性別、省份玖详、學(xué)歷把介、產(chǎn)品等級(jí)等。這類(lèi)變量的取值通常是用文字而非數(shù)字來(lái)表示蟋座。比如對(duì)于性別這個(gè)變量拗踢,可能的取值為男、女蜈七。因此要將文字變量轉(zhuǎn)換為數(shù)字變量秒拔,并且保證對(duì)于轉(zhuǎn)換之后的變量,數(shù)學(xué)運(yùn)算是有意義的飒硅,這并不是一件容易的事情。通常針對(duì)一個(gè)類(lèi)別型變量作谚,我們會(huì)用一個(gè)數(shù)字去表示其中的一個(gè)類(lèi)別三娩,但這樣的轉(zhuǎn)換方法并不能滿(mǎn)足要求:
對(duì)于有序的類(lèi)別型變量,比如產(chǎn)品等級(jí)妹懒,0表示合格雀监、1表示良好、2表示優(yōu)秀眨唬。這種情況下会前,0小于1的確對(duì)應(yīng)著合格等級(jí)次于良好等級(jí),但數(shù)字間的四則運(yùn)算就沒(méi)有對(duì)應(yīng)意義了匾竿。數(shù)學(xué)上2減1等于1瓦宜,但對(duì)于產(chǎn)品等級(jí),優(yōu)秀減去良好還等于良好嗎?
對(duì)于無(wú)序的類(lèi)別型變量岭妖,比如對(duì)于省份临庇,0表示北京反璃、1表示上海、2表示深圳等假夺。數(shù)字間的大小關(guān)系和四則運(yùn)算都是沒(méi)有實(shí)際意義的淮蜈。
因此,在模型里直接使用類(lèi)別型變量是沒(méi)有任何道理的已卷,也會(huì)嚴(yán)重影響模型的效果梧田。由此可見(jiàn),不管是數(shù)值型變量還是類(lèi)別型變量侧蘸,通常都需要根據(jù)問(wèn)題場(chǎng)景做相應(yīng)變換后柿扣,再放到模型中使用。具體的方法將在后續(xù)的文章中詳細(xì)討論闺魏。