數(shù)據(jù)科學(xué)中的陷阱I:變量的數(shù)學(xué)運(yùn)算合理嗎荷逞?

數(shù)據(jù)科學(xué)中有各種各樣的模型,有的聽起來很簡(jiǎn)單粹排,比如線性回歸种远;有的呢,聽起來就很嚇人顽耳,比如深度學(xué)習(xí)坠敷。但是不管什么樣的模型,從本質(zhì)上來講,模型都是對(duì)訓(xùn)練數(shù)據(jù)做數(shù)學(xué)運(yùn)算,并以此求得模型參數(shù)的估計(jì)值碳锈。所以我們需要保證兩點(diǎn):

  • 第一侥蒙,訓(xùn)練數(shù)據(jù)能進(jìn)行數(shù)學(xué)運(yùn)算
  • 第二轰胁,對(duì)變量所做的數(shù)學(xué)運(yùn)算是合理的

對(duì)于第一點(diǎn),通常只在一些特定的應(yīng)用場(chǎng)景里才需要比較復(fù)雜的處理,比如自然語言處理物延、圖像識(shí)別等卖漫。但對(duì)于第二點(diǎn)费尽,幾乎所有的場(chǎng)景都會(huì)遇到。這里將注重研究第二點(diǎn)“對(duì)變量所做的數(shù)學(xué)運(yùn)算是合理的”羊始,它表示的內(nèi)涵是:對(duì)于變量旱幼,數(shù)字的運(yùn)算有相應(yīng)的實(shí)際意義,包括以下兩個(gè)方面突委。

  • 數(shù)字的大小關(guān)系柏卤。
  • 數(shù)字的四則運(yùn)算。

為了更好地討論問題匀油,將模型的自變量分類缘缚。正如前面章節(jié)所提到的,在模型里使用的變量可以分為兩類:數(shù)值型變量和類別型變量钧唐。如圖1所示忙灼。

圖1

數(shù)值型變量,在學(xué)術(shù)上也被稱為定量變量(quantitative variable)钝侠,如長(zhǎng)度、收入酸舍、重量等帅韧。它們的數(shù)值表示具體的測(cè)量或計(jì)數(shù)。事實(shí)上啃勉,定量變量按是否連續(xù)可進(jìn)一步細(xì)分為連續(xù)型變量和離散型變量忽舟。在一定區(qū)間內(nèi)可以任意取值的變量叫連續(xù)型變量,比如人的身高淮阐、體重等叮阅;反之則是離散型變量,比如公司員工人數(shù)等泣特。對(duì)于這類變量浩姥,數(shù)字間的不等關(guān)系是有實(shí)際意義的。比如對(duì)于收入状您,在數(shù)學(xué)上勒叠,100小于1000;在實(shí)際生活中膏孟,100元也小于1000元眯分。數(shù)字間的四則運(yùn)算也同理,這里就不贅述了柒桑。當(dāng)然由于數(shù)字的等于關(guān)系和四則運(yùn)算弊决,數(shù)值型變量常常隱含著邊際效應(yīng)恒定的假設(shè),正如我們?cè)诘?章里討論的那樣魁淳。在某些場(chǎng)景下飘诗,這個(gè)隱含假設(shè)與現(xiàn)實(shí)不符傅联,直接使用變量會(huì)影響模型的效果。

類別型變量疚察,也被稱為定性變量(categorical variable)蒸走。它并不是表示數(shù)量上的變化,而是表示類別貌嫡。比如性別比驻、省份、學(xué)歷岛抄、產(chǎn)品等級(jí)等别惦。這類變量的取值通常是用文字而非數(shù)字來表示。比如對(duì)于性別這個(gè)變量夫椭,可能的取值為男掸掸、女。因此要將文字變量轉(zhuǎn)換為數(shù)字變量蹭秋,并且保證對(duì)于轉(zhuǎn)換之后的變量扰付,數(shù)學(xué)運(yùn)算是有意義的,這并不是一件容易的事情仁讨。通常針對(duì)一個(gè)類別型變量羽莺,我們會(huì)用一個(gè)數(shù)字去表示其中的一個(gè)類別,但這樣的轉(zhuǎn)換方法并不能滿足要求:

  • 對(duì)于有序的類別型變量洞豁,比如產(chǎn)品等級(jí)盐固,0表示合格、1表示良好丈挟、2表示優(yōu)秀刁卜。這種情況下,0小于1的確對(duì)應(yīng)著合格等級(jí)次于良好等級(jí)曙咽,但數(shù)字間的四則運(yùn)算就沒有對(duì)應(yīng)意義了蛔趴。數(shù)學(xué)上2減1等于1,但對(duì)于產(chǎn)品等級(jí)桐绒,優(yōu)秀減去良好還等于良好嗎夺脾?

  • 對(duì)于無序的類別型變量,比如對(duì)于省份茉继,0表示北京咧叭、1表示上海、2表示深圳等烁竭。數(shù)字間的大小關(guān)系和四則運(yùn)算都是沒有實(shí)際意義的菲茬。

因此,在模型里直接使用類別型變量是沒有任何道理的,也會(huì)嚴(yán)重影響模型的效果婉弹。由此可見睬魂,不管是數(shù)值型變量還是類別型變量,通常都需要根據(jù)問題場(chǎng)景做相應(yīng)變換后镀赌,再放到模型中使用氯哮。具體的方法將在后續(xù)的文章中(《數(shù)據(jù)科學(xué)中的陷阱II:定性變量的處理》)詳細(xì)討論。

廣告時(shí)間

這篇文章的大部分內(nèi)容參考自我的新書《精通數(shù)據(jù)科學(xué):從線性回歸到深度學(xué)習(xí)》商佛。

李國(guó)杰院士和韓家煒教授在讀過此書后喉钢,親自為其作序,歡迎大家購(gòu)買良姆。

另外肠虽,與之相關(guān)的免費(fèi)視頻課程請(qǐng)關(guān)注這個(gè)鏈接

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市玛追,隨后出現(xiàn)的幾起案子税课,更是在濱河造成了極大的恐慌,老刑警劉巖痊剖,帶你破解...
    沈念sama閱讀 221,635評(píng)論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件韩玩,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡邢笙,警方通過查閱死者的電腦和手機(jī)啸如,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,543評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來氮惯,“玉大人,你說我怎么就攤上這事想暗「竞梗” “怎么了?”我有些...
    開封第一講書人閱讀 168,083評(píng)論 0 360
  • 文/不壞的土叔 我叫張陵说莫,是天一觀的道長(zhǎng)杨箭。 經(jīng)常有香客問我,道長(zhǎng)储狭,這世上最難降的妖魔是什么互婿? 我笑而不...
    開封第一講書人閱讀 59,640評(píng)論 1 296
  • 正文 為了忘掉前任,我火速辦了婚禮辽狈,結(jié)果婚禮上慈参,老公的妹妹穿的比我還像新娘。我一直安慰自己刮萌,他們只是感情好驮配,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,640評(píng)論 6 397
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般壮锻。 火紅的嫁衣襯著肌膚如雪琐旁。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,262評(píng)論 1 308
  • 那天猜绣,我揣著相機(jī)與錄音灰殴,去河邊找鬼。 笑死掰邢,一個(gè)胖子當(dāng)著我的面吹牛牺陶,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播尸变,決...
    沈念sama閱讀 40,833評(píng)論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼义图,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了召烂?” 一聲冷哼從身側(cè)響起碱工,我...
    開封第一講書人閱讀 39,736評(píng)論 0 276
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎奏夫,沒想到半個(gè)月后怕篷,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,280評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡酗昼,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,369評(píng)論 3 340
  • 正文 我和宋清朗相戀三年廊谓,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片麻削。...
    茶點(diǎn)故事閱讀 40,503評(píng)論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡蒸痹,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出呛哟,到底是詐尸還是另有隱情叠荠,我是刑警寧澤,帶...
    沈念sama閱讀 36,185評(píng)論 5 350
  • 正文 年R本政府宣布扫责,位于F島的核電站榛鼎,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏鳖孤。R本人自食惡果不足惜者娱,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,870評(píng)論 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望苏揣。 院中可真熱鬧黄鳍,春花似錦、人聲如沸腿准。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,340評(píng)論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至街望,卻和暖如春校翔,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背灾前。 一陣腳步聲響...
    開封第一講書人閱讀 33,460評(píng)論 1 272
  • 我被黑心中介騙來泰國(guó)打工防症, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人哎甲。 一個(gè)月前我還...
    沈念sama閱讀 48,909評(píng)論 3 376
  • 正文 我出身青樓蔫敲,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親炭玫。 傳聞我的和親對(duì)象是個(gè)殘疾皇子奈嘿,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,512評(píng)論 2 359

推薦閱讀更多精彩內(nèi)容