數(shù)據(jù)科學(xué)中的陷阱:變量的數(shù)學(xué)運(yùn)算合理嗎?

數(shù)據(jù)科學(xué)中有各種各樣的模型巴元,有的聽(tīng)起來(lái)很簡(jiǎn)單毡咏,比如線性回歸;有點(diǎn)呢,聽(tīng)起來(lái)就很?chē)樔舜伲热缟疃葘W(xué)習(xí)呕缭。但是不管什么樣的模型,從本質(zhì)上來(lái)講,模型都是對(duì)訓(xùn)練數(shù)據(jù)做數(shù)學(xué)運(yùn)算恢总,并以此求得模型參數(shù)的估計(jì)值落恼。

所以我們需要保證兩點(diǎn):

第一,訓(xùn)練數(shù)據(jù)能進(jìn)行數(shù)學(xué)運(yùn)算;

第二离熏,對(duì)變量所做的數(shù)學(xué)運(yùn)算是合理的佳谦。

對(duì)于第一點(diǎn),通常只在一些特定的應(yīng)用場(chǎng)景里才需要比較復(fù)雜的處理滋戳,比如自然語(yǔ)言處理钻蔑、圖像識(shí)別等。

但對(duì)于第二點(diǎn)奸鸯,幾乎所有的場(chǎng)景都會(huì)遇到咪笑。

這里將注重研究第二點(diǎn)“對(duì)變量所做的數(shù)學(xué)運(yùn)算是合理的”,它表示的內(nèi)涵是:對(duì)于變量娄涩,數(shù)字的運(yùn)算有相應(yīng)的實(shí)際意義窗怒,包括以下兩個(gè)方面:

數(shù)字的大小關(guān)系。

數(shù)字的四則運(yùn)算蓄拣。

為了更好地討論問(wèn)題扬虚,將模型的自變量分類(lèi)。正如前面章節(jié)所提到的球恤,在模型里使用的變量可以分為兩類(lèi):數(shù)值型變量和類(lèi)別型變量辜昵。如圖1所示。

圖1

數(shù)值型變量咽斧,在學(xué)術(shù)上也被稱(chēng)為定量變量(quantitative variable)堪置,如長(zhǎng)度、收入张惹、重量等舀锨。它們的數(shù)值表示具體的測(cè)量或計(jì)數(shù)。事實(shí)上宛逗,定量變量按是否連續(xù)可進(jìn)一步細(xì)分為連續(xù)型變量和離散型變量坎匿。在一定區(qū)間內(nèi)可以任意取值的變量叫連續(xù)型變量,比如人的身高拧额、體重等;反之則是離散型變量碑诉,比如公司員工人數(shù)等。對(duì)于這類(lèi)變量侥锦,數(shù)字間的不等關(guān)系是有實(shí)際意義的进栽。比如對(duì)于收入,在數(shù)學(xué)上恭垦,100小于1000;在實(shí)際生活中快毛,100元也小于1000元格嗅。數(shù)字間的四則運(yùn)算也同理,這里就不贅述了唠帝。當(dāng)然由于數(shù)字的等于關(guān)系和四則運(yùn)算屯掖,數(shù)值型變量常常隱含著邊際效應(yīng)恒定的假設(shè),正如我們?cè)诘?章里討論的那樣襟衰。在某些場(chǎng)景下贴铜,這個(gè)隱含假設(shè)與現(xiàn)實(shí)不符,直接使用變量會(huì)影響模型的效果瀑晒。

類(lèi)別型變量绍坝,也被稱(chēng)為定性變量(categorical variable)。它并不是表示數(shù)量上的變化苔悦,而是表示類(lèi)別轩褐。比如性別、省份玖详、學(xué)歷把介、產(chǎn)品等級(jí)等。這類(lèi)變量的取值通常是用文字而非數(shù)字來(lái)表示蟋座。比如對(duì)于性別這個(gè)變量拗踢,可能的取值為男、女蜈七。因此要將文字變量轉(zhuǎn)換為數(shù)字變量秒拔,并且保證對(duì)于轉(zhuǎn)換之后的變量,數(shù)學(xué)運(yùn)算是有意義的飒硅,這并不是一件容易的事情。通常針對(duì)一個(gè)類(lèi)別型變量作谚,我們會(huì)用一個(gè)數(shù)字去表示其中的一個(gè)類(lèi)別三娩,但這樣的轉(zhuǎn)換方法并不能滿(mǎn)足要求:

對(duì)于有序的類(lèi)別型變量,比如產(chǎn)品等級(jí)妹懒,0表示合格雀监、1表示良好、2表示優(yōu)秀眨唬。這種情況下会前,0小于1的確對(duì)應(yīng)著合格等級(jí)次于良好等級(jí),但數(shù)字間的四則運(yùn)算就沒(méi)有對(duì)應(yīng)意義了匾竿。數(shù)學(xué)上2減1等于1瓦宜,但對(duì)于產(chǎn)品等級(jí),優(yōu)秀減去良好還等于良好嗎?

對(duì)于無(wú)序的類(lèi)別型變量岭妖,比如對(duì)于省份临庇,0表示北京反璃、1表示上海、2表示深圳等假夺。數(shù)字間的大小關(guān)系和四則運(yùn)算都是沒(méi)有實(shí)際意義的淮蜈。

因此,在模型里直接使用類(lèi)別型變量是沒(méi)有任何道理的已卷,也會(huì)嚴(yán)重影響模型的效果梧田。由此可見(jiàn),不管是數(shù)值型變量還是類(lèi)別型變量侧蘸,通常都需要根據(jù)問(wèn)題場(chǎng)景做相應(yīng)變換后柿扣,再放到模型中使用。具體的方法將在后續(xù)的文章中詳細(xì)討論闺魏。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末未状,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子析桥,更是在濱河造成了極大的恐慌司草,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,185評(píng)論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件泡仗,死亡現(xiàn)場(chǎng)離奇詭異埋虹,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)娩怎,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,652評(píng)論 3 393
  • 文/潘曉璐 我一進(jìn)店門(mén)搔课,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人截亦,你說(shuō)我怎么就攤上這事爬泥。” “怎么了崩瓤?”我有些...
    開(kāi)封第一講書(shū)人閱讀 163,524評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵袍啡,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我却桶,道長(zhǎng)境输,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,339評(píng)論 1 293
  • 正文 為了忘掉前任颖系,我火速辦了婚禮嗅剖,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘嘁扼。我一直安慰自己信粮,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,387評(píng)論 6 391
  • 文/花漫 我一把揭開(kāi)白布偷拔。 她就那樣靜靜地躺著蒋院,像睡著了一般亏钩。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上欺旧,一...
    開(kāi)封第一講書(shū)人閱讀 51,287評(píng)論 1 301
  • 那天姑丑,我揣著相機(jī)與錄音,去河邊找鬼辞友。 笑死栅哀,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的称龙。 我是一名探鬼主播留拾,決...
    沈念sama閱讀 40,130評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼鲫尊!你這毒婦竟也來(lái)了痴柔?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 38,985評(píng)論 0 275
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤疫向,失蹤者是張志新(化名)和其女友劉穎咳蔚,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體搔驼,經(jīng)...
    沈念sama閱讀 45,420評(píng)論 1 313
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡谈火,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,617評(píng)論 3 334
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了舌涨。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片糯耍。...
    茶點(diǎn)故事閱讀 39,779評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖囊嘉,靈堂內(nèi)的尸體忽然破棺而出温技,到底是詐尸還是另有隱情,我是刑警寧澤哗伯,帶...
    沈念sama閱讀 35,477評(píng)論 5 345
  • 正文 年R本政府宣布荒揣,位于F島的核電站,受9級(jí)特大地震影響焊刹,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜恳蹲,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,088評(píng)論 3 328
  • 文/蒙蒙 一虐块、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧嘉蕾,春花似錦贺奠、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,716評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)挂据。三九已至,卻和暖如春儿普,著一層夾襖步出監(jiān)牢的瞬間崎逃,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,857評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工眉孩, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留个绍,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 47,876評(píng)論 2 370
  • 正文 我出身青樓浪汪,卻偏偏與公主長(zhǎng)得像巴柿,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子死遭,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,700評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容

  • 第2章 基本語(yǔ)法 2.1 概述 基本句法和變量 語(yǔ)句 JavaScript程序的執(zhí)行單位為行(line)广恢,也就是一...
    悟名先生閱讀 4,148評(píng)論 0 13
  • 晚間我提了一袋垃圾走近垃圾站,放手將垃圾甩出的瞬間呀潭,垃圾站里竄出無(wú)數(shù)異類(lèi)钉迷。許是動(dòng)靜太大,我定眼一看這異類(lèi)里有像貓一...
    飛云冉冉閱讀 750評(píng)論 2 7
  • 秋冬干燥蜗侈,喝點(diǎn)糖水篷牌,潤(rùn)肺解燥,身體棒棒噠~ 愛(ài)自己踏幻,更愛(ài)家人~ 收集的方子 分享給大家~ ───O(≧?≦)O──...
    萬(wàn)事隨緣杰閱讀 406評(píng)論 0 0
  • 每個(gè)人的生命只有一次枷颊,請(qǐng)不要隨意放縱自己,我們的身體要為我們的放縱買(mǎi)單该面,而這個(gè)價(jià)錢(qián)夭苗,我們付不起的。 1. 剛聞到噩...
    珍珠相思閱讀 187評(píng)論 0 0
  • 參考http://stackoverflow.com/questions/29505622/spannablest...
    小面包屑閱讀 1,873評(píng)論 0 2