pandas中read_csv的缺失值處理

今天遇到的問題是,要將一份csv數(shù)據(jù)讀入dataframe最盅,但某些列中含有NA值突雪。對于這些列來說,NA應(yīng)該作為一個有意義的level涡贱,而不是缺失值咏删,但read_csv函數(shù)會自動將類似的缺失值理解為缺失值并變?yōu)镹aN。

na_values
: scalar, str, list-like, or dict, default None
Additional strings to recognize as NA/NaN. If dict passed, specific per-column NA values. By default the following values are interpreted as NaN: '-1.#IND', '1.#QNAN', '1.#IND', '-1.#QNAN', '#N/A N/A','#N/A', 'N/A', 'NA', '#NA', 'NULL', 'NaN', '-NaN', 'nan', '-nan', ''
.
keep_default_na
: boolean, default True
If na_values are specified and keep_default_na is False
 the default NaN values are overridden, otherwise they’re appended to.

看pandas文檔中read_csv函數(shù)中這兩個參數(shù)的描述问词,默認(rèn)會將'-1.#IND', '1.#QNAN', '1.#IND', '-1.#QNAN', '#N/A N/A','#N/A', 'N/A', 'NA', '#NA', 'NULL', 'NaN', '-NaN', 'nan', '-nan', ''轉(zhuǎn)換為NaN督函,且na_values參數(shù)還支持定義另外的應(yīng)處理為缺失值的值。

值得注意的是keep_default_na參數(shù)激挪,這個參數(shù)的作用是決定要不要保留默認(rèn)應(yīng)該轉(zhuǎn)換的缺失值列表辰狡,將這個參數(shù)設(shè)為False之后同時不定義na_values參數(shù),就可以在讀取文件時不將任何值轉(zhuǎn)換為缺失值NaN垄分。

例:

import pandas as pd
df = pd.read_csv('train.csv', keep_default_na=False)
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末宛篇,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子薄湿,更是在濱河造成了極大的恐慌叫倍,老刑警劉巖,帶你破解...
    沈念sama閱讀 212,454評論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件豺瘤,死亡現(xiàn)場離奇詭異吆倦,居然都是意外死亡,警方通過查閱死者的電腦和手機坐求,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,553評論 3 385
  • 文/潘曉璐 我一進(jìn)店門蚕泽,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人桥嗤,你說我怎么就攤上這事须妻。” “怎么了泛领?”我有些...
    開封第一講書人閱讀 157,921評論 0 348
  • 文/不壞的土叔 我叫張陵荒吏,是天一觀的道長。 經(jīng)常有香客問我师逸,道長司倚,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,648評論 1 284
  • 正文 為了忘掉前任篓像,我火速辦了婚禮动知,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘员辩。我一直安慰自己盒粮,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 65,770評論 6 386
  • 文/花漫 我一把揭開白布奠滑。 她就那樣靜靜地躺著丹皱,像睡著了一般。 火紅的嫁衣襯著肌膚如雪宋税。 梳的紋絲不亂的頭發(fā)上摊崭,一...
    開封第一講書人閱讀 49,950評論 1 291
  • 那天,我揣著相機與錄音杰赛,去河邊找鬼呢簸。 笑死,一個胖子當(dāng)著我的面吹牛乏屯,可吹牛的內(nèi)容都是我干的根时。 我是一名探鬼主播,決...
    沈念sama閱讀 39,090評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼辰晕,長吁一口氣:“原來是場噩夢啊……” “哼蛤迎!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起含友,我...
    開封第一講書人閱讀 37,817評論 0 268
  • 序言:老撾萬榮一對情侶失蹤替裆,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后唱较,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體扎唾,經(jīng)...
    沈念sama閱讀 44,275評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,592評論 2 327
  • 正文 我和宋清朗相戀三年南缓,在試婚紗的時候發(fā)現(xiàn)自己被綠了胸遇。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,724評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡汉形,死狀恐怖纸镊,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情概疆,我是刑警寧澤逗威,帶...
    沈念sama閱讀 34,409評論 4 333
  • 正文 年R本政府宣布,位于F島的核電站岔冀,受9級特大地震影響凯旭,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 40,052評論 3 316
  • 文/蒙蒙 一罐呼、第九天 我趴在偏房一處隱蔽的房頂上張望鞠柄。 院中可真熱鬧,春花似錦嫉柴、人聲如沸厌杜。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,815評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽夯尽。三九已至,卻和暖如春登馒,著一層夾襖步出監(jiān)牢的瞬間匙握,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,043評論 1 266
  • 我被黑心中介騙來泰國打工陈轿, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留肺孤,地道東北人。 一個月前我還...
    沈念sama閱讀 46,503評論 2 361
  • 正文 我出身青樓济欢,卻偏偏與公主長得像赠堵,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子法褥,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,627評論 2 350

推薦閱讀更多精彩內(nèi)容