【數(shù)據(jù)處理】【數(shù)據(jù)清洗】【7.1 處理缺失值】 2021-06-20

7.1 處理缺失值

Pandas中使用浮點值NaN(Nat a Number)來標(biāo)識缺失值。numpy的np.nan习绢,和Python內(nèi)建的None值并不是一回事,但使用二者為DataFrame對象賦值時,都會被pandas視作缺失值。


image.png

7.1.1 過濾缺失值

Series上使用dropna方法茎刚,會返回Series中所有非空數(shù)據(jù)及其索引值。處理DataFrame對象時dropna默認(rèn)會刪除所有包含缺失值的行撤逢。以下是處理DataFrame時的常見應(yīng)用情景膛锭。

  1. 刪除的對象只限于行中所有觀測值均缺失的行時,傳入 how='all' 蚊荣。
data.dropna(how='all')
  1. 針對列進(jìn)行過濾時初狰,轉(zhuǎn)入?yún)?shù) axis=1 。
  2. 如果想保留包含一定數(shù)量觀測值的行互例,使用thresh參數(shù)奢入。下例為,如果一行內(nèi)有兩個以上的觀測值媳叨,則保留此行腥光。
data.dropna(thresh=2)
  1. 如果想用DataFrame某列中的缺失值來過濾行的話,使用subset參數(shù)(參數(shù)值為列表類型)肩杈。
data.dropna(subset=[0]) 

7.1.2 補(bǔ)全缺失值

除了過濾柴我,有時需要用fillna方法補(bǔ)全缺失值解寝±┤唬可以使用常數(shù),字典作為填充值聋伦,或采取插值的方法夫偶。

  1. 填充常數(shù)0
data.fillna(0) 
  1. 第2列填充常數(shù)0, 第3列填充常數(shù)0.5
data.fillna({1:0, 2:0.5})
  1. 自動插入前一列的值(向前填充),并且最多填充2行

data.fillna(method='ffill', limit=2)
  1. 填充后不返回新對象觉增,修改已存在對象
data.fillna(0兵拢,inplace=True) 
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市逾礁,隨后出現(xiàn)的幾起案子说铃,更是在濱河造成了極大的恐慌,老刑警劉巖嘹履,帶你破解...
    沈念sama閱讀 211,194評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件腻扇,死亡現(xiàn)場離奇詭異,居然都是意外死亡砾嫉,警方通過查閱死者的電腦和手機(jī)幼苛,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,058評論 2 385
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來焕刮,“玉大人舶沿,你說我怎么就攤上這事墙杯。” “怎么了括荡?”我有些...
    開封第一講書人閱讀 156,780評論 0 346
  • 文/不壞的土叔 我叫張陵高镐,是天一觀的道長。 經(jīng)常有香客問我一汽,道長避消,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,388評論 1 283
  • 正文 為了忘掉前任召夹,我火速辦了婚禮岩喷,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘监憎。我一直安慰自己纱意,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 65,430評論 5 384
  • 文/花漫 我一把揭開白布鲸阔。 她就那樣靜靜地躺著偷霉,像睡著了一般。 火紅的嫁衣襯著肌膚如雪褐筛。 梳的紋絲不亂的頭發(fā)上类少,一...
    開封第一講書人閱讀 49,764評論 1 290
  • 那天,我揣著相機(jī)與錄音渔扎,去河邊找鬼硫狞。 笑死,一個胖子當(dāng)著我的面吹牛晃痴,可吹牛的內(nèi)容都是我干的残吩。 我是一名探鬼主播,決...
    沈念sama閱讀 38,907評論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼倘核,長吁一口氣:“原來是場噩夢啊……” “哼泣侮!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起紧唱,我...
    開封第一講書人閱讀 37,679評論 0 266
  • 序言:老撾萬榮一對情侶失蹤活尊,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后漏益,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體蛹锰,經(jīng)...
    沈念sama閱讀 44,122評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,459評論 2 325
  • 正文 我和宋清朗相戀三年遭庶,在試婚紗的時候發(fā)現(xiàn)自己被綠了宁仔。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,605評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡峦睡,死狀恐怖翎苫,靈堂內(nèi)的尸體忽然破棺而出权埠,到底是詐尸還是另有隱情,我是刑警寧澤煎谍,帶...
    沈念sama閱讀 34,270評論 4 329
  • 正文 年R本政府宣布攘蔽,位于F島的核電站,受9級特大地震影響呐粘,放射性物質(zhì)發(fā)生泄漏满俗。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,867評論 3 312
  • 文/蒙蒙 一作岖、第九天 我趴在偏房一處隱蔽的房頂上張望唆垃。 院中可真熱鬧,春花似錦痘儡、人聲如沸辕万。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,734評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽渐尿。三九已至,卻和暖如春矾瑰,著一層夾襖步出監(jiān)牢的瞬間砖茸,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,961評論 1 265
  • 我被黑心中介騙來泰國打工殴穴, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留凉夯,地道東北人。 一個月前我還...
    沈念sama閱讀 46,297評論 2 360
  • 正文 我出身青樓推正,卻偏偏與公主長得像恍涂,于是被迫代替她去往敵國和親宝惰。 傳聞我的和親對象是個殘疾皇子植榕,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,472評論 2 348

推薦閱讀更多精彩內(nèi)容