數(shù)據(jù)清洗， 是整個(gè)數(shù)據(jù)分析過程中不可缺少的一個(gè)環(huán)節(jié)，其結(jié)果質(zhì)量直接關(guān)系到模型效果和最終結(jié)論征椒。在實(shí)際操作中，數(shù)據(jù)清洗通常會(huì)占據(jù)分析過程的50%—80%的時(shí)間湃累。國外有些學(xué)術(shù)機(jī)構(gòu)會(huì)專門研究如何做數(shù)據(jù)清洗勃救，相關(guān)的書籍也不少碍讨。
(美亞搜data cleaning的結(jié)果，可以看到這書還挺貴)
我將在這篇文章中蒙秒，嘗試非常淺層次的梳理一下數(shù)據(jù)清洗過程勃黍，供各位參考。
照例晕讲，先上圖：
預(yù)處理階段
預(yù)處理階段主要做兩件事情：
一是將數(shù)據(jù)導(dǎo)入處理工具覆获。通常來說，建議使用數(shù)據(jù)庫益兄，單機(jī)跑數(shù)搭建MySQL環(huán)境即可锻梳。如果數(shù)據(jù)量大(千萬級(jí)以上)，可以使用文本文件存儲(chǔ)+Python操作的方式净捅。
二是看數(shù)據(jù)疑枯。這里包含兩個(gè)部分：一是看元數(shù)據(jù)，包括字段解釋蛔六、數(shù)據(jù)來源荆永、代碼表等等一切描述數(shù)據(jù)的信息;二是抽取一部分?jǐn)?shù)據(jù)，使用人工查看方式国章，對(duì)數(shù)據(jù)本身有一個(gè)直觀的了解具钥，并且初步發(fā)現(xiàn)一些問題，為之后的處理做準(zhǔn)備液兽。
第一步：缺失值清洗
缺失值是最常見的數(shù)據(jù)問題骂删，處理缺失值也有很多方法，我建議按照以下四個(gè)步驟進(jìn)行：
1四啰、確定缺失值范圍：對(duì)每個(gè)字段都計(jì)算其缺失值比例宁玫，然后按照缺失比例和字段重要性，分別制定策略柑晒，可用下圖表示：
2欧瘪、去除不需要的字段：這一步很簡單，直接刪掉即可……但強(qiáng)烈建議清洗每做一步都備份一下匙赞，或者在小規(guī)模數(shù)據(jù)上試驗(yàn)成功再處理全量數(shù)據(jù)佛掖，不然刪錯(cuò)了會(huì)追悔莫及(多說一句，寫SQL的時(shí)候delete一定要配where!)涌庭。
3芥被、填充缺失內(nèi)容：某些缺失值可以進(jìn)行填充，方法有以下三種：
以業(yè)務(wù)知識(shí)或經(jīng)驗(yàn)推測(cè)填充缺失值
以同一指標(biāo)的計(jì)算結(jié)果(均值脾猛、中位數(shù)撕彤、眾數(shù)等)填充缺失值
以不同指標(biāo)的計(jì)算結(jié)果填充缺失值
前兩種方法比較好理解。關(guān)于第三種方法猛拴，舉個(gè)最簡單的例子：年齡字段缺失羹铅，但是有屏蔽后六位的身份證號(hào)，so……
4愉昆、重新取數(shù)：如果某些指標(biāo)非常重要又缺失率高职员，那就需要和取數(shù)人員或業(yè)務(wù)人員了解，是否有其他渠道可以取到相關(guān)數(shù)據(jù)跛溉。
以上焊切，簡單的梳理了缺失值清洗的步驟，但其中有一些內(nèi)容遠(yuǎn)比我說的復(fù)雜芳室，比如填充缺失值。很多講統(tǒng)計(jì)方法或統(tǒng)計(jì)工具的書籍會(huì)提到相關(guān)方法，有興趣的各位可以自行深入了解剩蟀。
第二步：格式內(nèi)容清洗
如果數(shù)據(jù)是由系統(tǒng)日志而來猖辫，那么通常在格式和內(nèi)容方面，會(huì)與元數(shù)據(jù)的描述一致伍宦。而如果數(shù)據(jù)是由人工收集或用戶填寫而來芽死，則有很大可能性在格式和內(nèi)容上存在一些問題，簡單來說次洼，格式內(nèi)容問題有以下幾類：
1关贵、時(shí)間、日期卖毁、數(shù)值揖曾、全半角等顯示格式不一致
這種問題通常與輸入端有關(guān)，在整合多來源數(shù)據(jù)時(shí)也有可能遇到亥啦，將其處理成一致的某種格式即可炭剪。
2、內(nèi)容中有不該存在的字符
某些內(nèi)容可能只包括一部分字符禁悠，比如身份證號(hào)是數(shù)字+字母念祭，中國人姓名是漢字(趙C這種情況還是少數(shù))。最典型的就是頭碍侦、尾粱坤、中間的空格，也可能出現(xiàn)姓名中存在數(shù)字符號(hào)瓷产、身份證號(hào)中出現(xiàn)漢字等問題站玄。這種情況下，需要以半自動(dòng)校驗(yàn)半人工方式來找出可能存在的問題濒旦，并去除不需要的字符株旷。
3、內(nèi)容與該字段應(yīng)有內(nèi)容不符
姓名寫了性別，身份證號(hào)寫了手機(jī)號(hào)等等晾剖，均屬這種問題锉矢。 但該問題特殊性在于：并不能簡單的以刪除來處理，因?yàn)槌梢蛴锌赡苁侨斯ぬ顚戝e(cuò)誤齿尽，也有可能是前端沒有校驗(yàn)沽损，還有可能是導(dǎo)入數(shù)據(jù)時(shí)部分或全部存在列沒有對(duì)齊的問題，因此要詳細(xì)識(shí)別問題類型循头。
格式內(nèi)容問題是比較細(xì)節(jié)的問題绵估，但很多分析失誤都是栽在這個(gè)坑上，比如跨表關(guān)聯(lián)或VLOOKUP失敗(多個(gè)空格導(dǎo)致工具認(rèn)為“陳丹奕”和“陳 丹奕”不是一個(gè)人)卡骂、統(tǒng)計(jì)值不全(數(shù)字里摻個(gè)字母當(dāng)然求和時(shí)結(jié)果有問題)国裳、模型輸出失敗或效果不好(數(shù)據(jù)對(duì)錯(cuò)列了，把日期和年齡混了全跨，so……)缝左。因此，請(qǐng)各位務(wù)必注意這部分清洗工作螟蒸，尤其是在處理的數(shù)據(jù)是人工收集而來盒使，或者你確定產(chǎn)品前端校驗(yàn)設(shè)計(jì)不太好的時(shí)候……
第三步：邏輯錯(cuò)誤清洗
這部分的工作是去掉一些使用簡單邏輯推理就可以直接發(fā)現(xiàn)問題的數(shù)據(jù)，防止分析結(jié)果走偏七嫌。主要包含以下幾個(gè)步驟：
1少办、去重
有的分析師喜歡把去重放在第一步，但我強(qiáng)烈建議把去重放在格式內(nèi)容清洗之后诵原，原因已經(jīng)說過了(多個(gè)空格導(dǎo)致工具認(rèn)為“陳丹奕”和“陳 丹奕”不是一個(gè)人英妓，去重失敗)。而且绍赛，并不是所有的重復(fù)都能這么簡單的去掉……
我曾經(jīng)做過電話銷售相關(guān)的數(shù)據(jù)分析蔓纠，發(fā)現(xiàn)銷售們?yōu)榱藫寙魏喼睙o所不用其極……舉例，一家公司叫做“ABC管家有限公司“吗蚌，在銷售A手里腿倚，然后銷售B為了搶這個(gè)客戶，在系統(tǒng)里錄入一個(gè)”ABC官家有限公司“蚯妇。你看敷燎，不仔細(xì)看你都看不出兩者的區(qū)別，而且就算看出來了箩言，你能保證沒有”ABC官家有限公司“這種東西的存在么……這種時(shí)候硬贯，要么去抱RD大腿要求人家給你寫模糊匹配算法，要么肉眼看吧陨收。
上邊這個(gè)還不是最狠的饭豹，請(qǐng)看下圖：
你用的系統(tǒng)里很有可能兩條路都叫八里莊路，敢直接去重不?(附送去重小tips：兩個(gè)八里莊路的門牌號(hào)范圍不一樣)
當(dāng)然，如果數(shù)據(jù)不是人工錄入的拄衰，那么簡單去重即可它褪。
2、去除不合理值
一句話就能說清楚：有人填表時(shí)候瞎填肾砂，年齡200歲列赎，年收入100000萬(估計(jì)是沒看見”萬“字)宏悦，這種的就要么刪掉镐确，要么按缺失值處理。這種值如何發(fā)現(xiàn)?提示：可用但不限于箱形圖(Box-plot).
3饼煞、修正矛盾內(nèi)容
有些字段是可以互相驗(yàn)證的源葫，舉例：身份證號(hào)是1101031980XXXXXXXX，然后年齡填18歲砖瞧，我們雖然理解人家永遠(yuǎn)18歲的想法息堂，但得知真實(shí)年齡可以給用戶提供更好的服務(wù)啊(又瞎扯……)。在這種時(shí)候块促，需要根據(jù)字段的數(shù)據(jù)來源荣堰，來判定哪個(gè)字段提供的信息更為可靠，去除或重構(gòu)不可靠的字段竭翠。
邏輯錯(cuò)誤除了以上列舉的情況振坚，還有很多未列舉的情況，在實(shí)際操作中要酌情處理斋扰。另外渡八，這一步驟在之后的數(shù)據(jù)分析建模過程中有可能重復(fù)，因?yàn)榧词箚栴}很簡單传货，也并非所有問題都能夠一次找出屎鳍，我們能做的是使用工具和方法，盡量減少問題出現(xiàn)的可能性问裕，使分析過程更為高效逮壁。
第四步：非需求數(shù)據(jù)清洗
這一步說起來非常簡單：把不要的字段刪了。
但實(shí)際操作起來粮宛，有很多問題窥淆，例如：
把看上去不需要但實(shí)際上對(duì)業(yè)務(wù)很重要的字段刪了;
某個(gè)字段覺得有用，但又沒想好怎么用窟勃，不知道是否該刪;
一時(shí)看走眼祖乳，刪錯(cuò)字段了。
前兩種情況我給的建議是：如果數(shù)據(jù)量沒有大到不刪字段就沒辦法處理的程度秉氧，那么能不刪的字段盡量不刪眷昆。第三種情況，請(qǐng)勤備份數(shù)據(jù)……
第五步：關(guān)聯(lián)性驗(yàn)證
如果你的數(shù)據(jù)有多個(gè)來源，那么有必要進(jìn)行關(guān)聯(lián)性驗(yàn)證亚斋。例如作媚，你有汽車的線下購買信息，也有電話客服問卷信息帅刊，兩者通過姓名和手機(jī)號(hào)關(guān)聯(lián)纸泡，那么要看一下，同一個(gè)人線下登記的車輛信息和線上問卷問出來的車輛信息是不是同一輛赖瞒，如果不是(別笑女揭，業(yè)務(wù)流程設(shè)計(jì)不好是有可能出現(xiàn)這種問題的!)，那么需要調(diào)整或去除數(shù)據(jù)栏饮。
嚴(yán)格意義上來說吧兔，這已經(jīng)脫離數(shù)據(jù)清洗的范疇了，而且關(guān)聯(lián)數(shù)據(jù)變動(dòng)在數(shù)據(jù)庫模型中就應(yīng)該涉及袍嬉。但我還是希望提醒大家境蔼，多個(gè)來源的數(shù)據(jù)整合是非常復(fù)雜的工作，一定要注意數(shù)據(jù)之間的關(guān)聯(lián)性伺通，盡量在分析過程中不要出現(xiàn)數(shù)據(jù)之間互相矛盾箍土，而你卻毫無察覺的情況。
來源：http://www.36dsj.com/archives/44958
