《哈佛商業(yè)評論》稱數(shù)據(jù)科學(xué)家為21世紀(jì)最性感的職業(yè)，性感一詞罗捎，充分表達(dá)著其中說不出的誘惑和吸引观谦。而數(shù)據(jù)，作為這一切的根源桨菜，更是扮演著極其重要且神秘的角色豁状。沒有數(shù)據(jù)，一切皆是空談倒得，有了數(shù)據(jù)泻红，所有的分析和挖掘都有了寄托。
然而霞掺，要搞好數(shù)據(jù)挖掘谊路，可沒那么簡單，你得有一套正確的招式款待她菩彬！一套完善的流程招呼她缠劝！
↓↓↓
▲CRISP-DM
何為CRISP-DM？
CRISP-DM(cross-industry standard process for data mining), 即"跨行業(yè)數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程"骗灶，它是由NCR惨恭、OHRA、SPSS矿卑、Daimler-Benz等企業(yè)一起開發(fā)出來的喉恋、目前業(yè)界使用最為廣泛的數(shù)據(jù)挖掘方法論。
CRISP-DM模型為一個KDD（知識發(fā)現(xiàn)）工程提供了一個完整的過程描述母廷，將一個KDD工程分為6個不同的轻黑、但順序并非完全不變的階段。CRISP-DM沒有特定的工具限制琴昆，也沒有特定領(lǐng)域局限氓鄙，是適用于所有行業(yè)的標(biāo)準(zhǔn)方法論。
1
商業(yè)理解
首先业舍，我們必須從商業(yè)的角度了解項(xiàng)目的要求和最終目的是什么抖拦，并將這些目的與數(shù)據(jù)挖掘的定義以及結(jié)果結(jié)合起來。任何脫離業(yè)務(wù)的數(shù)據(jù)分析和挖掘都是瞎胡鬧舷暮。
本階段的主要工作包括：確定商業(yè)目標(biāo)态罪，發(fā)現(xiàn)影響結(jié)果的重要因素，從商業(yè)角度描繪客戶的首要目標(biāo)下面，評估形勢复颈，查找所有的資源、局限沥割、設(shè)想以及在確定數(shù)據(jù)分析目標(biāo)和項(xiàng)目方案時考慮到的各種其他的因素耗啦，包括風(fēng)險和意外凿菩、相關(guān)術(shù)語、成本和收益等等帜讲，接下來確定數(shù)據(jù)挖掘的目標(biāo)衅谷，并制定項(xiàng)目計劃。
2
數(shù)據(jù)理解
數(shù)據(jù)理解階段開始于數(shù)據(jù)的收集工作似将。接下來就是熟悉數(shù)據(jù)获黔，具體如：檢測數(shù)據(jù)的量，對數(shù)據(jù)有初步的理解玩郊，探測數(shù)據(jù)中比較有趣的數(shù)據(jù)子集肢执，進(jìn)而形成對潛在信息的假設(shè)。收集原始數(shù)據(jù)译红，對數(shù)據(jù)進(jìn)行裝載预茄，描繪數(shù)據(jù)，并且探索數(shù)據(jù)特征侦厚，進(jìn)行簡單的特征統(tǒng)計耻陕，檢驗(yàn)數(shù)據(jù)的質(zhì)量，包括數(shù)據(jù)的完整性和正確性刨沦，缺失值的填補(bǔ)等诗宣。
3
數(shù)據(jù)準(zhǔn)備
在建立數(shù)據(jù)挖掘模型之前對數(shù)據(jù)做最后的準(zhǔn)備工作，主要是把收集到的各部分?jǐn)?shù)據(jù)關(guān)聯(lián)起來想诅，形成一張最終數(shù)據(jù)寬表召庞。這個階段其實(shí)是耗時最長的階段，一般會占據(jù)整個數(shù)據(jù)挖掘項(xiàng)目的70%左右的時間来破，包括數(shù)據(jù)導(dǎo)入篮灼、數(shù)據(jù)抽取、數(shù)據(jù)清洗徘禁、數(shù)據(jù)合并诅诱、新變量計算等。
數(shù)據(jù)準(zhǔn)備工作有可能被實(shí)施多次送朱，而且其實(shí)施順序并不是預(yù)先規(guī)定好的娘荡。
4
模型構(gòu)建
模型構(gòu)建是數(shù)據(jù)挖掘工作的核心階段。主要包括準(zhǔn)備模型的訓(xùn)練集和驗(yàn)證集驶沼、選擇并使用適當(dāng)?shù)慕＜夹g(shù)和算法炮沐、模型建立、模型效果對比等工作回怜。
在這一階段大年，各種各樣的建模方法將被加以選擇和使用。通過建造、評估模型將其參數(shù)校準(zhǔn)為最為理想的值鲜戒。比較典型的是，對于同一個數(shù)據(jù)挖掘的問題類型抹凳，可以有多種方法選擇使用遏餐。如果有多重技術(shù)要使用，那么在這一任務(wù)中赢底，對于每一個要使用的技術(shù)要分別對待失都。
有一些建模方法對數(shù)據(jù)的形式有具體的要求，因此幸冻，在這一階段粹庞，重新回到數(shù)據(jù)準(zhǔn)備階段執(zhí)行某些任務(wù)有時是非常必要的。
5
模型評估
從數(shù)據(jù)分析的角度考慮洽损，在這一階段中庞溜，已經(jīng)建立了一個或多個高質(zhì)量的模型。但在進(jìn)行最終的模型部署之前碑定，更加徹底地評估模型流码，回顧在構(gòu)建模型過程中所執(zhí)行的每一個步驟，是非常重要的延刘，這樣可以確保這些模型是否達(dá)到了企業(yè)的目標(biāo)漫试。
一個關(guān)鍵的評價指標(biāo)就是，看是否仍然有一些重要的企業(yè)問題還沒有被充分地加以注意和考慮碘赖。在這一階段結(jié)束之時驾荣，有關(guān)數(shù)據(jù)挖掘結(jié)果的使用應(yīng)達(dá)成一致的決定。
模型評估主要從兩個方面進(jìn)行評價：
技術(shù)層面：設(shè)計對照組進(jìn)行比較普泡；根據(jù)常用的模型評估指標(biāo)進(jìn)行評價播掷，如命中率、覆蓋率劫哼、提升度等叮趴；
業(yè)務(wù)經(jīng)驗(yàn)：業(yè)務(wù)專家憑借業(yè)務(wù)經(jīng)驗(yàn)對數(shù)據(jù)挖掘結(jié)果進(jìn)行評估。
6
模型部署
將數(shù)據(jù)挖掘成果程序化权烧，將模型寫成存儲過程固化到IT平臺上眯亦，并持續(xù)觀察模型衰退變化，在發(fā)生模型衰退時般码，引入新的變量進(jìn)行模型優(yōu)化妻率。
