轉自：https://www.cnblogs.com/HuZihu/p/11146493.html

探索性數(shù)據(jù)分析（Exploratory Data Analysis，EDA）主要的工作是：

對數(shù)據(jù)進行清洗沈自，對數(shù)據(jù)進行描述（描述統(tǒng)計量劫拗，圖表），查看數(shù)據(jù)的分布勺疼，比較數(shù)據(jù)之間的關系教寂，培養(yǎng)對數(shù)據(jù)的直覺，對數(shù)據(jù)進行總結等执庐。

探索性數(shù)據(jù)分析（EDA）與傳統(tǒng)統(tǒng)計分析（Classical Analysis）的區(qū)別：

傳統(tǒng)的統(tǒng)計分析方法（CA) 通常是先假設樣本服從某種分布酪耕，然后把數(shù)據(jù)套入假設模型再做分析。但由于多數(shù)數(shù)據(jù)并不能滿足假設的分布轨淌，因此迂烁，傳統(tǒng)統(tǒng)計分析結果常常不能讓人滿意看尼。
探索性數(shù)據(jù)分析方法(EDA) 注重數(shù)據(jù)的真實分布，強調數(shù)據(jù)的可視化盟步，使分析者能一目了然看出數(shù)據(jù)中隱含的規(guī)律狡忙，從而得到啟發(fā)，以此幫助分析者找到適合數(shù)據(jù)的模型址芯≡肿拢“探索性”是指分析者對待解問題的理解會隨著研究的深入不斷變化。

應用傳統(tǒng)統(tǒng)計分析方法的數(shù)據(jù)分析步驟：
提出問題 Problem => 準備數(shù)據(jù) Data => 建模 Model => 分析 Analysis => 得出結論 Conclusions

應用探索性數(shù)據(jù)分析方法的數(shù)據(jù)分析步驟：
提出問題 Problem => 準備數(shù)據(jù) Data => 分析 Analysis => 建模 Model => 得出結論 Conclusions

探索性數(shù)據(jù)分析通常有以下幾個步驟：

A. 檢查數(shù)據(jù)

• 是否有缺失值谷炸？
• 是否有異常值北专？
• 是否有重復值？
• 樣本是否均衡旬陡？
• 是否需要抽樣拓颓？
• 變量是否需要轉換？
• 是否需要增加新的特征描孟？
  注：數(shù)據(jù)類型分為數(shù)值型驶睦，類別型，文本型匿醒，時間序列等场航。這里主要指的是數(shù)值型（定量數(shù)據(jù)）和類別型（定性數(shù)據(jù)），其中數(shù)值型又可以分為連續(xù)型和離散型廉羔。

B. 使用描述統(tǒng)計量和圖表對數(shù)據(jù)進行描述：

1）連續(xù)變量：

常見的描述統(tǒng)計量：平均值溉痢，中位數(shù)，眾數(shù)憋他，最小值孩饼，最大值，四分位數(shù)竹挡，標準差等

圖表：頻數(shù)分布表（需進行分箱操作）镀娶，直方圖，箱線圖（查看分布情況）

image

2）無序型離散變量：

常見的描述統(tǒng)計量：各個變量出現(xiàn)的頻數(shù)和占比

圖表：頻數(shù)分布表（絕對頻數(shù)揪罕，相對頻數(shù)梯码，百分數(shù)頻數(shù)），柱形圖耸序，條形圖忍些，莖葉圖，餅圖

3）有序型離散變量：

常見的描述統(tǒng)計量：各個變量出現(xiàn)的頻數(shù)和占比

圖表：頻數(shù)分布表坎怪，堆積柱形圖罢坝，堆積條形圖（比較大小）

C. 考察變量之間的關系：

1）連續(xù)變量和連續(xù)變量（Continuous & Continuous）：

對于連續(xù)變量與連續(xù)變量之間的關系，可以通過散點圖進行查看嘁酿。對于多個連續(xù)變量隙券，可使用散點圖矩陣，相關系數(shù)矩陣闹司，熱圖娱仔。

image

量化指標：皮爾遜相關系數(shù)（線性關系），互信息（非線性關系）

2）離散變量和離散變量（Discrete & Discrete）：

對于離散變量與離散變量之間的關系游桩，可以通過交叉分組表牲迫，復合柱形圖，堆積柱形圖借卧，餅圖進行查看盹憎。對于多個離散變量，可以使用網(wǎng)狀圖铐刘，通過各個要素之間是否有線條陪每，以及線條的粗線來顯示是否有關系以及關系的強弱。

image

量化指標：卡方獨立性檢驗--->Cramer’s φ (Phi) or Cramer’s V

3）離散變量和連續(xù)變量（Discrete & Continuous）：

對于離散變量和連續(xù)變量之間的關系镰吵，可以使用直方圖檩禾，箱線圖，小提琴圖進行查看疤祭，將離散變量在圖形中用不同的顏色顯示盼产，來直觀地觀察變量之間的關系。

量化指標：獨立樣本t檢驗中的t統(tǒng)計量和相應的p值（兩個變量）画株，單因素方差分析中的η2（三個變量及以上）

D. 其他

1）檢查數(shù)據(jù)的正態(tài)性：直方圖辆飘，箱線圖啦辐，Q-Q圖（Quantile-Quantile Plot ）

直方圖谓传，箱線圖：看圖形是否對稱

Q-Q圖：比較數(shù)據(jù)的分位數(shù)與某個理論分布的分位數(shù)是否匹配

總結一下，如果要對數(shù)據(jù)集進行探索性分析：

（以名字為data的數(shù)據(jù)集為例）

第一步芹关，用pandas讀取數(shù)據(jù)集续挟，并顯示前5行，看是否加載正確侥衬；

第二步诗祸，有必要時對列名重命名；

第三步轴总，查看數(shù)據(jù)整體情況（行列數(shù)data.shape直颅，數(shù)據(jù)類型data.dtypes，或者用data.info()同時查看這兩項怀樟，用data.describe()查看連續(xù)變量的描述統(tǒng)計量）功偿；

第四步，處理缺失值往堡，異常值械荷，重復值問題（各列分別有多少缺失值data.apply(lambda x: sum(x.isnull()),axis=0)共耍，各行分別有多少缺失值data.apply(lambda x: sum(x.isnull()),axis=1)，總共有多少行有缺失值

len(data.apply(lambda x: sum(x.isnull()),axis=1).nonzero()[0])吨瞎，刪除重復值data.drop_duplicates()）痹兜；

第五步，有必要時轉換數(shù)據(jù)類型颤诀；

第六步字旭，看是否需要添加新的特征；

第七步崖叫，確定分析思路谐算，用思維導圖畫出來；

第八步归露，按照分析思路進行分析并畫出圖形洲脂；

第九步，總結分析結果剧包；

附：

圖形的選擇：描述趨勢使用折線圖恐锦，描述數(shù)量使用柱狀圖（且必須從 0 開始），描述關系使用散點圖疆液，描述比例使用餅狀圖一铅。

image

科學家經(jīng)過 30 年的研究，發(fā)現(xiàn)人對位置堕油、長度和角度的感知最敏銳潘飘，可以用來表示數(shù)量，其次是面積和密度掉缺，可表示順序卜录，對于顏色和形狀的感知是最不精確的，只可用來區(qū)分類別眶明。

image

參考：http://www.reibang.com/p/2e590d306bd2