數(shù)據(jù)分析概述

1. 什么是數(shù)據(jù)分析?

????????數(shù)據(jù)分析是指通過某種方法和技巧對準(zhǔn)備好的數(shù)據(jù)進(jìn)行探索、分析品姓,從中發(fā)現(xiàn)因果關(guān)系、內(nèi)部聯(lián)系和業(yè)務(wù)規(guī)律等分析結(jié)果箫措,為特定的研究或商業(yè)目的提供參考腹备。

? ? ? ? 從本質(zhì)上看,要理解數(shù)據(jù)分析應(yīng)從三個方面去把握:一是目標(biāo)斤蔓,數(shù)據(jù)分析的關(guān)鍵在于設(shè)立目標(biāo)植酥,專業(yè)上叫作“有針對性”,其實(shí)就是對業(yè)務(wù)需求的把握弦牡;二是方法友驮,數(shù)據(jù)分析的方法包括描述性分析、統(tǒng)計分析驾锰、數(shù)據(jù)挖掘和大數(shù)據(jù)分析四種卸留,不同的分析方法所使用的情景和功能都是不一樣的,這需要在做數(shù)據(jù)分析時結(jié)合具體的情況選擇使用椭豫;三是結(jié)果耻瑟,數(shù)據(jù)分析最終要得出分析的結(jié)果,結(jié)果對目標(biāo)解釋的強(qiáng)弱赏酥,結(jié)果的應(yīng)用效果如何喳整。

2. 數(shù)據(jù)分析的步驟有哪些?

? ??????明確分析的目的和內(nèi)容:數(shù)據(jù)分析的對象是誰裸扶?數(shù)據(jù)分析的商業(yè)目的是什么框都?最后的結(jié)果要解決什么樣的業(yè)務(wù)問題?對數(shù)據(jù)分析目的的把握姓言,是數(shù)據(jù)分析項目成敗的關(guān)鍵瞬项。

? ? ? ? 數(shù)據(jù)收集:按照確定的數(shù)據(jù)分析和框架內(nèi)容,有目的地收集何荚、整合相關(guān)數(shù)據(jù)的過程,它數(shù)據(jù)分析的基礎(chǔ)猪杭。

? ? ? ? 數(shù)據(jù)預(yù)處理:對收集到的數(shù)據(jù)進(jìn)行加工餐塘、整理,以便開展數(shù)據(jù)分析皂吮,它是數(shù)據(jù)分析前必不可少的階段戒傻。處理的過程可概括起來包括數(shù)據(jù)審查税手、數(shù)據(jù)清理、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)驗證四個步驟需纳。

????????第一步:數(shù)據(jù)審查

? ? ? ? 該步驟檢查數(shù)據(jù)的數(shù)量(記錄數(shù))是否滿足分析的最低要求芦倒,變量值的內(nèi)容是否與研究的要求一致,是否全面不翩,包括利用描述性統(tǒng)計分析兵扬,檢查各個變量的數(shù)據(jù)類型,變量值的最大值口蝠、最小值器钟、平均數(shù)、中位數(shù)等妙蔗,數(shù)據(jù)個數(shù)傲霸、缺失值或空值個數(shù)等。

? ? ? ? 第二步:數(shù)據(jù)清理

? ? ? ? 該步驟針對數(shù)據(jù)審查過程中發(fā)現(xiàn)的明顯錯誤值眉反、缺失值昙啄、異常值、可疑數(shù)據(jù)寸五,選用適當(dāng)?shù)姆椒ㄟM(jìn)行“清理”跟衅,使“臟”數(shù)據(jù)變?yōu)椤案蓛簟睌?shù)據(jù),保證后續(xù)的數(shù)據(jù)分析得出可靠的結(jié)論播歼。當(dāng)然伶跷,數(shù)據(jù)清理還包括對重復(fù)記錄進(jìn)行刪除。

? ? ? ? 第三步:數(shù)據(jù)轉(zhuǎn)換

? ? ? ? 數(shù)據(jù)分析強(qiáng)調(diào)分析對象的可比性秘狞,但不同變量值由于計量單位等不同叭莫,往往造成數(shù)據(jù)不可比。對一些統(tǒng)計指標(biāo)進(jìn)行綜合評價時烁试,如果統(tǒng)計指標(biāo)的性質(zhì)雇初、計量單位不同,則容易引起分析結(jié)果出現(xiàn)較大的誤差减响,再加上分析過程中其他的一些要求靖诗,需要在分析前對數(shù)據(jù)進(jìn)行變換,包括無量綱化處理支示、線性變換刊橘、匯總和聚集、適度概化颂鸿、規(guī)范化促绵、以及屬性構(gòu)造等。

? ? ? ? 第四步:數(shù)據(jù)驗證

? ? ? ? 該步驟的目的是初步評估和判斷數(shù)據(jù)是否滿足統(tǒng)計分析的需要,從而決定是否需要增加或減少數(shù)據(jù)量败晴∨埃可以利用簡單的線性模型及散點(diǎn)圖、直方圖尖坤、折線圖等圖形進(jìn)行探索性分析稳懒,利用相關(guān)分析、一致性檢驗等方法對數(shù)據(jù)的準(zhǔn)確性進(jìn)行驗證慢味,確保不把錯誤和有偏差的數(shù)據(jù)帶入到數(shù)據(jù)分析模型中场梆。

? ? ? ? 數(shù)據(jù)分析:需要選用特定的數(shù)據(jù)分析方法,熟練操作數(shù)據(jù)分析工具贮缕,實(shí)現(xiàn)從數(shù)據(jù)到知識的分析過程辙谜。常用的數(shù)據(jù)分析方法,最基本的是要了解例如方差感昼、回歸装哆、因子、聚類定嗓、分類蜕琴、時間序列等數(shù)據(jù)分析方法的原理、使用范圍宵溅、優(yōu)缺點(diǎn)和結(jié)果的解釋凌简,熟悉“1+1”種數(shù)據(jù)分析工具,一種是Excel恃逻,一種是專業(yè)分析軟件SPSS雏搂、SAS、MATLAB寇损、R等凸郑。

? ? ? ? 數(shù)據(jù)展現(xiàn):數(shù)據(jù)分析的結(jié)果都是通過圖、表的方式呈現(xiàn)的矛市,能更直觀地讓數(shù)據(jù)分析師表述想要呈現(xiàn)的信息芙沥、觀點(diǎn)和建議。常用的圖形包括餅形圖浊吏、折線圖而昨、柱形圖/條形圖、散點(diǎn)圖找田、雷達(dá)圖歌憨、金字塔圖、矩陣圖午阵、漏斗圖躺孝、帕累托圖等享扔。

? ? ? ? 報告撰寫:是對整個數(shù)據(jù)分析成果的一個呈現(xiàn)底桂。首先要有一個分析框架植袍,并且結(jié)構(gòu)清晰、主次分明籽懦、圖文病貓于个;其次,數(shù)據(jù)分析報告需要有明確的結(jié)論暮顺、建議和解決方案厅篓,不僅僅是找出問題,更重要的是解決問題捶码,否則稱不上是好的數(shù)據(jù)分析羽氮。

3. 常用的數(shù)據(jù)分析方法有哪些?

? ? ? ? 單純的數(shù)據(jù)加工方法:側(cè)重于數(shù)據(jù)的加工和預(yù)處理惫恼,使用的工具一般是SQL和Excel档押,描述性統(tǒng)計分析和相關(guān)分析

? ? ? ? 基于梳理統(tǒng)計的數(shù)據(jù)分析方法:利用一元函數(shù)積分,根據(jù)概率論和微積分引出數(shù)據(jù)的分布祈纯,從數(shù)據(jù)的分布出發(fā)令宿,進(jìn)行數(shù)據(jù)的抽煙推斷和假設(shè)檢驗,由此引出方差分析腕窥、回歸分析粒没、因子分析等基于數(shù)理統(tǒng)計的數(shù)據(jù)分析方法。

? ? ? ? 基于數(shù)據(jù)挖掘的數(shù)據(jù)分析:根據(jù)歷史數(shù)據(jù)得出某種規(guī)則簇爆,根據(jù)規(guī)則進(jìn)行判斷癞松,例如分類。明白算法原理入蛆,計算過程一般使用計算工具完成响蓉。常用分析方法:聚類分析、分類分析(決策樹安寺、人工神經(jīng)網(wǎng)絡(luò)厕妖、貝葉斯分類方法、支持向量機(jī)挑庶、隨機(jī)森林)言秸、關(guān)聯(lián)規(guī)則、回歸分析迎捺。

? ? ? ? 基于大數(shù)據(jù)的數(shù)據(jù)分析方法:理論基礎(chǔ)是數(shù)據(jù)挖掘和分布式計算原理举畸。大數(shù)據(jù)具有海量、快速凳枝、多樣化和有價值四個方面的重要特征抄沮。

4. 數(shù)理統(tǒng)計與數(shù)據(jù)挖掘的區(qū)別和聯(lián)系跋核?

? ? ? ? 聯(lián)系:他們都來源于統(tǒng)計基礎(chǔ)理論,因此它們的很多方法在很多情況下都是同根同源的叛买。

? ? ? ? 區(qū)別:數(shù)理統(tǒng)計常需要分析人員先作假設(shè)或判斷砂代,然后利用數(shù)據(jù)分析技術(shù)來驗證該假設(shè)是否成立。在數(shù)據(jù)挖掘中率挣,分析人員并不需要對數(shù)據(jù)的內(nèi)在關(guān)系做任何假設(shè)或判斷刻伊,而是會讓數(shù)據(jù)挖掘工具中的算法自動去尋找數(shù)據(jù)中隱藏的關(guān)系或規(guī)律。

? ? ? ? 正確運(yùn)用的思路和方法:針對具體的業(yè)務(wù)分析需求椒功,先確定分析思路捶箱,然后根據(jù)這個分析思路去挑選和匹配合適的分析算法、分析技術(shù)动漾,而且一個具體的分析需求一般都會有兩種以上不同的思路和算法可以去探索丁屎,最后可以根據(jù)驗證的效果和資源匹配等一系列因素進(jìn)行綜合權(quán)衡,從而決定最終的思路旱眯、算法和解決方案晨川。

5. 請舉出數(shù)據(jù)分析的幾個例子?

? ? ? ? 哪些商品該不該買键思、哪些客戶是優(yōu)質(zhì)客戶础爬、哪種成分的原料更利于生產(chǎn)、哪個班組的生產(chǎn)質(zhì)量更穩(wěn)定

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末吼鳞,一起剝皮案震驚了整個濱河市看蚜,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌赔桌,老刑警劉巖供炎,帶你破解...
    沈念sama閱讀 221,273評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異疾党,居然都是意外死亡音诫,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,349評論 3 398
  • 文/潘曉璐 我一進(jìn)店門雪位,熙熙樓的掌柜王于貴愁眉苦臉地迎上來竭钝,“玉大人,你說我怎么就攤上這事雹洗∠愎蓿” “怎么了?”我有些...
    開封第一講書人閱讀 167,709評論 0 360
  • 文/不壞的土叔 我叫張陵时肿,是天一觀的道長庇茫。 經(jīng)常有香客問我,道長螃成,這世上最難降的妖魔是什么旦签? 我笑而不...
    開封第一講書人閱讀 59,520評論 1 296
  • 正文 為了忘掉前任查坪,我火速辦了婚禮,結(jié)果婚禮上宁炫,老公的妹妹穿的比我還像新娘偿曙。我一直安慰自己,他們只是感情好淋淀,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,515評論 6 397
  • 文/花漫 我一把揭開白布遥昧。 她就那樣靜靜地躺著覆醇,像睡著了一般朵纷。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上永脓,一...
    開封第一講書人閱讀 52,158評論 1 308
  • 那天袍辞,我揣著相機(jī)與錄音,去河邊找鬼常摧。 笑死搅吁,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的落午。 我是一名探鬼主播谎懦,決...
    沈念sama閱讀 40,755評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼溃斋!你這毒婦竟也來了界拦?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,660評論 0 276
  • 序言:老撾萬榮一對情侶失蹤梗劫,失蹤者是張志新(化名)和其女友劉穎享甸,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體梳侨,經(jīng)...
    沈念sama閱讀 46,203評論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡蛉威,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,287評論 3 340
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了走哺。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片蚯嫌。...
    茶點(diǎn)故事閱讀 40,427評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖丙躏,靈堂內(nèi)的尸體忽然破棺而出择示,到底是詐尸還是另有隱情,我是刑警寧澤彼哼,帶...
    沈念sama閱讀 36,122評論 5 349
  • 正文 年R本政府宣布对妄,位于F島的核電站,受9級特大地震影響敢朱,放射性物質(zhì)發(fā)生泄漏剪菱。R本人自食惡果不足惜摩瞎,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,801評論 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望孝常。 院中可真熱鬧旗们,春花似錦、人聲如沸构灸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,272評論 0 23
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽喜颁。三九已至稠氮,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間半开,已是汗流浹背隔披。 一陣腳步聲響...
    開封第一講書人閱讀 33,393評論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留寂拆,地道東北人奢米。 一個月前我還...
    沈念sama閱讀 48,808評論 3 376
  • 正文 我出身青樓,卻偏偏與公主長得像纠永,于是被迫代替她去往敵國和親鬓长。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,440評論 2 359

推薦閱讀更多精彩內(nèi)容

  • 一尝江、產(chǎn)品基礎(chǔ)分析概述 通過在網(wǎng)站或應(yīng)用中進(jìn)行數(shù)據(jù)埋點(diǎn)涉波,進(jìn)而獲取用戶對產(chǎn)品的使用和行為數(shù)據(jù),并基于產(chǎn)品體驗優(yōu)化的數(shù)據(jù)...
    M小美閱讀 734評論 0 4
  • 數(shù)據(jù)分析的定義 數(shù)據(jù)分析是為了提取有用信息和形成對結(jié)論而對數(shù)據(jù)加以詳細(xì)研究和概括總結(jié)的過程 數(shù)據(jù)分析的分類 描述性...
    柄志閱讀 312評論 0 0
  • 數(shù)據(jù)分析概述 數(shù)據(jù)分析的一般步驟 1. 明確分析目的 分析前一定要目的明確茂装,知道自己要干什么怠蹂。然后根據(jù)目的選擇適合...
    羋學(xué)僧閱讀 622評論 0 0
  • 最近聽了網(wǎng)易云課堂上的一些數(shù)據(jù)分析的課程,下面是一些課程的筆記少态,很多都是直接截圖放在上面了城侧。相關(guān)文章:數(shù)據(jù)分析的3...
    Rockelbel閱讀 860評論 0 1
  • 1. 南柯家的雜物間里有一面鏡子,被一塊兒沾滿灰塵的白布蓋著彼妻。 小的時候南柯還好奇的掀開過嫌佑,沒等他掀開一個角,母親...
    年年不掃閱讀 518評論 1 1