1理郑、20170426-[課堂筆記1]-解密大數(shù)據(jù)入門課

? ? ? ? ? ? ? ? ? ? ? ? 第一課解密大數(shù)據(jù)入門課

課堂內(nèi)容梳理

一蹄溉、數(shù)據(jù)科學(xué)

定義用科學(xué)的方法從各種結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)中提取有用信息您炉、知識(shí)的一門交叉型學(xué)科柒爵。

目標(biāo):通過數(shù)據(jù)收集、清洗赚爵、分析棉胀、可視化等過程,用數(shù)據(jù)來回答特定領(lǐng)域的問題冀膝,以及洞察特定領(lǐng)域的知識(shí)唁奢。

二、大數(shù)據(jù)相關(guān)職業(yè)分類

數(shù)據(jù)科學(xué)家(統(tǒng)計(jì)窝剖、以及編程)數(shù)學(xué)建模麻掸、數(shù)值分析。

數(shù)據(jù)分析師(編程赐纱、統(tǒng)計(jì)论笔、業(yè)務(wù)理解能力)采郎。

數(shù)據(jù)開發(fā)工程師(軟件開發(fā)工程師的一個(gè)分支千所,也叫碼農(nóng))大數(shù)據(jù)底層基礎(chǔ)設(shè)施搭建狂魔,數(shù)據(jù)倉庫的搭建、安全維護(hù)以及服務(wù)器日常運(yùn)維和管理淫痰。

數(shù)據(jù)產(chǎn)品經(jīng)理把數(shù)據(jù)變值為商業(yè)化的產(chǎn)品最楷。

互聯(lián)網(wǎng)廣告(都是數(shù)據(jù)產(chǎn)品)

精準(zhǔn)化的推薦和推送.......

數(shù)據(jù)運(yùn)營(yíng)(數(shù)據(jù)驅(qū)動(dòng)的時(shí)代,在互聯(lián)網(wǎng)公司尤其如此~~~~)

數(shù)據(jù)科學(xué)技能包括:數(shù)學(xué)和統(tǒng)計(jì)學(xué)待错、計(jì)算機(jī)籽孙、特定領(lǐng)域的業(yè)務(wù)知識(shí),是一門特別綜合的學(xué)科火俄。

三犯建、數(shù)據(jù)分析師

數(shù)據(jù)分析師(DA)— — 數(shù)據(jù)科學(xué)職業(yè)的一個(gè)分支

你是怎么理解數(shù)據(jù)分析的,你覺得在數(shù)據(jù)分析中最關(guān)鍵的點(diǎn)是什么瓜客?

總結(jié):簡(jiǎn)單通俗易懂地說适瓦,數(shù)據(jù)分析就是從一堆數(shù)據(jù)中洞察知識(shí)和規(guī)律,用來支持和指導(dǎo)商業(yè)決策谱仪。

定義:數(shù)據(jù)分析是通過對(duì)足夠體量的數(shù)據(jù)集合進(jìn)行分析玻熙,以發(fā)現(xiàn)新穎的、有價(jià)值的且可以探索的模式疯攒。

目標(biāo):通過數(shù)據(jù)“發(fā)現(xiàn)”有意義的判斷和知識(shí)嗦随。

模型化:將上面的發(fā)現(xiàn)表達(dá)為模型

反應(yīng)知識(shí)的本質(zhì)

能進(jìn)一步預(yù)知世界

有預(yù)測(cè)能力

統(tǒng)計(jì)學(xué)是數(shù)據(jù)分析的核心。數(shù)據(jù)分析來于統(tǒng)計(jì)學(xué)敬尺,高于統(tǒng)計(jì)學(xué)枚尼。

四、數(shù)據(jù)分析方法論

地:了解前因后果

度:定義問題和決定的【數(shù)據(jù)指標(biāo)】數(shù)據(jù)分析最關(guān)鍵的一步I巴獭J鸹小!

就是說呜舒,從數(shù)據(jù)的角度思考這個(gè)問題锭汛,能反應(yīng)或者體現(xiàn)這個(gè)問題的關(guān)鍵指標(biāo)(特征值)是什么?

量:確定采集數(shù)據(jù)的方法

數(shù):采集數(shù)據(jù)和尋找數(shù)據(jù)特征

稱:數(shù)據(jù)分析和表達(dá)

勝:解釋分析結(jié)果和決策

本課程中計(jì)劃要講的統(tǒng)計(jì)學(xué)知識(shí)點(diǎn)統(tǒng)計(jì)學(xué)知識(shí)點(diǎn):

五袭蝗、統(tǒng)計(jì)分析和數(shù)據(jù)挖掘的區(qū)別

廣義的數(shù)據(jù)分析包括數(shù)據(jù)挖掘唤殴,狹義的數(shù)據(jù)分析是指統(tǒng)計(jì)分析。

統(tǒng)計(jì)分析需要人為的去做一個(gè)判斷到腥,是假設(shè)檢驗(yàn)朵逝。統(tǒng)計(jì)分析多用歸納法。

數(shù)據(jù)挖掘是通過算法去做深度的挖掘乡范,看算法模型跑出來是什么樣子的配名。數(shù)據(jù)挖掘多用演繹法啤咽。

演繹法:結(jié)論可從叫做前提的已知事實(shí)中必然地得出的推理。如果前提為真渠脉,則結(jié)果必然為真宇整。

歸納法:基于對(duì)特定代表的有限觀察,把性質(zhì)或關(guān)系歸結(jié)到類型芋膘×矍啵或基于對(duì)反復(fù)再現(xiàn)的現(xiàn)象的模式的有限觀察,來推導(dǎo)規(guī)律为朋。

六臂拓、Python數(shù)據(jù)分析進(jìn)階過程

學(xué)以致用,想學(xué)數(shù)據(jù)分析习寸,先把Python數(shù)據(jù)分析必備的三個(gè)包NumPy胶惰、pandas、matplotlab用起來O枷7踔汀!M埂剃斧!

用Python去寫爬蟲(80%的爬蟲)。

七忽你、商業(yè)數(shù)據(jù)分析范式(高頻小套路)

個(gè)人思考:就是把商業(yè)問題轉(zhuǎn)化為一個(gè)能用數(shù)據(jù)去衡量和表示的數(shù)據(jù)問題幼东。然后從數(shù)據(jù)的角度去思考和分析這個(gè)商業(yè)問題。(ps科雳,力學(xué)問題根蟹,通過各種力學(xué)分析,數(shù)學(xué)推導(dǎo)糟秘,最后都轉(zhuǎn)化為數(shù)學(xué)問題简逮,力學(xué)問題,本質(zhì)上就是數(shù)學(xué)問題尿赚。商業(yè)問題散庶,可以從數(shù)據(jù)、統(tǒng)計(jì)分析的角度去思考和衡量凌净,力學(xué)分析和商業(yè)數(shù)據(jù)分析悲龟,這兩者在思想上有異曲同工之處。)

八冰寻、商業(yè)DA的標(biāo)準(zhǔn)流程

個(gè)人思考:你怎么看這個(gè)圖的须教?這個(gè)圖可以結(jié)合下面的商業(yè)DA的底層核心元素的圖來一起思考。

九斩芭、商業(yè)DA的底層核心元素(商業(yè)DA的三駕馬車)

數(shù)據(jù)指標(biāo):比如網(wǎng)站的數(shù)據(jù)指標(biāo)轻腺、APP的數(shù)據(jù)指標(biāo)乐疆、銷售業(yè)務(wù)的數(shù)據(jù)指標(biāo)......數(shù)據(jù)指標(biāo),就是對(duì)人性揣摩的具體數(shù)據(jù)量化贬养。

數(shù)據(jù)字典:

數(shù)據(jù)指標(biāo)挤土,數(shù)據(jù)字典,數(shù)據(jù)標(biāo)簽煤蚌,這三個(gè)概念容易混啊~~~

十耕挨、數(shù)據(jù)分析常用模型

漏斗分析(逐層深入分析和分解)(轉(zhuǎn)化指標(biāo)、轉(zhuǎn)化率)尉桩。

十一、DA各行業(yè)的應(yīng)用(案例研究和分組實(shí)戰(zhàn))

電商數(shù)據(jù)分析

O2O數(shù)據(jù)分析

SNS(社交)數(shù)據(jù)分析

房地產(chǎn)價(jià)格波動(dòng)變化數(shù)據(jù)分析

十二贪庙、數(shù)據(jù)分析的局限(天花板)

數(shù)據(jù)分析和數(shù)據(jù)挖掘都是有邊界的蜘犁。任何事物都是有邊界的(類比,大學(xué)又不是沒學(xué)過數(shù)學(xué)和力學(xué)止邮,天花板就是指適用范圍这橙,邊界就是指成立的約束條件)。

任何事件或者結(jié)論的成立也是有前提約束條件的导披。

黑天鵝事件屈扎,未來不可預(yù)測(cè)。

阿里巴巴撩匕,已經(jīng)把數(shù)據(jù)做到上帝視角鹰晨,無所不能了。

課程時(shí)間安排止毕,12次課左右D@!1饬荨H碳病!2個(gè)月左右~~~~~


最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末谨朝,一起剝皮案震驚了整個(gè)濱河市卤妒,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌字币,老刑警劉巖则披,帶你破解...
    沈念sama閱讀 223,126評(píng)論 6 520
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異纬朝,居然都是意外死亡收叶,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,421評(píng)論 3 400
  • 文/潘曉璐 我一進(jìn)店門共苛,熙熙樓的掌柜王于貴愁眉苦臉地迎上來判没,“玉大人蜓萄,你說我怎么就攤上這事〕畏澹” “怎么了嫉沽?”我有些...
    開封第一講書人閱讀 169,941評(píng)論 0 366
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)俏竞。 經(jīng)常有香客問我绸硕,道長(zhǎng),這世上最難降的妖魔是什么魂毁? 我笑而不...
    開封第一講書人閱讀 60,294評(píng)論 1 300
  • 正文 為了忘掉前任玻佩,我火速辦了婚禮,結(jié)果婚禮上席楚,老公的妹妹穿的比我還像新娘咬崔。我一直安慰自己,他們只是感情好烦秩,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,295評(píng)論 6 398
  • 文/花漫 我一把揭開白布垮斯。 她就那樣靜靜地躺著,像睡著了一般只祠。 火紅的嫁衣襯著肌膚如雪兜蠕。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,874評(píng)論 1 314
  • 那天抛寝,我揣著相機(jī)與錄音熊杨,去河邊找鬼。 笑死墩剖,一個(gè)胖子當(dāng)著我的面吹牛猴凹,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播岭皂,決...
    沈念sama閱讀 41,285評(píng)論 3 424
  • 文/蒼蘭香墨 我猛地睜開眼郊霎,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了爷绘?” 一聲冷哼從身側(cè)響起书劝,我...
    開封第一講書人閱讀 40,249評(píng)論 0 277
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎土至,沒想到半個(gè)月后购对,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,760評(píng)論 1 321
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡陶因,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,840評(píng)論 3 343
  • 正文 我和宋清朗相戀三年骡苞,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,973評(píng)論 1 354
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡解幽,死狀恐怖贴见,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情躲株,我是刑警寧澤片部,帶...
    沈念sama閱讀 36,631評(píng)論 5 351
  • 正文 年R本政府宣布,位于F島的核電站霜定,受9級(jí)特大地震影響档悠,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜望浩,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,315評(píng)論 3 336
  • 文/蒙蒙 一辖所、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧曾雕,春花似錦奴烙、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,797評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽揩环。三九已至搔弄,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間丰滑,已是汗流浹背顾犹。 一陣腳步聲響...
    開封第一講書人閱讀 33,926評(píng)論 1 275
  • 我被黑心中介騙來泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留褒墨,地道東北人炫刷。 一個(gè)月前我還...
    沈念sama閱讀 49,431評(píng)論 3 379
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像郁妈,于是被迫代替她去往敵國(guó)和親浑玛。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,982評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容