py作為數(shù)據(jù)分析工具

? ? 首先提出問題,根據(jù)數(shù)據(jù)憑借已有經(jīng)驗選擇合適方法洛史,(調(diào)查問卷用exel,SQL稍微大酱吝,更大用多普集群)也殖,數(shù)據(jù)來源。

數(shù)據(jù)分析范圍很大

? ? 數(shù)據(jù)檢驗务热,假設(shè)檢驗(數(shù)據(jù)分布和缺失值)忆嗜,自動化需求有監(jiān)控報表。


ETL抓取數(shù)據(jù)? 分析假設(shè)檢驗? 預(yù)測建模(分析不同因子在模型中的重要性)? 可視化模型

反饋回到提出問題的階段

(敏捷開發(fā))通過快速迭代得到更好地結(jié)果? ? ? ?

數(shù)據(jù)分析任務(wù) 1 數(shù)據(jù)獲取ETL 2數(shù)據(jù)處理類: 交互可視化崎岂,信息匯總 量的產(chǎn)生捆毫,機器學(xué)習(xí),假設(shè)檢驗 3后期自動化:后來對分析進行自動化:1自動可視化2 自動建模和假設(shè)檢驗 冲甘;對數(shù)據(jù)平臺的監(jiān)控


最后一點 自動化的報告 而非手動


R有點錯過了分布式計算的洪流

2012的數(shù)據(jù)科學(xué)家的問題:


1:后期參與決策绩卤,數(shù)據(jù)科學(xué)家沒有參加,改不了江醇;

2:自動化程度低濒憋,實際應(yīng)用低


2017:

大公司不怎么做模型,而是做周圍的產(chǎn)品陶夜,比如在云平臺部署(如上圖的工具特點)




三塊五的表(笑哭)


數(shù)據(jù)提攘萃浴:

SQL對不規(guī)則的,文本不方便? R:要安裝包条辟,麻煩? Py一個包解決?

數(shù)據(jù)預(yù)處理:

R Py給操作人員自由度

可視化:

很大數(shù)據(jù)要在服務(wù)器端進行辐烂,而不在內(nèi)存里遏插,再在可視化,ELK平臺好點纠修,平常的話炸服務(wù)器

實戰(zhàn)部署:

SQL有數(shù)據(jù)庫就不用部署了胳嘲。R生態(tài)有不同軟件包等等所以很麻煩。

問卷:

有大的平臺支持了扣草,很簡單入手了了牛,很完備,但是自由度不大辰妙,雖然對各個方面很細(xì)鹰祸。


1? 前期處理類:SQL R Py,自動化比較少密浑,但交互式強蛙婴;2? 全站處理類:不適合交互式分析,或只是常見場景

流程:前期用交互性強的初期分析尔破,后期結(jié)果要自動化再用自動化工具簡化流程

R Py生態(tài)街图,前期二選一,成熟后用全站的工具自動化




R里的包 生物信息學(xué)里重要的包:billconnector懒构?? R有太多小眾的統(tǒng)計包餐济,寫法可能都不一樣

Py 使用一下的通用軟件包就行了


第四個:數(shù)據(jù)讀取匯總? 5? 監(jiān)督非監(jiān)督式?


fit和pridict函數(shù)訓(xùn)練和預(yù)測

py的借口標(biāo)準(zhǔn)化可移植


最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市胆剧,隨后出現(xiàn)的幾起案子絮姆,更是在濱河造成了極大的恐慌,老刑警劉巖秩霍,帶你破解...
    沈念sama閱讀 218,941評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件篙悯,死亡現(xiàn)場離奇詭異,居然都是意外死亡铃绒,警方通過查閱死者的電腦和手機辕近,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,397評論 3 395
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來匿垄,“玉大人移宅,你說我怎么就攤上這事〈涣疲” “怎么了漏峰?”我有些...
    開封第一講書人閱讀 165,345評論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長届榄。 經(jīng)常有香客問我浅乔,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,851評論 1 295
  • 正文 為了忘掉前任靖苇,我火速辦了婚禮席噩,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘贤壁。我一直安慰自己悼枢,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,868評論 6 392
  • 文/花漫 我一把揭開白布脾拆。 她就那樣靜靜地躺著馒索,像睡著了一般。 火紅的嫁衣襯著肌膚如雪名船。 梳的紋絲不亂的頭發(fā)上绰上,一...
    開封第一講書人閱讀 51,688評論 1 305
  • 那天,我揣著相機與錄音渠驼,去河邊找鬼蜈块。 笑死,一個胖子當(dāng)著我的面吹牛迷扇,可吹牛的內(nèi)容都是我干的百揭。 我是一名探鬼主播,決...
    沈念sama閱讀 40,414評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼谋梭,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了倦青?” 一聲冷哼從身側(cè)響起瓮床,我...
    開封第一講書人閱讀 39,319評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎产镐,沒想到半個月后隘庄,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,775評論 1 315
  • 正文 獨居荒郊野嶺守林人離奇死亡癣亚,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,945評論 3 336
  • 正文 我和宋清朗相戀三年丑掺,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片述雾。...
    茶點故事閱讀 40,096評論 1 350
  • 序言:一個原本活蹦亂跳的男人離奇死亡街州,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出玻孟,到底是詐尸還是另有隱情唆缴,我是刑警寧澤,帶...
    沈念sama閱讀 35,789評論 5 346
  • 正文 年R本政府宣布黍翎,位于F島的核電站面徽,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜趟紊,卻給世界環(huán)境...
    茶點故事閱讀 41,437評論 3 331
  • 文/蒙蒙 一氮双、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧霎匈,春花似錦戴差、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,993評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至弄痹,卻和暖如春饭入,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背肛真。 一陣腳步聲響...
    開封第一講書人閱讀 33,107評論 1 271
  • 我被黑心中介騙來泰國打工谐丢, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人蚓让。 一個月前我還...
    沈念sama閱讀 48,308評論 3 372
  • 正文 我出身青樓乾忱,卻偏偏與公主長得像,于是被迫代替她去往敵國和親历极。 傳聞我的和親對象是個殘疾皇子窄瘟,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,037評論 2 355

推薦閱讀更多精彩內(nèi)容