摘要:面對各行各業(yè)日趨強烈的大數(shù)據(jù)建設、管理及應用訴求摔桦,2018年2月28日MWC大會社付,阿里云重磅推出了智能數(shù)據(jù)構(gòu)建與管理平臺Dataphin——從數(shù)據(jù)接入到數(shù)據(jù)消費全鏈路邻耕,提供一站式的大數(shù)據(jù)能力鸥咖,包括產(chǎn)品、技術(shù)和方法論等兄世,致力于助力企業(yè)打造標準統(tǒng)一啼辣、融會貫通、資產(chǎn)化御滩、服務化鸥拧、閉環(huán)自優(yōu)化的智能數(shù)據(jù)體系。
面對各行各業(yè)日趨強烈的大數(shù)據(jù)建設削解、管理及應用訴求富弦,2018年春季的MWC大會,阿里云重磅推出了智能數(shù)據(jù)構(gòu)建與管理平臺Dataphin——從數(shù)據(jù)接入到數(shù)據(jù)消費全鏈路钠绍,提供一站式的大數(shù)據(jù)能力舆声,包括產(chǎn)品、技術(shù)和方法論等柳爽,致力于助力企業(yè)打造標準統(tǒng)一媳握、融會貫通、資產(chǎn)化磷脯、服務化蛾找、閉環(huán)自優(yōu)化的智能數(shù)據(jù)體系。
Dataphin作為智能的大數(shù)據(jù)平臺赵誓,能夠協(xié)助各行各業(yè)智能地建設與管理屬于自己的智能數(shù)據(jù)打毛。自2018年2月28日MWC大會全球首發(fā)后,3月12日又推出了專有云v3.3首發(fā)V0.8版本俩功,6月15日幻枉,則將推出專有云v3.5發(fā)布升級后最新的V1.0版本。
場景應用
數(shù)據(jù)急劇增長的情況下诡蜓,企業(yè)會面臨著多種數(shù)據(jù)問題:
數(shù)據(jù)構(gòu)建過程艱辛熬甫,數(shù)據(jù)管理結(jié)果差強人意;
數(shù)據(jù)建設周期與效率越發(fā)難以保證蔓罚。因為缺乏工具化支持椿肩,依賴專業(yè)人才設計數(shù)倉瞻颂、開發(fā)過程繁雜,同時只有文檔沉淀郑象、不可持續(xù)迭代使用贡这;
高效生產(chǎn)管理數(shù)據(jù)越發(fā)困難。因為缺乏一站式平臺厂榛,導致設計與開發(fā)脫節(jié)盖矫、數(shù)據(jù)指標不一致,數(shù)據(jù)建設不規(guī)范而難維護噪沙、資源浪費而成本增高炼彪;
數(shù)據(jù)價值難發(fā)掘、難用于業(yè)務正歼、難量化。因為缺乏系統(tǒng)化方法論和配套產(chǎn)品拷橘,無法輸出智能易用的數(shù)據(jù)及數(shù)據(jù)服務以更好支持業(yè)務局义,數(shù)據(jù)投入產(chǎn)出不高也難追蹤到問題;
......
因此對于數(shù)據(jù)量達到TB級別的客戶冗疮,企業(yè)一方面需要盡力招聘更多專業(yè)的數(shù)倉人員或分析師滿足數(shù)據(jù)需求萄唇,另一方面卻依然存在數(shù)據(jù)重復建設、數(shù)據(jù)前后不一致的問題术幔。此外另萤,業(yè)務需求依然難以快速滿足,數(shù)據(jù)資源成本指數(shù)級增長依然難以控制诅挑。
為此四敞,Dataphin基于實踐驗證的OneData、OneID拔妥、OneService方法論與技術(shù)忿危,提供了工具化、產(chǎn)品化的一站式數(shù)據(jù)構(gòu)建與管理平臺没龙,既可以保證數(shù)據(jù)生產(chǎn)標準規(guī)范铺厨、數(shù)據(jù)模型設計即開發(fā)為代碼、即時生成主題式數(shù)據(jù)服務硬纤,同時還能提供數(shù)據(jù)資產(chǎn)化管理的門戶盹沈,有效降低了數(shù)倉建設門檻,提高生產(chǎn)效率后裸、降低生產(chǎn)成本序厉,讓數(shù)據(jù)從成本中心真正變成價值中心。
在適用客戶上肛鹏,Dataphin服務于所有以數(shù)據(jù)業(yè)務(包括數(shù)據(jù)驅(qū)動業(yè)務逸邦、數(shù)據(jù)即業(yè)務)為核心的客戶恩沛,可應用于數(shù)據(jù)量大或者增長過快、數(shù)據(jù)類型多樣豐富的場景下缕减,幫助快速生產(chǎn)管理標準規(guī)范的公共數(shù)據(jù)雷客,快速服務業(yè)務使用(如經(jīng)營報表、營銷圈人)桥狡。
從具體的應用場景來看搅裙,Dataphin提供了四種能力:
有了Dataphin之后,如上問題彈指間即可解決裹芝。
Dataphin基于實踐驗證的OneData部逮、OneID、OneService方法論與技術(shù)嫂易,既可以保證數(shù)據(jù)標準規(guī)范定義兄朋、數(shù)據(jù)模型設計即自動化開發(fā)、主題式數(shù)據(jù)服務即時生成怜械,同時還能提供數(shù)據(jù)資產(chǎn)化管理的門戶颅和,有效降低數(shù)倉建設門檻,也提高生產(chǎn)效率缕允、降低生產(chǎn)成本峡扩,輕松實現(xiàn)讓數(shù)據(jù)從成本中心真正變成價值中心,且可量化呈現(xiàn)障本。
數(shù)倉規(guī)劃與建模研發(fā):建模研發(fā)支持通過可視化定義SQL表達式的方式完成模型設計教届,而系統(tǒng)自動發(fā)布生成任務與生產(chǎn)數(shù)據(jù),且所有數(shù)據(jù)指標標準規(guī)范無二義性驾霜,適用于業(yè)務對數(shù)據(jù)需求多且及時性要求高而專業(yè)人才有限情況的客戶案训,一般需要全局化數(shù)據(jù)監(jiān)控;
數(shù)據(jù)萃燃拿酢:支持通過自定義配置參數(shù)的方式三步完成以實體對象為中心的業(yè)務主數(shù)據(jù)提煉萤衰、DMP構(gòu)建,實現(xiàn)ID識別連接猜旬、標簽標準規(guī)范地自動化生產(chǎn)脆栋,消除數(shù)據(jù)孤島,適用于可以有豐富數(shù)據(jù)自建DMP洒擦、有營銷投放等對象識別分析需求椿争、用數(shù)據(jù)驅(qū)動業(yè)務發(fā)展而專業(yè)人才有限情況的客戶,一般需要數(shù)據(jù)化運營熟嫩;
資產(chǎn)分析及治理:支持資產(chǎn)化視角構(gòu)建及管理數(shù)據(jù)體系并一目了然數(shù)據(jù)價值秦踪,適用于數(shù)據(jù)類型多樣、數(shù)據(jù)豐富、數(shù)據(jù)成本或者質(zhì)量安全對企業(yè)很重要等需要統(tǒng)一管理數(shù)據(jù)的客戶椅邓,特別是以數(shù)據(jù)為業(yè)務的柠逞、數(shù)據(jù)融入業(yè)務的;
數(shù)據(jù)服務:支持面向主題的邏輯表查詢景馁,保證數(shù)據(jù)被快捷方便地查找定位板壮、數(shù)據(jù)查詢SQL得到最大的簡化,提高效率的同時合住,保證規(guī)范绰精、標準、無二義的數(shù)據(jù)輸出至業(yè)務應用透葛,適用于有很多數(shù)據(jù)應用笨使、需要API化或者其他非代碼查詢方式使用數(shù)據(jù)的客戶,數(shù)據(jù)化運營或者數(shù)據(jù)業(yè)務化都會有需求僚害。
目前硫椰,Dataphin已在大潤發(fā)和海底撈兩個項目進行測試」鄙海基于Dataphin平臺最爬,有望實現(xiàn)公司業(yè)務10%以上的數(shù)據(jù)開發(fā)工作工具化和標準化,還能形成一套以公共層數(shù)據(jù)支持為基礎的經(jīng)營報表分析和營銷分析平臺门岔。
技術(shù)解讀
6月15日,Dataphin將升級推出專有云v3.5發(fā)布后最新的V1.0版本烤送。
作為PaaS層工具產(chǎn)品寒随,這一版本最大的提升在于功能易用性,比如即可視化數(shù)據(jù)建模帮坚、代碼自動化生成妻往、數(shù)據(jù)資產(chǎn)圖譜自動化生成,通過可視化配置方式建設數(shù)據(jù)模型试和,提交后系統(tǒng)自動化生成代碼讯泣,同時有一個直觀的可視化資產(chǎn)圖譜揭示數(shù)據(jù)關(guān)系、便于確定數(shù)據(jù)使用方式阅悍。
其中好渠,建模研發(fā)設計與開發(fā)的一體化完成,能夠極大提高原有完全人工編寫代碼的效率(可視化勾選填寫后节视,代碼和數(shù)據(jù)自動化生產(chǎn))拳锚、降低數(shù)倉建設復雜度。此外寻行,利用工具將數(shù)倉模型的知識進行沉淀霍掺,那么后續(xù)的迭代也會更加便利。同時,Dataphin還申請了專利的智能黑盒技術(shù)杆烁,通過近一年的打磨牙丽,保證產(chǎn)品端簡單的操作錄入數(shù)倉建設信息后,經(jīng)過智能黑盒可以輸出穩(wěn)定的兔魂、計算和存儲機制最優(yōu)的數(shù)據(jù)生成代碼烤芦。
目前,業(yè)界也有多個項目聚焦數(shù)據(jù)建設相關(guān)方面入热,比如騰訊數(shù)據(jù)工坊拍棕、teradata、informatica都有相似做數(shù)據(jù)建設開發(fā)的工具勺良,在代碼編輯绰播、提交調(diào)度等方面功能穩(wěn)定性和性能度上的表現(xiàn)也都較為穩(wěn)定。但是尚困,它們都沒有Dataphin所提供的全局數(shù)倉架構(gòu)設計功能蠢箩,也沒有建模設計后立即自動化代碼生成的功能。
實操接入
目前事甜,Dataphin數(shù)據(jù)平臺的技術(shù)水準遙遙領先于國內(nèi)同類型產(chǎn)品的榜首谬泌。它具有很強的自動化代碼生成能力,除去高效建設以降低生產(chǎn)資源(因業(yè)務差異)逻谦,核心可以釋放20%甚至以上的分析師和數(shù)據(jù)開發(fā)工程師的人力掌实,還能將企業(yè)數(shù)據(jù)資產(chǎn)留在自己的系統(tǒng)工具內(nèi),對于廣大企業(yè)來說邦马,選擇Dataphin絕對物超所值贱鼻。
對于企業(yè)來說,借力阿里的智能數(shù)據(jù)引擎Dataphin滋将,通過其結(jié)合數(shù)據(jù)中臺實踐沉淀的方法論和自動化代碼生成等技術(shù)能力邻悬,能夠極好地解決人才和工具兩方面的問題。