在阿里的推動下,大數(shù)據(jù)借數(shù)據(jù)中臺概念在企業(yè)級市場腰池,又火了起來尾组,而且有越來越火的趨勢忙芒。越來越多的供應(yīng)商也在陸續(xù)推出相關(guān)的數(shù)據(jù)中臺產(chǎn)品。那么數(shù)據(jù)中臺買的來么讳侨?各位看官別急匕争,先吃點別的瓜哈:
數(shù)據(jù)體系建設(shè)的意義
大型企業(yè)數(shù)字化轉(zhuǎn)型的核心是利用網(wǎng)絡(luò)協(xié)同效應(yīng)和數(shù)據(jù)智能,賦能業(yè)務(wù)創(chuàng)造更多的用戶價值爷耀。但是網(wǎng)絡(luò)效應(yīng)和業(yè)務(wù)類型強(qiáng)相關(guān)甘桑,強(qiáng)大如Uber、滴滴受業(yè)務(wù)所限也僅僅只能做到規(guī)模效應(yīng)歹叮,各類產(chǎn)業(yè)企業(yè)就更不用說跑杭。因此對于大型產(chǎn)業(yè)企業(yè)來講,建立適合自身的數(shù)據(jù)體系從而持續(xù)產(chǎn)出數(shù)據(jù)智能咆耿,是更加確定性的事情德谅,也更值得堅定投入。
數(shù)據(jù)中臺的背后
結(jié)合在阿里和滴滴的工作經(jīng)驗萨螺,來談?wù)剶?shù)據(jù)中臺的成軍歷史和背后的體系經(jīng)驗:
這張圖是阿里數(shù)據(jù)中臺的整體結(jié)構(gòu)圖:
這個圖清晰的展示了阿里數(shù)據(jù)中臺的系統(tǒng)構(gòu)成窄做、核心的數(shù)據(jù)架構(gòu)體系以及數(shù)據(jù)價值的輸出方式。阿里持續(xù)投入了10年慰技,歷經(jīng)多次變革才做到椭盏,它背后的演進(jìn)歷史與業(yè)務(wù)挑戰(zhàn)是具有相當(dāng)代表性的:
業(yè)務(wù)信息化
阿里很幸運,作為原生的數(shù)字化企業(yè)吻商,沒有老業(yè)務(wù)的包袱掏颊,加上中國的工程師紅利,它天生就是信息化的艾帐,一上來就躍上了第二個臺階乌叶。滴滴更幸運,借助智能手機(jī)的快速普及柒爸,完成了位置業(yè)務(wù)的信息化准浴,順勢而為從而一飛沖天。
信息數(shù)據(jù)化
伴隨企業(yè)業(yè)務(wù)高速發(fā)展捎稚,產(chǎn)生對BI和數(shù)據(jù)產(chǎn)品的強(qiáng)勁需求乐横,初階但是繁雜,依靠開源生態(tài)尤其是Hadoop紅利阳藻,讓頂部的互聯(lián)網(wǎng)企業(yè)趟過了這個階段晰奖,中間的苦和累,我相信只有在幾個大廠做過數(shù)據(jù)平臺和系統(tǒng)的人才能深深體會腥泥。
以阿里為例,在馬云和曾鳴的決策下啃匿,將數(shù)據(jù)的重要性提到了當(dāng)時前所未有的高度蛔外,并持續(xù)真金白銀的投入蛆楞,同時一位位數(shù)據(jù)起夜家(阿里對每天晚上處理數(shù)據(jù)異常與故障的數(shù)據(jù)工程師的戲謔稱呼),沉淀出了阿里底層的計算和存儲平臺夹厌,打磨出了更為貼近數(shù)據(jù)工程人員需求的數(shù)據(jù)集成研發(fā)平臺和管理平臺豹爹,同時還打造了阿里寶貴又獨特的數(shù)據(jù)文化。數(shù)據(jù)建設(shè):廟堂與江湖缺一不可矛纹。
數(shù)據(jù)資產(chǎn)化
當(dāng)淘寶決定把Oracle Rac廢掉臂聋,意味著淘內(nèi)數(shù)據(jù)使用繁榮的開始。高速的大繁榮意味著混亂或南,也意味著機(jī)會:從數(shù)據(jù)集到工具孩等,到平臺,到產(chǎn)品變現(xiàn)采够,到團(tuán)隊都是野蠻快速生長的過程肄方,野蠻生長的代價之一就是一致性的缺失,這驅(qū)動出了阿里的TCIF蹬癌,后來成為One Data體系中重要的部分权她。進(jìn)而發(fā)展為數(shù)據(jù)打通、整合逝薪、梳理隅要、集成的資產(chǎn)化管理。
而正是從這個階段開始董济,數(shù)據(jù)從一個技術(shù)為主導(dǎo)的問題演變成了企業(yè)的管理和組織為主導(dǎo)的問題拾徙,如果沒有處理好這個轉(zhuǎn)變,基于數(shù)據(jù)帶來的團(tuán)隊間的撕扯感局、業(yè)務(wù)間的詬病和系統(tǒng)間的浪費會接踵而至尼啡,因此數(shù)據(jù)的資產(chǎn)化背后其實是企業(yè)面對新生生產(chǎn)資料-數(shù)據(jù)是否能夠找到適合自身的管理策略和組織文化的過程,缺乏實戰(zhàn)經(jīng)驗的咨詢公司和大數(shù)據(jù)平臺供應(yīng)商询微,把這個問題簡化為狹義的數(shù)據(jù)治理崖瞭,是存在問題的。
資產(chǎn)變現(xiàn)化
在各種BI場景和數(shù)據(jù)產(chǎn)品萬馬奔騰之下撑毛,用戶增長場景的價值一支獨秀书聚,如果企業(yè)媒體屬性足夠大,還能產(chǎn)生出精準(zhǔn)營銷業(yè)務(wù)藻雌,這意味著數(shù)據(jù)從賦能員工做決策雌续,開始長出牙齒變成算法服務(wù)大規(guī)模的直接服務(wù)用戶,阿里媽媽就是這匹長出獠牙的數(shù)據(jù)智能之狼胯杭。阿里生態(tài)系統(tǒng)驯杜,終于誕生了一個三贏的利益分配機(jī)制(消費者、平臺做个、商家)鸽心,數(shù)據(jù)功不可沒滚局。數(shù)據(jù)賦能出的各種高大上AI算法,即便強(qiáng)大如Uber顽频、滴滴的調(diào)度和匹配算法藤肢,我認(rèn)為這些都遠(yuǎn)不如阿里媽媽這個利益分配算法體系偉大,當(dāng)然原創(chuàng)在Google糯景。
AI在圖像嘁圈、語音和視頻的全面突破,徹底將企業(yè)對非結(jié)構(gòu)化數(shù)據(jù)處理的能力提到了一個新的臺階蟀淮,此前這些數(shù)據(jù)的處理全部是要依靠人工的最住,帶來的效率飛升將帶來各種產(chǎn)業(yè)的巨變。
第二輪數(shù)據(jù)四化已到來
阿里在電商業(yè)務(wù)驅(qū)動下灭贷,完成第一輪數(shù)據(jù)四化循環(huán)温学。而這三年阿里的新零售和阿里云的智慧城市,我理解就是在AI和IoT技術(shù)變革下進(jìn)行的第二輪數(shù)據(jù)四化循環(huán)甚疟。我們一起搬好凳子看看阿里在產(chǎn)業(yè)的信息化和數(shù)據(jù)化會演繹一出怎樣的好戲吧:怎么依靠阿里人的智慧來解決物聯(lián)網(wǎng)碎片化仗岖、傳統(tǒng)產(chǎn)業(yè)難以在線化的大難題!夢想還是要有的览妖,萬一實現(xiàn)了呢轧拄?
那數(shù)據(jù)中臺買的來么?
數(shù)據(jù)中臺是企業(yè)利用大數(shù)據(jù)技術(shù)讽膏,以可快速復(fù)用和組合搭建為目標(biāo)檩电,進(jìn)行數(shù)據(jù)服務(wù)建設(shè)的結(jié)果。北洋水師的恥辱相信每個中國人都還記得府树,尤其是堅船利炮上晾曬衣服的水兵形象俐末。武器能外購,兵法可學(xué)習(xí)奄侠,但是勝利一定來自適合本國軍隊的軍事理論和練兵實戰(zhàn)的知行合一體系卓箫。
所以說,數(shù)據(jù)中臺哪有這么容易垄潮。相信數(shù)據(jù)中臺買來開箱即用的人烹卒,可能是無知無畏,更多是非傻即壞弯洗。
下集預(yù)告:
阿里數(shù)據(jù)體系有破綻旅急?
阿里數(shù)據(jù)中臺背后的數(shù)據(jù)體系,我認(rèn)為有兩個破綻:
1. 以ETL為內(nèi)核造成的復(fù)雜性牡整,復(fù)雜到對軟件工程方法論的不兼容藐吮,不能較好的融入到業(yè)務(wù)平臺的軟件工程體系,對于大型以下企業(yè)的借鑒成本太高
2. 數(shù)據(jù)建設(shè)的集權(quán)屬性太強(qiáng),強(qiáng)大到對創(chuàng)新的抑制
中臺思想的一個問題就是持續(xù)的中央集權(quán)炎码,建立破除黃宗羲定律的機(jī)制是非常必要的盟迟。在今后數(shù)據(jù)秋泳、AI服務(wù)平民化的趨勢下潦闲,越來越多的數(shù)據(jù)密集型智能應(yīng)用開發(fā)會成為主流,這種不融合與大集中會造成問題的迫皱。
數(shù)據(jù)體系建設(shè)困難的原因
1. 企業(yè)對數(shù)據(jù)的使用早就不是建數(shù)倉歉闰、做報表了,是各個部門各個層級各個角色對可靠數(shù)據(jù)支援的巨大需求卓起。怎么建立適合企業(yè)自身組織特點的多方需求服務(wù)機(jī)制和敬?怎么建立任督通暢的數(shù)據(jù)流通體系?
2. 業(yè)務(wù)對于數(shù)據(jù)的需求是:快戏阅、準(zhǔn)昼弟、省奕筐;正是效率舱痘、質(zhì)量、成本這個‘不可能’三角离赫,讓數(shù)據(jù)團(tuán)隊如履薄冰芭逝!
3. 數(shù)據(jù)是業(yè)務(wù)穩(wěn)定生產(chǎn)和創(chuàng)新的必要條件,但是這個導(dǎo)致的集權(quán)與分治的矛盾很難解決
精益數(shù)據(jù)體系
汽車工業(yè)也許是人類目前構(gòu)建的鏈路最為復(fù)雜渊胸、穩(wěn)定性要求最為苛刻的工業(yè)制造體系旬盯,豐田倡導(dǎo)的精益制造思想是非常值得數(shù)據(jù)工程學(xué)習(xí)的,因為數(shù)據(jù)的加工生產(chǎn)過程和質(zhì)量要求翎猛,和汽車的生產(chǎn)協(xié)作鏈路是如此相近胖翰。
近20年成熟的敏捷軟件研發(fā)體系,尤其是近年來的DevOps體系切厘,讓軟件產(chǎn)業(yè)的效率萨咳、質(zhì)量、成本和創(chuàng)新都取得了較好的進(jìn)步迂卢。DevOps背后:一切皆代碼為基礎(chǔ)思想某弦,快速迭代創(chuàng)新、測試驅(qū)動而克、持續(xù)集成靶壮、持續(xù)測試、持續(xù)交付的開發(fā)流水線是非常值得數(shù)據(jù)工程融入其中的员萍。
因此以精益和敏捷為思想基礎(chǔ)腾降,構(gòu)建了下面的精益數(shù)據(jù)體系方法論: