數據倉庫基于onedata的實施過程

本節(jié)重點講解怎么使用 OneData 這套體系和相配套的工具實施數據系統(tǒng)的模型建設清酥,在講解中會以阿里巴巴的具體業(yè)務進行說明

指導方針

首先乌助,在建設大數據數據倉庫時呻率,要進行充分的業(yè)務調研和 求分析。這是數據倉庫建設的基石锄弱,業(yè)務調研和需求分析做得是否充分直接決定了數據倉庫建設是否成功考蕾。其次,進行數據總體架構設計会宪,主要是根據數據域對數據進行劃分肖卧;按照維度建模理論,構建總線矩陣掸鹅、抽象出業(yè)務過程和維度塞帐。再次,對報表需求進行抽象整理出相關指標體系巍沙,使用 OneData 工具完成指標規(guī)范定義和模型設計葵姥。最后,就是代碼研發(fā)和運維赎瞎。本文將會重點講解物理模型設計之前(含)步驟的內容牌里。

實施工作流

實施工作流圖

(1)數據調研

業(yè)務調研

整個阿里集團涉及的業(yè)務涵蓋電商、數 娛樂、導航(高德)牡辽、動互聯網服務等領域喳篇。各個領域又涵蓋多個業(yè)務線,如電商領域就涵蓋類(淘寶态辛、天貓麸澜、天貓國際)與 類(阿里巴巴中文站、國際站速賣通)業(yè)務奏黑。數據倉庫是要涵蓋所有業(yè)務領域炊邦,還是各個業(yè)務領域獨自建設,業(yè)務領域內的業(yè)務線也同樣面臨著這個問題熟史。所以要構建大數據數據倉庫馁害,就需要了解各個業(yè)務領域、業(yè)務線的業(yè)務有什么共同不同點 蹂匹,以及各個業(yè)務線可以細分為哪幾個業(yè)務模塊碘菜,每個業(yè)務模塊具體的業(yè)務流程又是怎樣的。業(yè)務調研是否充分限寞,將會直接決定數據倉庫建設是否成功忍啸。
在阿里巴巴, 般各個業(yè)務領域獨自建設數據倉庫履植,業(yè)務領域內的業(yè)務線由于業(yè)務相似计雌、業(yè)務相關性較大,進行統(tǒng)一集 中建設玫霎。
如表 9.3 所示是粗粒度的 類電商業(yè)務調研凿滤,不難發(fā)現幾個功能塊/業(yè)務線除了淘寶無供應鏈管理外,其他幾乎一樣庶近。


業(yè)務調研

需求調研

可以想象一下鸭巴,在沒有考慮分析師、業(yè)務運營人員的數據需求的情況下拦盹,根據業(yè)務調研建設的數據倉庫無疑等于閉 門造車。了解了業(yè)務統(tǒng)的業(yè)務后并不代表就可以進行實施了溪椎,此刻要做的就是收集數據使用者的需求普舆,可以去找分析師、業(yè)務運營人員了解他們有什么數據訴求校读,此時更多的就是報表需求沼侣。
需求調研的途徑有兩種: 是根據與分析師、業(yè)務運營人員的溝通(郵件歉秫、 IM )獲知需求: 是對報表系統(tǒng)中現有的報表進行研究分析通過需求調研分析后蛾洛,就清楚數據要做成什么樣的。很多時候,都是由具體的數據需求驅動數據倉庫團隊去了解業(yè)務系統(tǒng)的業(yè)務數據轧膘,這兩者并沒有嚴格的先后順序钞螟。
舉例 分析師需要了解大淘寶(淘寶、天貓谎碍、天貓國際) 級類目的成交金額鳞滨。當獲知這個需求后,我們要分析根據什么(維度)匯總蟆淀,以及匯總什么(度量)拯啦,這里類目是維度,金額是度量:明細數據和匯總數據應該怎樣設計熔任?這是一個公用的報表嗎褒链?是需要沉淀到匯總里面,還是在報表工具中進行匯總疑苔?

(2)架構設計

數據域劃分

數據域劃分

構建總線矩陣

總線矩陣

(3-5) 后續(xù)步驟

規(guī)范定義以及模型設計
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末甫匹,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子夯巷,更是在濱河造成了極大的恐慌赛惩,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,744評論 6 502
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件趁餐,死亡現場離奇詭異喷兼,居然都是意外死亡,警方通過查閱死者的電腦和手機后雷,發(fā)現死者居然都...
    沈念sama閱讀 92,505評論 3 392
  • 文/潘曉璐 我一進店門季惯,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人臀突,你說我怎么就攤上這事勉抓。” “怎么了候学?”我有些...
    開封第一講書人閱讀 163,105評論 0 353
  • 文/不壞的土叔 我叫張陵藕筋,是天一觀的道長。 經常有香客問我梳码,道長隐圾,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,242評論 1 292
  • 正文 為了忘掉前任掰茶,我火速辦了婚禮暇藏,結果婚禮上,老公的妹妹穿的比我還像新娘濒蒋。我一直安慰自己盐碱,他們只是感情好,可當我...
    茶點故事閱讀 67,269評論 6 389
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著瓮顽,像睡著了一般县好。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上趣倾,一...
    開封第一講書人閱讀 51,215評論 1 299
  • 那天聘惦,我揣著相機與錄音,去河邊找鬼儒恋。 笑死善绎,一個胖子當著我的面吹牛,可吹牛的內容都是我干的诫尽。 我是一名探鬼主播禀酱,決...
    沈念sama閱讀 40,096評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼牧嫉!你這毒婦竟也來了剂跟?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 38,939評論 0 274
  • 序言:老撾萬榮一對情侶失蹤酣藻,失蹤者是張志新(化名)和其女友劉穎曹洽,沒想到半個月后,有當地人在樹林里發(fā)現了一具尸體辽剧,經...
    沈念sama閱讀 45,354評論 1 311
  • 正文 獨居荒郊野嶺守林人離奇死亡送淆,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,573評論 2 333
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現自己被綠了怕轿。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片偷崩。...
    茶點故事閱讀 39,745評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖撞羽,靈堂內的尸體忽然破棺而出阐斜,到底是詐尸還是另有隱情,我是刑警寧澤诀紊,帶...
    沈念sama閱讀 35,448評論 5 344
  • 正文 年R本政府宣布谒出,位于F島的核電站,受9級特大地震影響邻奠,放射性物質發(fā)生泄漏到推。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,048評論 3 327
  • 文/蒙蒙 一惕澎、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧颜骤,春花似錦唧喉、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,683評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽董朝。三九已至,卻和暖如春干跛,著一層夾襖步出監(jiān)牢的瞬間子姜,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,838評論 1 269
  • 我被黑心中介騙來泰國打工楼入, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留哥捕,地道東北人。 一個月前我還...
    沈念sama閱讀 47,776評論 2 369
  • 正文 我出身青樓嘉熊,卻偏偏與公主長得像遥赚,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子阐肤,可洞房花燭夜當晚...
    茶點故事閱讀 44,652評論 2 354

推薦閱讀更多精彩內容