基于DataWorks構建數(shù)據中臺 - 專題

投稿

基于DataWorks構建數(shù)據中臺

收錄了8篇文章 · 5人關注

DataWorks實戰(zhàn)7-數(shù)據集成之數(shù)據同步詳解
開始之前郊供，我們先聊下數(shù)據的分類吧。數(shù)據可以從多種維度進行分類，但從數(shù)倉開發(fā)角度看，數(shù)據可以分為"結構化數(shù)據"、"半結構化數(shù)據"锣枝、"非結構化數(shù)據...

0.1 子沐然 0 1
DataWorks實戰(zhàn)-數(shù)據集成之離線全量+實時增量ETL詳解
使用Dataworks完成數(shù)倉的離線全量+實時增量ETL可以有多種具體實現(xiàn)方案。筆者進行了多種實踐兰英，也大概了解到各種實踐方案的優(yōu)缺點撇叁。回憶當時畦贸，...

0.2 子沐然 0 5

Dataworks實戰(zhàn)5-數(shù)據集成之技術選型
開始之前陨闹，先聊下企業(yè)數(shù)據的整體架構吧。一般來說家制，業(yè)務系統(tǒng)的數(shù)據庫有較大的生產壓力正林，大多數(shù)的做法是在企業(yè)生產庫后會追加1到2個只讀庫，負責實時同步...

1.3 子沐然 0 8
Dataworks實戰(zhàn)4-業(yè)務流程模塊之數(shù)據集成概述
伴隨前臺業(yè)務系統(tǒng)的微服務化颤殴，各微應用的數(shù)據存儲于各自微服務里觅廓，使得各業(yè)務系統(tǒng)之間數(shù)據的關聯(lián)分析、數(shù)據的全生命周期的分析愈發(fā)困難涵但。這往往逼迫各互聯(lián)...

0.2 子沐然 0 2
DataWorks實戰(zhàn)2-業(yè)務流程的模塊規(guī)劃
數(shù)據倉庫主要包含數(shù)據集成杈绸、數(shù)據計算、數(shù)據服務矮瘟、數(shù)據質量瞳脓、數(shù)據資產等模塊。在數(shù)倉建設中澈侠，對數(shù)據開發(fā)者說最主要工作在數(shù)據集成和數(shù)據計算劫侧，這2塊在Da...

0.2 子沐然 0 2
DataWorks實戰(zhàn)3-業(yè)務流程開發(fā)之約定配置
使用DataWorks開發(fā)過程中會存在各類配置，面對如此多的配置，如果不進行規(guī)范化的約定烧栋，后期業(yè)務過程將面臨難以維護写妥，參數(shù)定義冗亂等問題，在這里...

0.3 子沐然 0 2
使用Dataworks支撐數(shù)據中臺開發(fā)實踐
從阿里巴巴在2018年底正式推出數(shù)據中臺這個概念后审姓，數(shù)據中臺就如火如荼的啟航了珍特。網絡上對"數(shù)據中臺概念"的理解，對"數(shù)據中臺架構"的理解魔吐，這樣的...

1.1 子沐然 0 6

Dataworks實戰(zhàn)1-資源組的規(guī)劃
Dataworks里的資源組分為"公共資源組"扎筒、"獨享資源組"。其中"公共資源組"是全租戶下使用酬姆，在任務高峰期會造成數(shù)據調度嗜桌、數(shù)據同步延遲，因此...

0.1 子沐然 0 1