IP屬地：江蘇
-
DataWorks實戰(zhàn)7-數(shù)據(jù)集成之數(shù)據(jù)同步詳解開始之前庄新，我們先聊下數(shù)據(jù)的分類吧广恢。數(shù)據(jù)可以從多種維度進行分類，但從數(shù)倉開發(fā)角度看馋没， 數(shù)據(jù)可以分為"結(jié)構(gòu)化數(shù)據(jù)"昔逗、"半結(jié)構(gòu)化數(shù)據(jù)"、"非結(jié)構(gòu)化數(shù)據(jù)...
-
DataWorks實戰(zhàn)-數(shù)據(jù)集成之離線全量+實時增量ETL詳解
使用Dataworks完成數(shù)倉的離線全量+實時增量ETL可以有多種具體實現(xiàn)方案篷朵。筆者進行了多種實踐勾怒，也大概了解到各種實踐方案的優(yōu)缺點】钇保回憶當時控硼，...
-
Dataworks實戰(zhàn)5-數(shù)據(jù)集成之技術(shù)選型開始之前，先聊下企業(yè)數(shù)據(jù)的整體架構(gòu)吧艾少。一般來說卡乾，業(yè)務系統(tǒng)的數(shù)據(jù)庫有較大的生產(chǎn)壓力，大多數(shù)的做法是在企業(yè)生產(chǎn)庫后會追加1到2個只讀庫缚够，負責實時同步...
-
Dataworks實戰(zhàn)4-業(yè)務流程模塊之數(shù)據(jù)集成概述
伴隨前臺業(yè)務系統(tǒng)的微服務化幔妨，各微應用的數(shù)據(jù)存儲于各自微服務里，使得各業(yè)務系統(tǒng)之間數(shù)據(jù)的關聯(lián)分析谍椅、數(shù)據(jù)的全生命周期的分析愈發(fā)困難误堡。這往往逼迫各互聯(lián)...
-
DataWorks實戰(zhàn)3-業(yè)務流程開發(fā)之約定配置
使用DataWorks開發(fā)過程中會存在各類配置，面對如此多的配置雏吭，如果不進行規(guī)范化的約定锁施，后期業(yè)務過程將面臨難以維護，參數(shù)定義冗亂等問題杖们，在這里...
-
DataWorks實戰(zhàn)2-業(yè)務流程的模塊規(guī)劃數(shù)據(jù)倉庫主要包含數(shù)據(jù)集成悉抵、數(shù)據(jù)計算、數(shù)據(jù)服務摘完、數(shù)據(jù)質(zhì)量姥饰、數(shù)據(jù)資產(chǎn)等模塊。在數(shù)倉建設中孝治，對數(shù)據(jù)開發(fā)者說最主要工作在數(shù)據(jù)集成和數(shù)據(jù)計算列粪，這2塊在Da...
-
Dataworks實戰(zhàn)1-資源組的規(guī)劃
Dataworks里的資源組分為"公共資源組"审磁、"獨享資源組"。其中"公共資源組"是全租戶下使用岂座，在任務高峰期會造成數(shù)據(jù)調(diào)度态蒂、數(shù)據(jù)同步延遲，因此...
-
使用Dataworks支撐數(shù)據(jù)中臺開發(fā)實踐
從阿里巴巴在2018年底正式推出數(shù)據(jù)中臺這個概念后掺逼，數(shù)據(jù)中臺就如火如荼的啟航了吃媒。網(wǎng)絡上對"數(shù)據(jù)中臺概念"的理解瓤介，對"數(shù)據(jù)中臺架構(gòu)"的理解吕喘，這樣的...