數(shù)據(jù)倉(cāng)庫主要包含數(shù)據(jù)集成砰逻、數(shù)據(jù)計(jì)算泛鸟、數(shù)據(jù)服務(wù)北滥、數(shù)據(jù)質(zhì)量再芋、數(shù)據(jù)資產(chǎn)等模塊。在數(shù)倉(cāng)建設(shè)中济赎，對(duì)數(shù)據(jù)開發(fā)者說最主要工作在數(shù)據(jù)集成和數(shù)據(jù)計(jì)算记某，這2塊在Dataworks中都需要?jiǎng)?chuàng)建業(yè)務(wù)流程完成液南。正如一般流程開發(fā)一樣，雜亂的業(yè)務(wù)流程會(huì)導(dǎo)致后期維護(hù)困難叭喜，如何規(guī)范業(yè)務(wù)流程的模塊化贺拣，可以從以下幾個(gè)點(diǎn)考慮：
1、數(shù)據(jù)通用角度捂蕴。數(shù)倉(cāng)的表分為維度表和事實(shí)表譬涡，維度作為度量的環(huán)境，在數(shù)倉(cāng)中是一份基礎(chǔ)的通用數(shù)據(jù)啥辨，一旦前期的維度表字段規(guī)劃好后基本不會(huì)發(fā)生變化涡匀。
2、流程功能角度溉知。業(yè)務(wù)流程從功能上可以分為數(shù)據(jù)集成陨瘩、數(shù)據(jù)計(jì)算等。數(shù)據(jù)集成可以從接入方式级乍、接入方法舌劳、接入周期、合并方式甚淡、合并方法、合并周期等角度去詮釋撵割，數(shù)據(jù)計(jì)算可以從數(shù)據(jù)域沸手、業(yè)務(wù)過程等角度去詮釋。
3捐晶、任務(wù)發(fā)布角度山上。Dataworks里的業(yè)務(wù)流程里需要配置"流程參數(shù)"，該流程參數(shù)是作用于業(yè)務(wù)流程全局的妄帘，一旦發(fā)生修改肿仑，業(yè)務(wù)流程下的所有"數(shù)據(jù)任務(wù)"都需要全部提交馏锡，造成很多業(yè)務(wù)節(jié)點(diǎn)被動(dòng)上線，加大任務(wù)審核人員的工作量蕉饼。
基于以上考慮及實(shí)際工作實(shí)踐创肥，將業(yè)務(wù)流程劃分為3大模塊叹侄，并納入到實(shí)際解決方案中：
1丰辣、公共維度
2飘哨、數(shù)據(jù)計(jì)算(按數(shù)據(jù)域劃分)
3浊服、數(shù)據(jù)集成
實(shí)際Dataworks界面大致如下：
? ? 1述呐、公共維度：包含所有維度表的計(jì)算流程。解決方案中也命名為"公共維度"进肯。
? ? 2、數(shù)據(jù)計(jì)算：{數(shù)據(jù)域}_{業(yè)務(wù)需求}。相同{數(shù)據(jù)域}的數(shù)據(jù)計(jì)算流程歸入同一解決方案中，解決方案命名為{數(shù)據(jù)域}。
? ? 3钙畔、數(shù)據(jù)集成：分為數(shù)據(jù)同步挥下、數(shù)據(jù)合并愉烙。一般使用binlog日志+首次直連全量同步方式完成數(shù)據(jù)同步禀苦，再通過增量數(shù)據(jù)+全量數(shù)據(jù)合并的方式完成數(shù)據(jù)合并。解決方案中也命名為"數(shù)據(jù)集成"。
數(shù)據(jù)同步：源端數(shù)據(jù)庫數(shù)據(jù)通過binlog或直連的方式耻矮，數(shù)據(jù)同步到數(shù)倉(cāng)裆装，
命名：{數(shù)據(jù)同步}_{同步方式}_{接入方式}_{同步頻度}_[同步工具]。
同步方式：增量、全量。
接入方式：RI(實(shí)時(shí)接入)、DI(離線接入)。
同步頻度：小時(shí)蔬浙、天俱病。
同步工具：DW（Dataworks）垢夹、DTS等噪漾。
數(shù)據(jù)同步_全量_DI_DW：一般只有首次通過離線方式完成數(shù)據(jù)的全量同步到數(shù)倉(cāng)豹障，同步完畢后會(huì)將任務(wù)調(diào)度改為暫停缓熟。后續(xù)發(fā)生數(shù)據(jù)不一致時(shí)作為備用方案使用梯投。
數(shù)據(jù)同步_增量_DI_小時(shí)_DW：通過離線接入增量日志终娃，將離線日志接入到"小時(shí)分區(qū)"中。
數(shù)據(jù)同步_增量_RI_小時(shí)_DW：通過實(shí)時(shí)接入binlog日志，將binlog日志接入到"小時(shí)"分區(qū)中痢甘。
數(shù)據(jù)同步_增量_DI_天_DW作烟、數(shù)據(jù)同步_增量_RI_天_DW：理論上也可以有這2類業(yè)務(wù)流程压恒，但從擴(kuò)展性來說小時(shí)的增量同步后期擴(kuò)展性更強(qiáng)，建議不存在這類業(yè)務(wù)流程。
數(shù)據(jù)合并：將MaxCompute中的增量表、全量表按小時(shí)狈癞、天合并到全量表最新的分區(qū)里真竖。
命名: {數(shù)據(jù)合并}_{同步方式}_{同步頻度}
數(shù)據(jù)合并_增量_天：適合全量按天分區(qū)表脂信。
數(shù)據(jù)合并_增量_小時(shí)：適合全量按小時(shí)分區(qū)表。
喜歡的朋友請(qǐng)幫忙點(diǎn)贊，謝謝大家谁撼！
