Dataworks里的資源組分為"公共資源組"、"獨享資源組"念链。其中"公共資源組"是全租戶下使用,在任務(wù)高峰期會造成數(shù)據(jù)調(diào)度积糯、數(shù)據(jù)同步延遲掂墓,因此不建議使用。
"獨享資源組"分為獨享數(shù)據(jù)集成資源組和獨享調(diào)度資源組看成。
獨享數(shù)據(jù)集成資源組:外部數(shù)據(jù)同步至MaxCompute或MaxCompute數(shù)據(jù)同步至外部需要使用到君编,實踐中建議按任務(wù)類型買2套。一套用來低頻的離線任務(wù)川慌,另一套用來高頻的實時任務(wù)吃嘿,其中高頻的實時任務(wù)資源組配置需要高些偿荷。阿里支持獨享資源的水平擴展,但只能按首次配置購買唠椭,因此建議初次購買時候大一些跳纳,如8c16g。日常工作中需要DataWorks-資源組列表查看資源的使用率贪嫂,持續(xù)過高情況下聯(lián)系運維擴容寺庄。
高頻的資源組命名:bi_dw_realtime_intergration
低頻的資源組名:bi_dw_intergration
獨享調(diào)度資源組:所有的業(yè)務(wù)流程里均配置該資源組。如果不慎配置了公共資源組力崇,可以在運維中心-周期任務(wù)運維-周期任務(wù)頁面按"調(diào)度資源組"過濾搜索出找出斗塘,并修改重新發(fā)布。日常工作中也需要在運維中心-運維大屏-調(diào)度資源分配里查看資源組的使用率亮靴,持續(xù)過高情況下聯(lián)系運維擴容馍盟。
數(shù)據(jù)源配置:為將各系統(tǒng)的數(shù)據(jù)同步到數(shù)據(jù)中臺中,需要先將數(shù)據(jù)源配置信息在數(shù)據(jù)集成-數(shù)據(jù)源中進行配置茧吊。
配置約定:{數(shù)據(jù)源類型}_{源系統(tǒng)名}_[只讀/讀寫]
譬如:某個pms系統(tǒng)的數(shù)據(jù)源mysql-rds則配置為:? rds_pms_ro(只讀庫)贞岭、rds_pms_rw(讀寫庫)
? ? ? ? ? 某個los系統(tǒng)的數(shù)據(jù)源datahub則配置為:datahub_los
喜歡的朋友請幫忙點贊,謝謝大家搓侄!