01 什么是數(shù)據(jù)漂移 數(shù)據(jù)漂移指的是在數(shù)據(jù)同步過程之中剥纷，ODS表同一個業(yè)務(wù)日期包含前一天的數(shù)據(jù)或丟失了當(dāng)天的數(shù)據(jù)肛根、或者包含后一天的數(shù)據(jù)猪杭。 02 ...

Spark任務(wù)通過application id在Spark UI查看任務(wù)執(zhí)行狀態(tài)席爽，任務(wù)大多數(shù)以on yarn的形式提交到Spark集群稿壁。 1佑女、定...

Spark有BroadCastJoin卵惦、ShuffleHashJoin阻肿、SortMergeJoin三種join方式。首先講一下hash join...

1沮尿、union 和 union all的區(qū)別 union會對結(jié)果進行去重丛塌，union all會保留重復(fù)數(shù)據(jù) 2较解、窗口函數(shù)rank() over(...

1 整體優(yōu)化思路 1、從數(shù)據(jù)任務(wù)本身出發(fā)赴邻，優(yōu)化業(yè)務(wù)邏輯代碼印衔，偏業(yè)務(wù)優(yōu)化 2、 從集群的資源參數(shù)進行優(yōu)化姥敛，偏技術(shù)優(yōu)化 3奸焙、從全局的角度觀察任務(wù)的調(diào)...

給大家分享一些只有經(jīng)歷了才能深切感同身受的幾句話，與君共勉： 1彤敛、人生沒有彩排与帆，看似有意無意的安排，都會成為成為界定結(jié)果墨榄。 2玄糟、愿你好好珍惜現(xiàn)在...

01 國外有一個叫摩根的青年袄秩，每天閑的蛋疼阵翎，有天突發(fā)奇想——連續(xù)吃三十天麥當(dāng)勞會怎樣？ 他說干就干之剧，一日三餐都吃麥當(dāng)勞郭卫，連吃三十天。 他還用攝像...

2021 年猪狈，我給自己定的一個關(guān)鍵詞是「平衡」箱沦。 說到平衡，可能很多人會想到工作和生活的平衡雇庙，所謂的 Work-Life Balance。但我并...