IP屬地：北京
-
如何解決數(shù)據(jù)漂移問題
01 什么是數(shù)據(jù)漂移 數(shù)據(jù)漂移指的是在數(shù)據(jù)同步過程之中，ODS表同一個(gè)業(yè)務(wù)日期包含前一天的數(shù)據(jù)或丟失了當(dāng)天的數(shù)據(jù)、或者包含后一天的數(shù)據(jù)裤纹。 02 ...
-
Yarn相關(guān)知識(shí)點(diǎn)
Spark任務(wù)通過application id在Spark UI查看任務(wù)執(zhí)行狀態(tài)，任務(wù)大多數(shù)以on yarn的形式提交到Spark集群丧没。 1鹰椒、定...
-
Spark的幾種join方式對(duì)比
Spark有BroadCastJoin、ShuffleHashJoin呕童、SortMergeJoin三種join方式漆际。首先講一下hash join...
-
Hive SQL關(guān)鍵字常見面試題
1、union 和 union all的區(qū)別 union會(huì)對(duì)結(jié)果進(jìn)行去重拉庵，union all會(huì)保留重復(fù)數(shù)據(jù) 2灿椅、窗口函數(shù)rank() over(...
-
Hive優(yōu)化思路總結(jié)
1 整體優(yōu)化思路 1、從數(shù)據(jù)任務(wù)本身出發(fā)钞支，優(yōu)化業(yè)務(wù)邏輯代碼茫蛹，偏業(yè)務(wù)優(yōu)化 2、 從集群的資源參數(shù)進(jìn)行優(yōu)化烁挟，偏技術(shù)優(yōu)化 3婴洼、從全局的角度觀察任務(wù)的調(diào)...
-
人生沒有彩排
給大家分享一些只有經(jīng)歷了才能深切感同身受的幾句話，與君共勉： 1撼嗓、人生沒有彩排柬采，看似有意無意的安排欢唾，都會(huì)成為成為界定結(jié)果。 2粉捻、愿你好好珍惜現(xiàn)在...
-
把一件事堅(jiān)持30天會(huì)怎么樣礁遣？
01 國(guó)外有一個(gè)叫摩根的青年，每天閑的蛋疼肩刃，有天突發(fā)奇想——連續(xù)吃三十天麥當(dāng)勞會(huì)怎樣祟霍？ 他說干就干，一日三餐都吃麥當(dāng)勞盈包，連吃三十天沸呐。 他還用攝像...
-
2021辛丑年生活工作的平衡
2021 年，我給自己定的一個(gè)關(guān)鍵詞是「平衡」呢燥。 說到平衡崭添，可能很多人會(huì)想到工作和生活的平衡，所謂的 Work-Life Balance叛氨。但我并...
-
Apache Flink學(xué)習(xí)系列-Flink基本原理及應(yīng)用場(chǎng)景分析Apache Flink是一個(gè)開源的分布式呼渣、高性能、高可用力试、準(zhǔn)確的流處理框架徙邻。 主要由Java代碼實(shí)現(xiàn)。 支持實(shí)時(shí)流（stream）處理和批（b...