
1. Flink運行框架 1.1 運行組件: 作業(yè)管理器(JobManager):請求slot 資源管理器(ResourceManager):管...
1. BDP平臺建議設(shè)置 并行度 Parallelism在分布式的運行環(huán)境中顶别,每個 opetator(例如 source勋桶、map 等 opera...
1. Hive基本概念 數(shù)據(jù)倉庫工具由蘑,底層存儲為HDFS,類SQL的查詢只估,轉(zhuǎn)化為mapreduce霸株。執(zhí)行程序運行在Yarn上 2. hive 內(nèi)...
1. kafka概況 消息隊列的好處:解耦诸衔,可恢復性盯漂,緩沖,峰值處理能力笨农,異步通訊 概念:Kafka 是一個分布式的基于發(fā)布/訂閱模式的消息隊列...
1.Kafka 中的 ISR(InSyncRepli)就缆、OSR(OutSyncRepli)、AR(AllRepli)代表什么谒亦? ISR: 和 l...
1.基礎(chǔ)知識 clickhouse的特點: DBMS 的功能:使用SQL 列式存儲: 在列的統(tǒng)計計算上有優(yōu)勢竭宰,便于壓縮,節(jié)省磁盤空間 高吞吐寫入...
sql執(zhí)行順序 (1)from (3) join (2) on (4) where (5)group by(開始使用select中的別名份招,后面的...
1.小表大表join(MapJOIN):使用map join 讓小的維度表先進內(nèi)存切揭,在map端完成join set hive.auto.conv...