發(fā)簡信
IP屬地：山東
-
Flink 維表Join/雙流Join 方法總結(jié)一噪奄、背景 事實(shí)表通常存儲在kafka中塘揣，維表通常存儲在外部設(shè)備中(比如MySQL蝗柔，HBase)该编。對于每條流式數(shù)據(jù)，可以關(guān)聯(lián)一個外部維表數(shù)據(jù)源，為...
-
Hudi On Flink一、背景 傳統(tǒng)數(shù)倉分為離線和實(shí)時兩個部分 離線部分屬于業(yè)務(wù)驅(qū)動，固定的計算邏輯技健，通過定時調(diào)度写穴，最后產(chǎn)出報表； 實(shí)時部分屬于需求驅(qū)動雌贱，需要靈活開發(fā)...
-
Flink流處理API一啊送、Environment 1.getExecutionEnvironment 創(chuàng)建一個執(zhí)行環(huán)境，表示當(dāng)前執(zhí)行程序的上下文欣孤。 如果程序是獨(dú)立調(diào)用...
-
Spark調(diào)優(yōu)方案
調(diào)優(yōu)的思路依賴平時工作中不斷總結(jié)所形成的豐富經(jīng)驗(yàn)馋没。而這些是很難直接從知識文檔中獲取的，應(yīng)當(dāng)具體問題具體分析降传，本文對Spark調(diào)優(yōu)進(jìn)行歸納總結(jié)篷朵，縮...
-
NIO框架：Netty入門Spark最一開始使用Akka作為內(nèi)部通信部件，在Spark1.3為了解決大數(shù)據(jù)的傳輸問題，引入Netty通信框架声旺，到了1.6版本Spark已經(jīng)...
-
Kafka學(xué)習(xí)總結(jié)
Kafka是一個分布式消息隊(duì)列笔链，為處理實(shí)時數(shù)據(jù)提供一個統(tǒng)一、高吞吐量腮猖、低等待的平臺鉴扫，提供了類似于JMS的特性，但是它并不是JMS規(guī)范的實(shí)現(xiàn). J...
-
Spark持久化緩存
問題：1.RDD中基本所有的數(shù)據(jù)都是存儲都在堆內(nèi)存里澈缺，這部分?jǐn)?shù)據(jù)是通過jvm中的GC管理的坪创，進(jìn)行Spark操作的時候可能會出現(xiàn)資源不一致的問題，...
-
Scala和Golang并發(fā)實(shí)現(xiàn)對比
系統(tǒng)中有多個任務(wù)同時存在稱之為“并發(fā)”姐赡，并發(fā)設(shè)計已然成為大規(guī)模集群框架的必要特征莱预，本文簡單的介紹Scala和golang的并發(fā)模型的設(shè)計，重點(diǎn)在...
-
HDFS balancer詳解
前言：Hadoop集群用久了以后雏吭，我們會發(fā)現(xiàn)一個問題锁施，HDFS節(jié)點(diǎn)間的數(shù)據(jù)不平衡，尤其在新增和下架節(jié)點(diǎn)杖们、或者人為干預(yù)副本數(shù)量的時候悉抵，多的達(dá)到80...