IP屬地：廣東
-
奇怪的知識
數(shù)據(jù)中臺是什么速那？ 是一種戰(zhàn)略選擇和組織形式汽煮， 是依據(jù)企業(yè)特有的業(yè)務(wù)模式和組織架構(gòu)拷姿，通過有形的產(chǎn)品和可實施方法構(gòu)建的一套持續(xù)不斷把數(shù)據(jù)變成資產(chǎn)并服...
-
Spark 中join一定產(chǎn)生shuffle嗎蜗帜？
產(chǎn)生shuffle的原因 其根本原因在于數(shù)據(jù)需要進行遷移才能產(chǎn)出正確的數(shù)據(jù) join什么時候不需要數(shù)據(jù)遷移就能得出結(jié)果献汗？ 當 分區(qū)數(shù) 和 分區(qū)...
-
Kafka 保證分區(qū)有序
Kafka能做到全局有序嗎敢订？ Kafka只能保證分區(qū)有序，如果只有一個分區(qū)罢吃，那也是變向的全局有序 Kafka如何保證分區(qū)有序 通過配置 max....
-
Kafka 水位詳解
什么是水位 kafka中用水位來描述楚午，一個分區(qū)中的可見數(shù)據(jù)的offset。大概你需要知道這幾點： hw（水位）你可以理解成是一個全局（所有副本最...
-
《搬遷聲明》
我的博客即將同步至 OSCHINA 社區(qū)尿招，這是我的 OSCHINA ID：solve矾柜，邀請大家一同入駐：https://www.oschina....
-
Flink WaterMaker詳解什么是 WaterMaker WaterMaker 水位線在很多地方都有應(yīng)用，其含義也不盡相同就谜，在Flink中把沼，水位線是用來觸發(fā)窗口計算的其本...
-
Flink系列——感性認識
前言 可以當做一個初步認識 Flink 的文章，僅此而已Ｓ跛拧Ｒ恰！＠貉佟捆愁！ 我們以一個生產(chǎn)口罩的工廠為例來嘗試理解一下Flink的整個計算流程 工廠的老...
-
SparkSQL技巧——如何識別SQL語句 和 執(zhí)行一個SQL文件前言 這是一個非常小的技巧割去，但是應(yīng)該還是有點用。 怎么在SparkSQL中寫SQL昼丑？ 如果我們直接使用呻逆，那么大概是如下這樣：ss.sql("se...
-
SparkStreaming On Kafka —— Offset 管理
一、Kafka 消費者如何管理 offset 我之前有寫一篇kafka Consumer — offset的控制如果你對于這方面的知識還不太清楚...