IP屬地：廣東
-
奇怪的知識(shí)
數(shù)據(jù)中臺(tái)是什么陨闹？ 是一種戰(zhàn)略選擇和組織形式违施， 是依據(jù)企業(yè)特有的業(yè)務(wù)模式和組織架構(gòu)首量，通過(guò)有形的產(chǎn)品和可實(shí)施方法構(gòu)建的一套持續(xù)不斷把數(shù)據(jù)變成資產(chǎn)并服...
-
Spark 中join一定產(chǎn)生shuffle嗎宰译？
產(chǎn)生shuffle的原因 其根本原因在于數(shù)據(jù)需要進(jìn)行遷移才能產(chǎn)出正確的數(shù)據(jù) join什么時(shí)候不需要數(shù)據(jù)遷移就能得出結(jié)果琐谤？ 當(dāng) 分區(qū)數(shù) 和 分區(qū)...
-
Kafka 保證分區(qū)有序
Kafka能做到全局有序嗎蟆技？ Kafka只能保證分區(qū)有序，如果只有一個(gè)分區(qū)斗忌，那也是變向的全局有序 Kafka如何保證分區(qū)有序 通過(guò)配置 max....
-
Kafka 水位詳解
什么是水位 kafka中用水位來(lái)描述质礼，一個(gè)分區(qū)中的可見(jiàn)數(shù)據(jù)的offset。大概你需要知道這幾點(diǎn)： hw（水位）你可以理解成是一個(gè)全局（所有副本最...
-
《搬遷聲明》
我的博客即將同步至 OSCHINA 社區(qū)织阳，這是我的 OSCHINA ID：solve眶蕉，邀請(qǐng)大家一同入駐：https://www.oschina....
-
Flink WaterMaker詳解什么是 WaterMaker WaterMaker 水位線在很多地方都有應(yīng)用，其含義也不盡相同唧躲，在Flink中造挽，水位線是用來(lái)觸發(fā)窗口計(jì)算的其本...
-
Flink系列——感性認(rèn)識(shí)
前言 可以當(dāng)做一個(gè)初步認(rèn)識(shí) Flink 的文章碱璃，僅此而已！７谷搿Ｇ镀鳌！谐丢！ 我們以一個(gè)生產(chǎn)口罩的工廠為例來(lái)嘗試?yán)斫庖幌翭link的整個(gè)計(jì)算流程 工廠的老...
-
SparkSQL技巧——如何識(shí)別SQL語(yǔ)句 和 執(zhí)行一個(gè)SQL文件前言 這是一個(gè)非常小的技巧爽航，但是應(yīng)該還是有點(diǎn)用。 怎么在SparkSQL中寫(xiě)SQL乾忱？ 如果我們直接使用讥珍，那么大概是如下這樣：ss.sql("se...
-
SparkStreaming On Kafka —— Offset 管理
一、Kafka 消費(fèi)者如何管理 offset 我之前有寫(xiě)一篇kafka Consumer — offset的控制如果你對(duì)于這方面的知識(shí)還不太清楚...
個(gè)人介紹
實(shí)力來(lái)自點(diǎn)點(diǎn)滴滴的積累饭耳，專(zhuān)注原創(chuàng)串述，分享大數(shù)據(jù)技術(shù)。