問題 https://github.com/alibaba/canal[https://github.com/alibaba/canal] binlog 同步組件，canal...
IP屬地：上海
-
基于 Canal 設(shè)計可擴展、高可用 binlog 同步集群 -
[Flink BroadcastStream]Flink實戰(zhàn)廣播流之BroadcastStream
廣播狀態(tài)被引入以支持這樣的用例:來自一個流的一些數(shù)據(jù)需要廣播到所有下游任務据过，在那里它被本地存儲与涡，并用于處理另一個流上的所有傳入元素汗洒。 作為廣播狀態(tài)自然適合出現(xiàn)的一個例子减牺，我們...
-
Flink Join實現(xiàn)Window Join 基于窗口的Join是將具有相同key并位于同一個窗口中的事件進行聯(lián)結(jié)是嗜。 用法： 官方案例： Tumbling Window Join的實現(xiàn)解取，關(guān)于其他的...
-
Apache Spark 動態(tài)分區(qū) OverWrite 問題
1步责、問題：spark Dataframe : partition_day.write.partitionBy("day").mode(SaveMode.Overwrite)....
-
第十篇SparkStreaming手動維護Kafka Offset的幾種方式
Spark Streaming No Receivers 方式的createDirectStream 方法不使用接收器，而是創(chuàng)建輸入流直接從Kafka 集群節(jié)點拉取消息禀苦。輸入...
-
Spark基礎(chǔ)與數(shù)倉應用調(diào)優(yōu)計算引擎的發(fā)展 了解Spark Spark核心理念 數(shù)據(jù)應用Spark-sql Spark四大組件 Spark-sql使用與優(yōu)化 Spark中的基本概念 使用Spark-sq...
-
【Scala】使用Option蔓肯、Some、None伦忠，避免使用null
避免null使用 大多數(shù)語言都有一個特殊的關(guān)鍵字或者對象來表示一個對象引用的是“無”省核，在Java，它是null昆码。在Java 里气忠，null 是一個關(guān)鍵字，不是一個對象赋咽，所以對它...
