發(fā)簡信
IP屬地：廣東
-
Airflow Task 血緣分析血緣分析流程 Airflow 原生 CLI 與 REST API 服務剃斧，Airflow Task 血緣方式可以通過以下幾個步驟獲热杩： 通過 CL...
-
Hive SQL 元數(shù)據(jù)血緣管理模板概述 基于 Antlr4 編譯 hive 相關 xxx.g 文件生成對應的模板赦拘，如 hive 源碼中： 編譯完成生成對應 *.java 文件...
-
kafka exactly once 批處理簡介 這幾天浸锨，有個大兄弟問欣尼，如何實現(xiàn) kafka 多線程批消費驾荣，目標： 確保 exactly once 語義 數(shù)據(jù)不丟失 支持定時同步撑柔，如15分...
-
十二、淘寶用戶行為數(shù)據(jù)示例
測試數(shù)據(jù) User Behavior Data from Taobao for Recommendation
-
十一展运、Flink Table
簡介 Flink具有兩個關系API - 表API和SQL - 用于統(tǒng)一流和批處理活逆。Table API是Scala和Java的語言集成查詢API，...
-
十拗胜、廣播變量
簡介 廣播變量理解為是一個公共的共享變量蔗候，我們可以把一個dataset 數(shù)據(jù)集廣播出去，然后不同的task在節(jié)點上都能夠獲取到埂软，這個數(shù)據(jù)在每個節(jié)...
-
九锈遥、Kafka 消費位點
檢查點使得 Apache Flink 具有容錯能力，并確保了即時發(fā)生故障也能保證流應用程序的語義勘畔。檢查點是以固定的間隔來觸發(fā)的所灸，該間隔可以在應用...
-
八、Kafka Connector
Flink-kafka-connector 讀寫kafkaKafka中的partition機制和Flink的并行度機制結合 實現(xiàn)數(shù)據(jù)恢復Kafk...
-
七炫七、Flink Event Time Watermark
在 Apache Flink 中使用 watermark 的 4 個理解 在下文中的例子中爬立，我們有一個帶有時間戳的事件流，但是由于某種原因它們并...