發(fā)簡信
IP屬地：山東
-
spark 3.2 reuse pvc 功能改造背景 spark reuse pvc feature PVC: PersistentVolumeClaim[https://kubernete...
-
hudi mor表數(shù)據(jù)讀取
hudi 數(shù)據(jù)讀取以 fileSlice 為單位讀取, 依次將 fileSlice 的basefile务傲、logfile數(shù)據(jù)加載到內(nèi)存根據(jù)新舊數(shù)...
-
HoodieClient甩鳄、HoodieTable蟀拷、ActionExecutor 數(shù)據(jù)寫入HoodieTable 定義了寫hudi 表依賴的組件及對表操作API(upsert囤采、delete等)，根據(jù)不同操作創(chuàng)建BaseActionE...
-
hudi 數(shù)據(jù)寫入中的生產(chǎn)者-消費者模式生產(chǎn)者-消費者模式用來協(xié)調(diào)數(shù)據(jù)生產(chǎn)和消費速度不一致問題涩禀，在hudi中數(shù)據(jù)寫入時非常依賴該設(shè)計模式才睹，且中間涉及一些比較好用的工具類可以直接拿來用，...
-
HoodieWriteHandle 數(shù)據(jù)寫入處理項目中使用Flink SQL 將離線數(shù)據(jù)淳梦、流數(shù)據(jù)寫入Hudi析砸，自下而上分析寫hudi的流程。hudi 版本0.10.0-patch爆袍。 Hoodi...
-
Flink CDC 2.0 批流融合技術(shù)原理分析8月份 FlinkCDC 發(fā)布2.0.0版本首繁，相較于1.0版本，在全量讀取階段支持分布式讀取螃宙、支持checkpoint蛮瞄，且在全量 + 增量讀取的...
-
Flink SQL 擴展維表 Keyby 的三種實現(xiàn)方式背景 Flink LookupTableSource 通過使用流數(shù)據(jù)的一列或者多列的值，加載外部存儲數(shù)據(jù)（維表數(shù)據(jù)）谆扎，進(jìn)而完成對流數(shù)據(jù)的字段擴展...
-
Flink Streaming File Sink背景 Flink 支持將流數(shù)據(jù)以文件形式存儲到外部系統(tǒng)挂捅，典型使用場景是將數(shù)據(jù)寫入Hive表所在 HDFS存儲路徑，通過Hive 做查詢分析堂湖。隨著...
-
Flink 分布式緩存原理及使用背景 在1.9.1版本中分布式緩存并未拷貝HDFS下的文件到TM闲先，運行時拋出如下異常状土。 升級到1.10.1版本，能正常使用伺糠。借此蒙谓，學(xué)習(xí)下Flin...