在學(xué)習(xí) paimon sink 的過(guò)程中本來(lái)只想快速梳理下 paimon 的 sink 時(shí)對(duì) DataStream 操作的拓?fù)? 但是過(guò)程中發(fā)現(xiàn) paimon 會(huì)有很多概念登颓，...
IP屬地：廣東
-
paimon sink 源碼 之 paimon table 創(chuàng)建 -
淺談Deletion Vector及其在StarRocks中的應(yīng)用前言 我們知道哪替，列式存儲(chǔ)的數(shù)據(jù)組織形式使得它適合海量數(shù)據(jù)在線查詢、分析的場(chǎng)景扣囊，而寫(xiě)入性能相對(duì)于讀取性能似乎并不那么重要（傳統(tǒng)的ORC / Parquet on Hive方案就...
-
LSM Tree-Based存儲(chǔ)引擎的compaction策略（feat. RocksDB）前言 這篇從半個(gè)月前就開(kāi)始寫(xiě)侵歇，斷斷續(xù)續(xù)寫(xiě)到現(xiàn)在，終于能發(fā)了（被簡(jiǎn)書(shū)吞了好幾次）吓蘑，不容易惕虑。 最近筆者正在補(bǔ)習(xí)與RocksDB底層相關(guān)的細(xì)節(jié)，因?yàn)椋?次要原因——當(dāng)前所有Flin...
-
簡(jiǎn)析StarRocks JNI Connector及其在數(shù)據(jù)湖Reader中的應(yīng)用前言 最近在進(jìn)行StarRocks與數(shù)據(jù)湖集成方面的一些工作（重點(diǎn)是SR 3.2與Paimon 0.6的適配）磨镶，同時(shí)閱讀和修改了部分代碼溃蔫，發(fā)現(xiàn)StarRocks JNI Co...
-
@LittleMagic hhh，F(xiàn)FA2023聽(tīng)完了琳猫，是Paimon+StarRocks批流一體湖倉(cāng)分析的大佬嘛伟叛？
關(guān)于使用Flink RocksDB狀態(tài)后端時(shí)一定要寫(xiě)MapState而非ValueState<Map>這檔事（以及解決方法）
前言 抱歉起這種爛大街的日本輕小說(shuō)風(fēng)格標(biāo)題來(lái)吸引注意力。原本我認(rèn)為這是常識(shí)脐嫂，不需要專門寫(xiě)一篇文章來(lái)講解如此細(xì)碎的點(diǎn)统刮。但是在最近工作巡檢中發(fā)現(xiàn)了越來(lái)越多如同ValueState...
-
關(guān)于使用Flink RocksDB狀態(tài)后端時(shí)一定要寫(xiě)MapState而非ValueState<Map>這檔事（以及解決方法）前言 抱歉起這種爛大街的日本輕小說(shuō)風(fēng)格標(biāo)題來(lái)吸引注意力。原本我認(rèn)為這是常識(shí)账千，不需要專門寫(xiě)一篇文章來(lái)講解如此細(xì)碎的點(diǎn)侥蒙。但是在最近工作巡檢中發(fā)現(xiàn)了越來(lái)越多如同ValueState...
-
大佬，請(qǐng)問(wèn)這個(gè)是什么版本的Flink呢匀奏，我看的是1.15鞭衩，現(xiàn)在沒(méi)有l(wèi)ookup，是eval()方法了
Flink 源碼之 SQL TableSource 和 TableSink
Flink源碼分析系列文檔目錄 請(qǐng)點(diǎn)擊：Flink 源碼分析系列文檔目錄[http://www.reibang.com/p/d4a372809e3d] 前言 Flink S...
-
Hudi Timeline簡(jiǎn)析前言 Long time no see（鞠躬 最近終于開(kāi)始嘗試推廣Hudi在部門內(nèi)部的應(yīng)用娃善，作為流批一體計(jì)劃的最后一塊拼圖论衍，順便復(fù)活許久未更的博客，希望今后至少能保持周更的節(jié)...
-
Flink 使用之 CDC 自定義 DeserializationSchema
Flink 使用介紹相關(guān)文檔目錄 Flink 使用介紹相關(guān)文檔目錄[http://www.reibang.com/p/74f1990d047c] 背景 本篇接Flink 使...
-
淺談Flink對(duì)象重用（object reuse）前言 今天是大年初一，祝各位虎年大吉大利~ 近期受工作變動(dòng)影響愁溜，博客又荒廢了許久疾嗅。今天難得有空，就前段時(shí)間內(nèi)部技術(shù)分享里提到的一個(gè)小知識(shí)點(diǎn)來(lái)寫(xiě)幾筆冕象。 對(duì)象重用（object ...
-
kafka 數(shù)據(jù)可靠性深度解讀1. 概述 Kakfa起初是由LinkedIn公司開(kāi)發(fā)的一個(gè)分布式的消息系統(tǒng)察纯，后成為Apache的一部分，它使用Scala編寫(xiě)针肥，以可水平擴(kuò)展和高吞吐率而被廣泛使用饼记。目前越來(lái)越...
-
spark-streaming與kafka的整合
1. 概述 在2.x中，spark有兩個(gè)用來(lái)與kafka整合的代碼祖驱，版本代號(hào)為0.8和0.10握恳，由于在0.8瞒窒，kafka有兩套消費(fèi)者api捺僻，根據(jù)高級(jí)api得到了Receive...
-
HiveSQL解析過(guò)程詳解Hive是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，在各大公司都有廣泛的應(yīng)用崇裁。美團(tuán)數(shù)據(jù)倉(cāng)庫(kù)也是基于Hive搭建匕坯，每天執(zhí)行近萬(wàn)次的Hive ETL計(jì)算流程，負(fù)責(zé)每天數(shù)百GB的數(shù)據(jù)存儲(chǔ)...
