前言 Kyuubi 1.9.2 on Yarn模式官方支持Spark、Flink和Hive引擎。本片分別介紹它們的部署方式凝果。 環(huán)境信息 Kyuubi 1.9.2 Spark ...
發(fā)簡信
IP屬地：北京
-
Kyuubi Spark Flink Hive 引擎使用
-
基于Kafka+Flink+Redis的電商大屏實時計算案例前言 一年一度的雙11又要到了劣领，阿里的雙11銷量大屏可以說是一道特殊的風(fēng)景線。實時大屏（real-time dashboard）正在被越來越多的企業(yè)采用撵颊，用來及時呈現(xiàn)關(guān)鍵的數(shù)...
-
Flink SQL空閑狀態(tài)保留時間（idle state retention time）實現(xiàn)原理前言 如果要列舉Flink SQL新手有可能犯的錯誤宇攻，筆者認為其中之一就是忘記設(shè)置空閑狀態(tài)保留時間導(dǎo)致狀態(tài)爆炸。2021年的第一篇技術(shù)文倡勇，時間很緊張逞刷，聊聊這個簡單的話題吧。 ...
-
Flink on Zeppelin問題四則（并沒有優(yōu)雅的解決方案前言 最近我們正式調(diào)研Zeppelin作為Flink SQL開發(fā)套件的可能性妻熊，于是clone了最新的Zeppelin v0.10-SNAPSHOT源碼夸浅，自行編譯并部署到了預(yù)發(fā)...
-
關(guān)于有狀態(tài)Flink作業(yè)改變Kafka Consumer UID后位點跳變到EARLIEST這檔事前言 這是很多Flink用戶不太注意的一個隱藏得比較深的坑（嚴格來講不算bug），近期組內(nèi)同學(xué)頻繁踩坑扔役，故十分有必要快速記錄一下帆喇，以提請注意。 復(fù)現(xiàn)問題 用戶意圖：將有狀態(tài)F...
-
Flink SQL 如何實現(xiàn)列轉(zhuǎn)行 ?
在 SQL 任務(wù)里面經(jīng)常會遇到一列轉(zhuǎn)多行的需求,下面就來總結(jié)一下在 Flink SQL 里面如何實現(xiàn)列轉(zhuǎn)行的,先來看下面的一個具體案例. 需求 原始數(shù)據(jù)格式如下: named...
-
2024總結(jié)
前言 今年是我工作的第十個年頭厅目，也是第十篇年度總結(jié)番枚。按照慣例，對這一年的經(jīng)歷進行回顧损敷，總結(jié)所學(xué)和所得葫笼。希望我的思考能對你有所啟發(fā)。 工作 人常說拗馒，不怕達不成目標(biāo)路星，就怕沒有目標(biāo)...
-
Flink 源碼之異步state API
Flink源碼分析系列文檔目錄 請點擊：Flink 源碼分析系列文檔目錄[http://www.reibang.com/p/d4a372809e3d] 前言 Flink 2...
-
Flink RocksDB狀態(tài)縮放加速：RocksDB原生DeleteRange原理簡析又見Rescale 筆者在很久之前的一篇文章（傳送門[http://www.reibang.com/p/f0a13f98dac2]）中講解過Flink的狀態(tài)縮放（Resca...
-
Kyuubi命令行工具的使用
前言 Kyuubi提供了兩個命令行工具：kyuubi-admin和kyuubi-ctl。這兩個工具的功能和用法非常相似诱桂，能夠獲取到Kyuubi server和engine的狀...
-
Flink 使用之Yarn模式故障退出TaskManager日志的查看方法
Flink 使用介紹相關(guān)文檔目錄 Flink 使用介紹相關(guān)文檔目錄[http://www.reibang.com/p/74f1990d047c] 前言 如果Flink作業(yè)在...
-
Hudi 使用之Metadata Index
本篇帶來Hudi metadata index的介紹洋丐、配置和使用。本篇將Hudi官網(wǎng)內(nèi)容有關(guān)部分重新整理在一起挥等，閱讀和查找起來更為容易友绝。 Metadata Index依賴me...
-
聊聊存算分離StarRocks的垃圾清理機制前言 大家已經(jīng)了解，StarRocks的更新模型肝劲、主鍵模型等在Flush和Compaction過程中會產(chǎn)生歷史版本數(shù)據(jù)迁客，這些垃圾數(shù)據(jù)需要及時被清理郭宝，以防止存儲空間浪費。而St...
-
大數(shù)據(jù)集群Linux系統(tǒng)參數(shù)預(yù)調(diào)優(yōu)指南前言 當(dāng)我們自建大數(shù)據(jù)集群（如OLAP集群掷漱、實時計算集群粘室、分布式存儲集群、全文搜索集群等）的時候卜范，除了硬件資源要合理配備外衔统，在操作系統(tǒng)層面也要進行一些事前配置，讓大數(shù)據(jù)組件能...
-
Hudi 使用之Flink讀寫
前言 本篇從Hudi角度介紹Flink常用的幾種讀寫操作海雪。內(nèi)容主要來源于官網(wǎng)例子和個人理解锦爵。 讀者如果想了解從編譯、部署到使用的步驟喳魏，請參考：Flink 使用之 Hudi 編...
-
2024一個短期的生活片段
自對大環(huán)境下的職場環(huán)境沒有信心后,我就開始琢磨著其他的方向了,計算機&互聯(lián)網(wǎng)這行,看去了投入所帶來的收益很低了,雖說數(shù)倉&數(shù)據(jù)行業(yè)門檻低得很,但是不至于一個城市幾乎沒什么崗位...
-
Java 類加載機制
何為類加載 類加載指的是JVM將class二進制文件讀取到內(nèi)存方法區(qū)棉浸，在堆內(nèi)存中生成Class對象。 類加載過程 類加載的過程包含如下步驟： 加載 驗證 準(zhǔn)備 解析 初始化 ...
-
Hudi 報錯和問題排查
本文檔記錄了Spark/Flink配置Hudi使用時遇到的幾個比較棘手的問題刺彩。不定期更新。 spark-sql或者spark-shell啟動出現(xiàn)NoClassDefFound...
-
ClassNotFoundException和NoClassDefFoundError
ClassNotFoundException ClassNotFoundException是一個checked exception枝恋，意味著我們在代碼中必須使用try catc...
-
Flink 使用之連接 Kafka
Flink 使用介紹相關(guān)文檔目錄 Flink 使用介紹相關(guān)文檔目錄[http://www.reibang.com/p/74f1990d047c] 前言 本文介紹Flink ...