前言 參考 : <Flink內(nèi)核原理與實踐> 1. 一個java對象內(nèi)存大小 java所有數(shù)據(jù)類型對應(yīng)的字節(jié)大小 類型大小(byte)說明Long8Double8Int4Fl...
發(fā)簡信
IP屬地：上海
-
Flink內(nèi)存管理 -
Flink數(shù)據(jù)傳輸源碼及原理Flink數(shù)據(jù)交換源碼及其原理 前言 對于里面內(nèi)容我們需要一定的netty只是,在涉及網(wǎng)絡(luò)交互的時候是基于netty的,所以不了解netty可能讓我們難以理解其中邏輯對于一些...
-
Flink-cdc源碼剖析Flink cdc源碼 前言 flink-cdc源碼地址 : https://github.com/ververica/flink-cdc-connectors[https:...
-
Flink-1.10 源碼筆記 算子解析->MapOperator
Flink 1.10 源碼 -- Map 導讀1.map是什么2.map的源碼和調(diào)用過程3.transition方法的源碼4.通過底層接口實現(xiàn)map功能 一.map是什么 引...
-
記錄Flink1.9線上checkpoint失敗的問題最新在線上更新了代碼之后導致了任務(wù)在消費kafka數(shù)據(jù)的時候,突然就不消費數(shù)據(jù)了,發(fā)現(xiàn)原因在公司的可視化界面中,看不到數(shù)據(jù)的更新,進入flink監(jiān)控頁面中看到任務(wù)沒有fail...
-
Clickhouse集群搭建
clickhouse官網(wǎng),也會有集群搭建的內(nèi)容[https://clickhouse.tech/docs/en/] 搭建前的準備 配置好防火墻以及搭建好zookeeper,這...
-
Hbase - Compaction合并機制Hbase - Compaction 當MemStore達到給定的大小時(hbase.hregion.memstore.flush.size),將其數(shù)據(jù)flush到一個Sto...
-
Spark 連接kafka兩種方式及區(qū)別(direct和receiver)Kafka Direct 跟Receiver方式的區(qū)別 Receiver Receiver是使用Kafka的 High-Level Consumer API來實現(xiàn)的仗处。Rece...
-
Hadoop - HDFSHDFS 分布式文件系統(tǒng) Hadoop -YARNHadoop -MapReduce 導讀1.HDFS是什么2.HDFS架構(gòu)及組件功能介紹3.讀寫流程 HDFS是什么 HD...
-
Hadoop - YARNYARN - 資源管理 Hadoop -MapReduceHadoop -HDFS 導讀一. Hadoop 1.x 介紹二. Hadoop 2.x 介紹 - 重點三. yar...
-
Hadoop - MapReduceMapReduce(mr) -- 分布式計算框架 Hadoop -YARN Hadoop -HDFS 導讀一.MapReduce介紹二.MapReduce工作流程及shu...
-
Flink sql使用中報錯問題以及解決Flink sql 報錯問題以及解決 記錄在使用Flink sql時出現(xiàn)的問題以及解決方式 1.時間戳問題 消費kafka數(shù)據(jù),轉(zhuǎn)換成一個DataStream后,通過tabl...
-
Flink-1.10 源碼筆記 JobGraph生成Flink源碼 - 生成JobGraph 什么是jobGraph 如果沒了解StreamGraph單擊我 JobGraph：StreamGraph經(jīng)過優(yōu)化后生成了 JobGr...
