Java bug搬運(yùn)工，小數(shù)據(jù)攻城獅^O^
發(fā)簡信
IP屬地：湖北
-
-
Flink Connector 深度解析作者介紹：董亭亭咨堤，快手大數(shù)據(jù)架構(gòu)實(shí)時(shí)計(jì)算引擎團(tuán)隊(duì)負(fù)責(zé)人埂伦。目前負(fù)責(zé) Flink 引擎在快手內(nèi)的研發(fā)、應(yīng)用以及周邊子系統(tǒng)建設(shè)泛领。2013 年畢業(yè)于大連理工大學(xué)荒吏，曾就職于奇虎 360...
-
Flink SQL Connector（一）- Format & Kafka
Format Flink 提供了一套與表連接器（table connector）一起使用的表格式（table format）。表格式是一種存儲(chǔ)格式渊鞋，定義了如何把二進(jìn)制數(shù)據(jù)映射...
-
Debezium MySQL 模塊設(shè)計(jì)分析注：本文不會(huì)著重分析MySQL binlog格式結(jié)構(gòu)和解析過程绰更，而在于debezium的架構(gòu)設(shè)計(jì)。 Debezium is an open source distribute...
-
TiKV側(cè)CDC接口
轉(zhuǎn)載請注明原文地址http://www.reibang.com/p/dd5c7c222703[http://www.reibang.com/p/dd5c7c222703]...
-
關(guān)于java實(shí)現(xiàn)tidb CDC的二三事
轉(zhuǎn)載請注明原文地址http://www.reibang.com/p/b86cc9354b20[http://www.reibang.com/p/b86cc9354b20]...
-
Flink-cdc源碼剖析Flink cdc源碼 前言 flink-cdc源碼地址 : https://github.com/ververica/flink-cdc-connectors[https:...
-
Spark從入門到精通57:whole-stage code generation技術(shù)和vectorization技術(shù)
1.Whole-stage code generation 之前講解了手工編寫的代碼的性能锡宋，為什么比Volcano Iterator Model要好儡湾。所以如果要對Spark進(jìn)...
-
詳解Flink-CDC
CDC介紹 CDC 是 Change Data Capture（變更數(shù)據(jù)獲取）的簡稱执俩。核心思想是徐钠，監(jiān)測并捕獲數(shù)據(jù)庫的變動(dòng)（包括數(shù)據(jù)或數(shù)據(jù)表的插入、更新以及刪除等）役首，將這些變更...
-
Hadoop源碼解析之Configuration簡介
對配置文件的配置及解析是每個(gè)框架的基本且必不可少的部分尝丐，本文主要對Hadoop中的配置文件的解析類Configuration的基本結(jié)構(gòu)及主要方法進(jìn)行介紹。Hadoop的配置文...
-
Hadoop源碼分析-契約機(jī)制源碼深度剖析
契約解釋 lease每創(chuàng)建一個(gè)文件后衡奥，會(huì)為每個(gè)文件創(chuàng)建一個(gè)契約 先引入一個(gè)小的背景爹袁，假如多個(gè)客戶端同時(shí)要并發(fā)的寫Hadoop HDFS上的一個(gè)文件，這個(gè)事兒能成嗎矮固？ 明顯不可...
-
有人需要 Java 分布式研發(fā)的嗎档址，T_T
-
Hadoop 源碼學(xué)習(xí)筆記(1)--前言和目錄前言 說到分布式軟件根时，就一定繞不過Hadoop。 Hadoop 是 Google 著名的 MapReduce 和 GFS 論文的開源實(shí)現(xiàn)辰晕，它為我們提供了一個(gè)分布式的數(shù)據(jù)存儲(chǔ)和...
-
-
maven-shade-plugin 入門指南
1. Why? 通過 maven-shade-plugin 生成一個(gè) uber-jar含友，它包含所有的依賴 jar 包替裆。 2. Goals GoalDescriptionsha...
-
Presto/Trino權(quán)威指南及官方設(shè)計(jì)文檔解讀官網(wǎng)地址：https://trino.io/docs/current/[https://trino.io/docs/current/]參閱書目《Trino: The defi...
-
hdfs讀之block讀取解析<一>一、hdfs讀取流程 先獲取文件流FSDataInputStream fsIn = FileSystem.open("path") 然后讀取文件內(nèi)容fsIn.read(buf...
-
探索Hadoop數(shù)據(jù)存放目錄
一. Hadoop數(shù)據(jù)存放路徑 core-site.xml文件位于$HADOOP_HOME/etc/hadoop路徑下窘问，配置了hadoop數(shù)據(jù)存放路徑辆童，包括namenode、...
-
SimpleDateFormat的線程安全問題以及四種解決辦法1.多線程環(huán)境下SimpleDateFormat的不安全問題: SimpleDateFormat的format方法實(shí)際操作的就是Calendar（Calendar變量也就是一...
-
HDFS Stale DN 特性
Stale DN 特性概述 默認(rèn)情況下惠赫，HDFS 集群中一個(gè) DN 意外退出或 down 掉后把鉴，NameNode 并不會(huì)立刻作出響應(yīng)，而是一直要等到 10min 30s 之后...
