Kafka Direct 跟Receiver方式的區(qū)別 Receiver Receiver是使用Kafka的 High-Level Consumer API來實(shí)現(xiàn)的惩阶。Rece...
HDFS 分布式文件系統(tǒng) Hadoop -YARNHadoop -MapReduce 導(dǎo)讀1.HDFS是什么2.HDFS架構(gòu)及組件功能介紹3.讀寫流程 HDFS是什么 HD...
YARN - 資源管理 Hadoop -MapReduceHadoop -HDFS 導(dǎo)讀一. Hadoop 1.x 介紹二. Hadoop 2.x 介紹 - 重點(diǎn)三. yar...
MapReduce(mr) -- 分布式計(jì)算框架 Hadoop -YARN Hadoop -HDFS 導(dǎo)讀一.MapReduce介紹二.MapReduce工作流程及shu...
Flink 1.10 源碼 -- SreamGraph 生成JobGraph Flink的執(zhí)行計(jì)劃分為四層 StreamGraph用戶層面上的, 用戶根據(jù)API編寫的程序構(gòu)造...
Flink源碼- 分布式快照 Flink 分布式快照核心概念之一, Barrier會(huì)被注入數(shù)據(jù)流,作為數(shù)據(jù)流得一部分向下流動(dòng),barrier用于不會(huì)超過其他數(shù)據(jù),也不會(huì)被其他...
Flink 源碼筆記 --- checkpoint 接上篇內(nèi)容 Flink-1.10 源碼筆記 checkpint - 2 Snapshot確認(rèn)消息發(fā)送 在AsyncC...
我們知道flink已經(jīng)封裝了很多高級的api供用戶訪問使用,但是有時(shí)候我們可能根據(jù)不同的需求暗膜,發(fā)現(xiàn)提供的高級api不能滿足我們的需求匀奏,這個(gè)時(shí)候flink也為我們提供了low-...
Flink 源碼筆記 --- checkpoint 接上篇內(nèi)容 Flink-1.10 源碼筆記 checkpint - 1 進(jìn)入taskExecutorGateway的...
Flink 源碼筆記 --- checkpoint 接上篇內(nèi)容 Flink-1.10 源碼筆記 checkpint - 2 Snapshot確認(rèn)消息發(fā)送 在AsyncC...
Flink 源碼筆記 --- checkpoint 設(shè)置觸發(fā)checkpoint的節(jié)點(diǎn) ExecutionGraph該對象運(yùn)行在 SchedulerBase中, Sched...
我們知道flink已經(jīng)封裝了很多高級的api供用戶訪問使用娃善,但是有時(shí)候我們可能根據(jù)不同的需求,發(fā)現(xiàn)提供的高級api不能滿足我們的需求瑞佩,這個(gè)時(shí)候flink也為我們提供了low-...