分享程序員的故事，干貨，資料魔慷。<br>一線(xiàn)大廠(chǎng)面試題、高并發(fā)等主流技術(shù)資料 ：JSYH1w
IP屬地：浙江
-
-
Spark 連接kafka兩種方式及區(qū)別(direct和receiver)Kafka Direct 跟Receiver方式的區(qū)別 Receiver Receiver是使用Kafka的 High-Level Consumer API來(lái)實(shí)現(xiàn)的细溅。Rece...
-
Hadoop - HDFSHDFS 分布式文件系統(tǒng) Hadoop -YARNHadoop -MapReduce 導(dǎo)讀1.HDFS是什么2.HDFS架構(gòu)及組件功能介紹3.讀寫(xiě)流程 HDFS是什么 HD...
-
Hadoop - YARNYARN - 資源管理 Hadoop -MapReduceHadoop -HDFS 導(dǎo)讀一. Hadoop 1.x 介紹二. Hadoop 2.x 介紹 - 重點(diǎn)三. yar...
-
Hadoop - MapReduceMapReduce(mr) -- 分布式計(jì)算框架 Hadoop -YARN Hadoop -HDFS 導(dǎo)讀一.MapReduce介紹二.MapReduce工作流程及shu...
-
Flink-1.10 源碼筆記 StreamGraph生成
Flink 1.10 源碼 -- SreamGraph 生成JobGraph Flink的執(zhí)行計(jì)劃分為四層 StreamGraph用戶(hù)層面上的, 用戶(hù)根據(jù)API編寫(xiě)的程序構(gòu)造...
-
Flink-1.10 源碼筆記 分布式快照Flink源碼- 分布式快照 Flink 分布式快照核心概念之一, Barrier會(huì)被注入數(shù)據(jù)流,作為數(shù)據(jù)流得一部分向下流動(dòng),barrier用于不會(huì)超過(guò)其他數(shù)據(jù),也不會(huì)被其他...
-
Flink-1.10 源碼筆記 checkpint -- 3
Flink 源碼筆記 --- checkpoint 接上篇內(nèi)容 Flink-1.10 源碼筆記 checkpint - 2 Snapshot確認(rèn)消息發(fā)送 在AsyncC...
-
Flink-1.10 源碼筆記 process && 調(diào)用過(guò)程
我們知道flink已經(jīng)封裝了很多高級(jí)的api供用戶(hù)訪(fǎng)問(wèn)使用遵馆，但是有時(shí)候我們可能根據(jù)不同的需求鲸郊，發(fā)現(xiàn)提供的高級(jí)api不能滿(mǎn)足我們的需求，這個(gè)時(shí)候flink也為我們提供了low-...
-
Flink-1.10 源碼筆記 checkpint -- 2
Flink 源碼筆記 --- checkpoint 接上篇內(nèi)容 Flink-1.10 源碼筆記 checkpint - 1 進(jìn)入taskExecutorGateway的...
-
Flink-1.10 源碼筆記 checkpint -- 3
Flink 源碼筆記 --- checkpoint 接上篇內(nèi)容 Flink-1.10 源碼筆記 checkpint - 2 Snapshot確認(rèn)消息發(fā)送 在AsyncC...
-
Flink-1.10 源碼筆記 checkpint -- 1
Flink 源碼筆記 --- checkpoint 設(shè)置觸發(fā)checkpoint的節(jié)點(diǎn) ExecutionGraph該對(duì)象運(yùn)行在 SchedulerBase中, Sched...
-
Flink-1.10 源碼筆記 process && 調(diào)用過(guò)程
我們知道flink已經(jīng)封裝了很多高級(jí)的api供用戶(hù)訪(fǎng)問(wèn)使用，但是有時(shí)候我們可能根據(jù)不同的需求换况，發(fā)現(xiàn)提供的高級(jí)api不能滿(mǎn)足我們的需求职辨，這個(gè)時(shí)候flink也為我們提供了low-...
