StreamGraph是什么描姚？ StreamGraph顧名思義是流圖口柳，它描述的是一個(gè)數(shù)據(jù)流的拓補(bǔ)結(jié)構(gòu)，包含了創(chuàng)建JobGraph的所有必要信息系谐。StreamGraph由Str...
發(fā)簡(jiǎn)信
IP屬地：吉林
-
Flink源碼分析之StreamGraph
-
Flink的這些事（一）——Flink部署
一、flink介紹 Apache Flink 是一個(gè)開源的分布式流處理和批處理系統(tǒng)霉翔。Flink 的核心是在數(shù)據(jù)流上提供數(shù)據(jù)分發(fā)咖为、通信、具備容錯(cuò)的分布式計(jì)算帘皿。同時(shí)东跪，F(xiàn)link ...
-
Flink源碼解析之Job提交(上)
啟動(dòng)Job 大家可能都知道通過上面這條命令，就可以在Flink集群上部署一個(gè)Job，執(zhí)行你想要的功能虽填，那么具體這個(gè)Job是怎么提交到集群的機(jī)器上丁恭，并執(zhí)行的呢？ CliFron...
-
Flink源碼解析之JobManager接收J(rèn)ob
前一篇文章已經(jīng)說過斋日，JobManager的職責(zé)主要是接收Flink作業(yè)牲览，調(diào)度Task，收集作業(yè)狀態(tài)和管理TaskManager恶守。那么本篇主要講JobManager接收Flin...
-
Flink源碼解析之JobManager啟動(dòng)JobManager職責(zé) JobManager的職責(zé)主要是接收Flink作業(yè)竭恬，調(diào)度Task，收集作業(yè)狀態(tài)和管理TaskManager熬的。它包含一個(gè)Actor痊硕，并且接收如下信息:...
-
Flink源碼解析之Job提交(下)上一篇文章我們講解了通過命令行將一個(gè)Job提交到TaskManager的整體過程，但是我們中間忽略了一些細(xì)節(jié)押框，比如Job提交到集群的哪些節(jié)點(diǎn)岔绸，JobGraph是什么，它是如何...
-
Tuning Checkpoints and Large State原文鏈接 本頁面提供了如何配置和優(yōu)化使用大型狀態(tài)的應(yīng)用程序的指南橡伞。 概述 為了讓Flink應(yīng)用程序在大規(guī)模集群上可靠的運(yùn)行盒揉，必須滿足兩個(gè)條件: 應(yīng)用必須能可靠的獲取check...
-
Process Function (Low-level Operations)
原文地址 The ProcessFunction ProcessFunction是一個(gè)低級(jí)的流處理操作，可以訪問所有(非循環(huán))流應(yīng)用程序的基本組件: Events(流元素) ...
-
Configuration原文鏈接 對(duì)于單節(jié)點(diǎn)設(shè)置兑徘，F(xiàn)link已經(jīng)準(zhǔn)備就緒刚盈，不需要更改默認(rèn)配置就可以啟動(dòng)。 開箱即用的配置會(huì)使用你默認(rèn)安裝的Java挂脑。如果你想手動(dòng)覆蓋Java運(yùn)行環(huán)境藕漱，可以手動(dòng)設(shè)置環(huán)境...
-
State Backends
原文鏈接 使用Data Stream API編寫的程序通常以不同的形式持有狀態(tài): 在窗口中收集或聚合元素，直到觸發(fā)狀態(tài)存儲(chǔ) 轉(zhuǎn)換函數(shù)可能使用key/value狀態(tài)接口來存儲(chǔ)元...
-
Checkpoints
原文鏈接 概述 Checkpoint通過允許從狀態(tài)和相應(yīng)流的位置進(jìn)行恢復(fù)崭闲，從而使Flink中的狀態(tài)具備容錯(cuò)能力肋联，從而使應(yīng)用程序具有與無故障執(zhí)行相同的語義。 為你的程序如何開啟...
-
JobManager High Availability (HA)原文鏈接 JobManager協(xié)調(diào)每個(gè)Flink部署刁俭。它負(fù)責(zé)調(diào)度和資源管理橄仍。 默認(rèn)情況下，每個(gè)Flink集群都只有一個(gè)JobManager實(shí)例牍戚。這就造成了一個(gè)單點(diǎn)故障(SPO...
-
State Backends
原文鏈接 Flink提供了指定狀態(tài)存儲(chǔ)方式和位置的不同的狀態(tài)后端侮繁。 狀態(tài)可以位于Java的堆內(nèi)或堆外。根據(jù)你的狀態(tài)后端如孝，F(xiàn)link可以管理應(yīng)用程序的狀態(tài)宪哩，這意味著Flink處...