所有的Flink程序都是由三部分組成的：Source、Transformation亭畜、Sink扮休。做各種各樣的轉(zhuǎn)換操作，Source是負(fù)責(zé)讀取數(shù)據(jù)源拴鸵，Transformation利用各種算子進(jìn)行處理加工玷坠，Sink負(fù)責(zé)輸出蜗搔。
1.數(shù)據(jù)流
這三部分?jǐn)?shù)據(jù)流，在運行的過程中八堡，它又是如何運行在slot上的呢樟凄？
- 在運行時，F(xiàn)link上運行的程序被映射成“邏輯數(shù)據(jù)流”（dataflows）兄渺，它包含了這三部分
- 每一個DataFlow以一個或多個sources開始以一個或多個sinks結(jié)束缝龄。DataFlow類似于任意的有向無環(huán)圖（DAG）。
- 在大部分情況下挂谍，程序中的轉(zhuǎn)換運算（transformation）跟DataFlow中的算子（operator）是一一對應(yīng)的關(guān)系叔壤。
有了這樣一個DataFlow，如何去處理呢口叙？這就涉及到我們最后生成的執(zhí)行圖炼绘。
2.執(zhí)行圖
在Flink里，從DataFlow到執(zhí)行圖的過程妄田，可以把它分成四層：
- StreamGraph：代碼生成的最初的圖
- JobGraph：StreamGraph經(jīng)過優(yōu)化后生成JobGraph俺亮，客戶端在提交給JobManager的數(shù)據(jù)結(jié)構(gòu)。主要優(yōu)化:將多個符合條件的小節(jié)點連在一起作為一個大的節(jié)點形庭。
- ExecutionGraph：JobManager根據(jù)JobGraph生成ExecutionGraph,ExecutionGraph是JobGraph的并行化版本铅辞，是調(diào)度層最核心的數(shù)據(jù)結(jié)構(gòu)。
- 物理執(zhí)行圖：JobManager根據(jù)ExecutionGraph對Job進(jìn)行調(diào)度后萨醒，在各個TaskManager上部署后形成的圖斟珊，并不是一個具體的數(shù)據(jù)結(jié)構(gòu)。
執(zhí)行圖生成過程如下：
3.并行度
一個特定算子的子任務(wù)(subtask)的個數(shù)稱之為其并行度(paralielism)富纸。一般情況下囤踩，一個stream的并行度，可以認(rèn)為就是其所有算子中最大的并行度晓褪。
如下圖堵漱，總共并行度是2，slot個數(shù)最少要2個來執(zhí)行涣仿，
不同的并行度的數(shù)據(jù)還有交互：
那么并行度和slot到底有什么關(guān)系勤庐？
如上圖，左邊是一個JobGraph好港，這個作業(yè)包含的算子有5個愉镰，下面的角標(biāo)代表其并行度。我們看到這幾個算子里面最大的并行度是4钧汹，所以右邊的圖上給了四個slot丈探，右圖也根據(jù)每個算子的并行度給出了slot和算子間的具體分配，可以看到拔莱，任務(wù)被調(diào)度到slot上也是比較均勻的碗降，如果把太多任務(wù)調(diào)度到一個slot上隘竭，那么slot運行效率會低下。
并行度和數(shù)據(jù)傳輸?shù)年P(guān)系
1.一個程序中讼渊，不同的算子可能具有不同的并行度
2.算子之間傳輸數(shù)據(jù)的形式可以是One-to-one模式也可以是redistributing的模式动看，具體是哪一種形式，取決于算子的種類,下面說明這兩種形式爪幻。
One-to-one：Stream維護(hù)著分區(qū)以及元素的順序（比如source和map之間）弧圆。這意味著map算子的子任務(wù)看到的元素的個數(shù)以及順序跟source算子的子任務(wù)生產(chǎn)的元素的個數(shù)，順序相同笔咽。map/filter/flatMap等算子都是one-to-one的對應(yīng)關(guān)系。
Redistributing:stream的分區(qū)會發(fā)生改變霹期。每一個算子的子任務(wù)依據(jù)所選擇的transforation發(fā)送數(shù)據(jù)到不同的目標(biāo)任務(wù)叶组。例如，keyBy基于hashCode重分區(qū)历造、而redistribute過程就類似與spark的shuffle過程甩十。
任務(wù)鏈
作業(yè)在調(diào)度過程中，會將不同的任務(wù)合并在一起吭产，到底什么樣的任務(wù)能合并一起做優(yōu)化呢侣监？下面來看一下優(yōu)化技術(shù)：Operator Chains
Flink采用了一種稱之為任務(wù)鏈的優(yōu)化技術(shù)，可以在特定條件下減少本地通信的開銷臣淤。為了滿足任務(wù)鏈的要求橄霉，必須將兩個或多個算子設(shè)為相同的并行度，并通過本地轉(zhuǎn)發(fā)的方式進(jìn)行連接邑蒋。那什么條件可以滿足合并呢姓蜂？
- 相同并行度
- one-to-one
下圖是一個任務(wù)鏈的例子：
任務(wù)調(diào)度控制
- 如果不想讓Flink自動合并，可以調(diào)用env.disableOperatorChaining()方法医吊。
- 如果想讓某一個算子不合并钱慢，那也可以給某個算子調(diào)用disableChainging()方法
- 如果想從某個算子開始，從這個算子后面可以合并卿堂，前面一個不能合并束莫，前面一個之前的也可以照常合并，那么可以調(diào)用startNewChain()方法草描。
