通過上一章節(jié)我們可以得到犬绒，flink把container內(nèi)存分成了8塊旺入，一般來說我們只需要關(guān)注其中的兩塊內(nèi)存(task heap和managed)，由內(nèi)存計(jì)算公式可以看出凯力，這兩部分是此消彼長(zhǎng)的茵瘾。

Task heap

• 默認(rèn)4g的一個(gè)TM，其中大概只有35%分配給了heap內(nèi)存咐鹤，一般來說對(duì)于簡(jiǎn)單的任務(wù)足夠了拗秘，我們通過GC的情況來觀測(cè)heap內(nèi)存是否充足
• 如果我們SQL任務(wù)的計(jì)算邏輯比較復(fù)雜，比如有較多算子情況下祈惶，或者有一些維表關(guān)聯(lián)需要緩存數(shù)據(jù)雕旨，那我們就需要增大heap內(nèi)存的分配扮匠。
  1. 如果任務(wù)沒有 join，沒有 group by 等聚合算子凡涩，我們可以調(diào)小 managed 內(nèi)存分配的比例棒搜，以此來增大heap內(nèi)存的分配量(taskmanager.memory.freaction=0.4 默認(rèn))，如果內(nèi)存還是不足可以通過增加TM的總內(nèi)存
  2. 如果任務(wù)需要聚合算子活箕，調(diào)小 managed 內(nèi)存可以導(dǎo)致 managed 內(nèi)存的OOM力麸，應(yīng)該直接增加TM總內(nèi)存

Managed

Flink是有狀態(tài)的計(jì)算，對(duì)于我們目前線上的使用方式育韩，所謂的狀態(tài)使用全都依賴于 Managed 內(nèi)存克蚂，用來保存我們的一些數(shù)據(jù)和結(jié)果(例如雙流 join 時(shí)兩張表的緩存數(shù)據(jù)，group by 時(shí)使用的緩存中間結(jié)果值等)

對(duì)于有時(shí)間窗口的任務(wù)來說筋讨，狀態(tài)數(shù)據(jù)會(huì)隨著窗口的銷毀而清楚陨舱，釋放空間，但是對(duì)于沒有時(shí)間窗口的任務(wù)版仔，我們使用TTL來進(jìn)行任務(wù)狀態(tài)的清除(在sql中使用 settable.exec.state.ttl= ${time}ms) 。ttl不應(yīng)設(shè)置的過大误墓，且ttl只保證數(shù)據(jù)在設(shè)置的時(shí)間內(nèi)不會(huì)被刪除蛮粮，但是何時(shí)執(zhí)行刪除動(dòng)作是不確定的

由于Managed內(nèi)存是堆外內(nèi)存，flink任務(wù)本身無法很準(zhǔn)確的進(jìn)行觀測(cè)和控制谜慌，容易造成堆外內(nèi)存的使用超限然想。對(duì)于目前線上的運(yùn)行模式(flink on yarn)，yarn會(huì)對(duì)container進(jìn)程的資源消耗進(jìn)行監(jiān)控欣范，如果總內(nèi)存使用量超過申請(qǐng)上線变泄，則會(huì)kill container。如果我們遇到恼琼，flink任務(wù)運(yùn)行一段時(shí)間妨蛹，出現(xiàn) failover，查看運(yùn)行信息晴竞，報(bào)錯(cuò)信息類似于 “ Connection unexpectedly closed by remote task manager 'xxx.com/xxx:'. This might indicate that the remote task manager was lost.” 一個(gè)Taskmanager丟失蛙卤，很大概率是由于這個(gè)container的managed內(nèi)存用量超限被yarn kill導(dǎo)致，則我們應(yīng)該增大內(nèi)存噩死，颤难。通常我們使用直接增大總內(nèi)存的方式來增加managed內(nèi)存分配，當(dāng)然在heap內(nèi)存充足的情況下已维，也可以適當(dāng)調(diào)大managed比例(taskmanager.memory.managed.fraction=0.4)的值

• TaskManager中運(yùn)行多個(gè)slot和task
  slot是flink中的最小執(zhí)行資源行嗤，我們目前線上的配置為1個(gè)container設(shè)置占用1個(gè)VCORE(1個(gè)container就是1個(gè)Taskmanager)，通常情況下垛耳，為了提供cpu的利用率栅屏，默認(rèn)設(shè)置1個(gè)taskmanager設(shè)為2個(gè)slot飘千。

  如果一個(gè)任務(wù)里面有多個(gè)算子需要使用狀態(tài)存儲(chǔ),比如多次group by，存在一個(gè)tm上運(yùn)行多個(gè)tsdb實(shí)例,如下圖：

  
  

這個(gè)任務(wù)的配置是1個(gè)tm2個(gè)slot既琴，并且graph中包含了3個(gè)agg算子占婉，這表示了一個(gè)tm中會(huì)包含2*3=6個(gè)rocksdb的實(shí)例，因此此處也需要根據(jù)agg算子的類型來判定是否需要增加甫恩，常用的max逆济，sum一般默認(rèn)值足夠，如果是自定義的udaf可能需要增大managed內(nèi)存的分配

雙流的無時(shí)間窗口的join一般也需要存儲(chǔ)大量的數(shù)據(jù)磺箕，因此也應(yīng)該適當(dāng)調(diào)大managed內(nèi)存的分配奖慌。

總結(jié)

通過以上的說明，大家應(yīng)該對(duì)如何配置flink tm的內(nèi)存有了一些思路松靡。內(nèi)存是任務(wù)運(yùn)行的重要資源简僧，在任務(wù)穩(wěn)定運(yùn)行，gc正常的情況下雕欺，過多的內(nèi)存分配不會(huì)增加任務(wù)的運(yùn)行效率岛马，我們?cè)谔讲槿蝿?wù)運(yùn)行效率時(shí)，磁盤的IO wait屠列，CPU的利用率啦逆，算子的執(zhí)行速度等都是需要考慮的重要因素