前言 這里把各種資料里認(rèn)為和容錯(cuò)有關(guān)的概念放在一起來(lái)解釋?zhuān)@樣或許能更好的理解Flink強(qiáng)大的容錯(cuò)機(jī)制。主要的概念有四個(gè)：Stage茫死、Check...

概述 Flink 處理機(jī)制的核心，就是“有狀態(tài)的流式計(jì)算”泽谨。不論是簡(jiǎn)單聚合璧榄、窗口聚合特漩，還是處理函數(shù)的應(yīng)用，都會(huì)有狀態(tài)的身影出現(xiàn)骨杂。 狀態(tài)就如同事務(wù)...

概述 無(wú)論是基本的簡(jiǎn)單轉(zhuǎn)換和聚合涂身，還是基于窗口的計(jì)算，都是針對(duì)一條流上的數(shù)據(jù)進(jìn)行處理的搓蚪。而在實(shí)際應(yīng)用中蛤售，可能需要將不同來(lái)源的數(shù)據(jù)連接合并在一起處...

前言 在更底層鲜结，可以不定義任何具體的算子（比如 map方椎，filter，或者 window）吉嚣，而只是提煉出一個(gè)統(tǒng)一的“處理”（process）操作...

Transformation 數(shù)據(jù)流轉(zhuǎn)換算子 Map map可以理解為映射谎亩，對(duì)每個(gè)元素進(jìn)行一定的變換后炒嘲，映射為另一個(gè)元素。 FlatMap fl...

前言 在真實(shí)的場(chǎng)景中數(shù)據(jù)流往往都是沒(méi)有界限的匈庭，無(wú)休止的夫凸，就像是一個(gè)通道中水流持續(xù)不斷地通過(guò)管道流向別處，這樣顯然是無(wú)法進(jìn)行處理阱持、計(jì)算的夭拌，可以將這...

前言 在流數(shù)據(jù)處理應(yīng)用中，一個(gè)很重要衷咽、也很常見(jiàn)的操作就是窗口計(jì)算鸽扁。所謂的“窗口”，一般就是劃定的一段時(shí)間范圍兵罢，也就是“時(shí)間窗”献烦；對(duì)在這范圍內(nèi)的數(shù)...

前言 Flink 作為數(shù)據(jù)處理框架，最終還是要把計(jì)算處理的結(jié)果寫(xiě)入外部存儲(chǔ)卖词，為外部應(yīng)用提供支持。我們已經(jīng)了解了 Flink 程序如何對(duì)數(shù)據(jù)進(jìn)行讀...