BIG DATA-實(shí)時(shí)計(jì)算 - 專題

投稿

收錄了10篇文章 · 14人關(guān)注

Structured Streaming: A Declarative API for Real-Time Applications in Apache Spark
論文概要該論文是Spark團(tuán)隊(duì)在2018年發(fā)表的一篇基于Spark引擎之上新構(gòu)建的一套Streaming api碱工，Structured Str...

零度沸騰_yjz 0 0
Flink集群部署模式
根據(jù)集群的生命周期、資源隔離方式和應(yīng)用程序的main()方法執(zhí)行位置(client或者JobManager)可以將集群部署模式分為：Flink ...

0.1 零度沸騰_yjz 1 1

Flink集群架構(gòu)
Flink集群架構(gòu) Flink采用Master-Slave架構(gòu)奏夫，其中JobManager作為集群Master節(jié)點(diǎn)怕篷，主要負(fù)責(zé)任務(wù)協(xié)調(diào)和資源分配，T...

零度沸騰_yjz 0 1
Flink狀態(tài)管理源碼分析(三)-快照策略
快照策略(SnapshotStrategy) Flink的檢查點(diǎn)機(jī)制是建立在分布式一致快照之上的酗昼，從而實(shí)現(xiàn)數(shù)據(jù)處理的exactly-once處理...

零度沸騰_yjz 0 0
Flink系統(tǒng)架構(gòu)簡介
Flink系統(tǒng)組成 Flink是一個(gè)分層系統(tǒng)廊谓，從下到上分為：系統(tǒng)部署層、任務(wù)運(yùn)行層麻削、API層以及基于API開發(fā)的通用庫層(Libraries)蒸痹。...

1.0 零度沸騰_yjz 0 8
Flink DataStream API詳解
Flink API介紹 Flink提供了三層API，每層在簡潔性和表達(dá)性之間進(jìn)行了不同的權(quán)衡呛哟。 ProcessFunction是Flink提供的...

1.6 零度沸騰_yjz 0 19
Flink部署
Flink作為一個(gè)分布式流式計(jì)算引擎叠荠，需要計(jì)算資源才可以執(zhí)行應(yīng)用程序。Flink能夠與目前所有通用的資源管理框架集成扫责，比如Hadoop YARN...

1.9 零度沸騰_yjz 0 11

Flink應(yīng)用開發(fā)
項(xiàng)目構(gòu)建項(xiàng)目模板 Flink應(yīng)用項(xiàng)目可以使用Maven或SBT來構(gòu)建項(xiàng)目榛鼎，F(xiàn)link針對這些構(gòu)建工具提供了相應(yīng)項(xiàng)目模板。Maven模板命令如下...

0.9 零度沸騰_yjz 0 12
Storm Trident 之 Trident API介紹
Trident是什么 Trident是Storm上的高層次抽象鳖孤，它能夠在提供高吞吐量的能力同時(shí)(每秒幾百萬消息)者娱，也提供了有狀態(tài)的流式處理和低延...

零度沸騰_yjz 0 2
Storm原理深入淺出
Storm架構(gòu) Storm是一個(gè)分布式、可靠的實(shí)時(shí)計(jì)算系統(tǒng)苏揣。與Hadoop不同的是黄鳍，它采用流式的消息處理方法，對于每條消息輸入到系統(tǒng)中后就能被立...

0.2 零度沸騰_yjz 0 6