流式計(jì)算 - 專題 - 簡(jiǎn)書(shū)

投稿

流式計(jì)算

收錄了21篇文章 · 249人關(guān)注

Spark Structured Streaming 寫(xiě)checkpoint 到HDFS 抖動(dòng)的排查
問(wèn)題描述我們最近有個(gè)項(xiàng)目觉啊，需要實(shí)時(shí)消費(fèi)訂單成單的消息能犯，提煉完數(shù)據(jù)后把結(jié)果寫(xiě)入HDFS鲫骗，因此checkpointConfiguration 自然...

0.7 華安火車(chē)迷 0 10
是時(shí)候丟掉Spark Streaming 升級(jí)到Structured Streaming了
前言又是一個(gè)超長(zhǎng)的標(biāo)題（攤手┓( ′?` )┏）。Spark Streaming 歷史比較悠久踩晶，也確實(shí)非常好用执泰，更重要的是，大家已經(jīng)用熟了渡蜻，有...

0.5 祝威廉 9 16

Structured Streaming如何實(shí)現(xiàn)Parquet存儲(chǔ)目錄按時(shí)間分區(qū)
緣由 StreamingPro現(xiàn)在支持以SQL腳本的形式寫(xiě)Structured Streaming流式程序了： mlsql-stream术吝。不過(guò)期...

0.1 祝威廉 3 5
StreamingPro支持Flink的流式計(jì)算了
前言有的時(shí)候我們只要按條處理计济，追求實(shí)時(shí)性而非吞吐量的時(shí)候，類似Storm的模式就比較好了排苍。Spark 在流式處理一直缺乏改進(jìn)沦寂，而Flink在流...

祝威廉 2 6 1
Spark Streaming 不同Batch任務(wù)可以并行計(jì)算么？
關(guān)于Spark Streaming中的任務(wù)有如下幾個(gè)概念： Batch Job Stage Task 其實(shí)Stage,Task都是Spark C...

0.1 祝威廉 4 23
天天在做大數(shù)據(jù)淘衙，你的時(shí)間都花在哪了
大數(shù)據(jù)做了這許多年传藏，有沒(méi)有問(wèn)過(guò)自己，大數(shù)據(jù)中彤守，工作量最大和技術(shù)難度最高的毯侦，分別是什么呢？前言我每天都在思考具垫，思考很重要侈离，是一個(gè)消化和不斷深入...

0.2 祝威廉 0 29 5
Spark Streaming 數(shù)據(jù)產(chǎn)生與導(dǎo)入相關(guān)的內(nèi)存分析
前言我這篇文章會(huì)分幾個(gè)點(diǎn)來(lái)描述Spark Streaming 的Receiver在內(nèi)存方面的表現(xiàn)。一個(gè)大致的數(shù)據(jù)接受流程一些存儲(chǔ)結(jié)構(gòu)的介紹...

0.1 祝威廉 5 27 3

Spark Streaming 數(shù)據(jù)接收優(yōu)化
看這篇文章前筝蚕，請(qǐng)先移步Spark Streaming 數(shù)據(jù)產(chǎn)生與導(dǎo)入相關(guān)的內(nèi)存分析, 文章重點(diǎn)講的是從Kafka消費(fèi)到數(shù)據(jù)進(jìn)入BlockMana...

祝威廉 1 8 2
Spark Streaming Direct Approach (No Receivers) 分析
前言這個(gè)算是Spark Streaming 接收數(shù)據(jù)相關(guān)的第三篇文章了霍狰。前面兩篇是： Spark Streaming 數(shù)據(jù)產(chǎn)生與導(dǎo)入相關(guān)的內(nèi)...

祝威廉 8 11 1
Spark Streaming Crash 如何保證Exactly Once Semantics
這篇文章只是為了闡述Spark Streaming 意外Crash掉后，如何保證Exactly Once Semantics饰及。本來(lái)這個(gè)是可以直接...

0.4 祝威廉 16 16