Spark并行度指在Spark作業(yè)中轻腺，各個Stage中task的數(shù)量馁启，也就代表了Spark作業(yè)在各個階段的并行度瘾敢。合理設(shè)置并行度可以從以下幾個方...

@TOC[Spark%E8%B8%A9%E5%9D%91vlog-%E6%8E%A8%E6%B5%8B%E6%89%A7%E8%A1%8Cspa...

背景 在項目開發(fā)中對流式數(shù)據(jù)使用Spark Structured Streaming進(jìn)行處理灵莲，處理流程為：消息中間件(source) -> Sp...

背景 前段時間做的是一個流式項目里奕巍，場景為：對于流式數(shù)據(jù)化漆，使用過濾規(guī)則進(jìn)行實(shí)時過濾并產(chǎn)出結(jié)果數(shù)據(jù)拗军。流式數(shù)據(jù)為源源不斷的IP憾筏，篩選出在合格IP集合...

業(yè)務(wù)背景 項目中將兩個表進(jìn)行join嚎杨，一個大表，一個小表氧腰，在平時200 executor-core * 20G executor-memory的...

背景 此次需要將10張表[A枫浙、B刨肃、C、D箩帚、E真友、F、G紧帕、H盔然、I、J]的數(shù)據(jù)union與表?中的一個字段進(jìn)行join是嗜，以達(dá)到篩選數(shù)據(jù)的目的愈案；其中表A...