Spark 應(yīng)用 - 專題

投稿

Spark 應(yīng)用

收錄了152篇文章 · 679人關(guān)注

Coarse Grained究竟是什么意思？
Spark的Driver本身就是Scheduler，完整的類名叫做CoarseGrainedSchedulerBackend岛琼，為什么叫Coars...

JasonWayne 0 0
Spark task的輸入太大如何分割谦趣？
上周調(diào)優(yōu)一個(gè)job 的時(shí)候發(fā)現(xiàn)一個(gè)join 意外的耗時(shí)間罢荡，如圖上一個(gè)join的shuffle操作就耗時(shí)1.2h. Input 才91GB, s...

zhangliyun 2 2

Spark RDD核心知識(shí)
一铲汪、Spark包括什么 spark的核心是Spark Core叛溢，其中上面的Spark Sql對(duì)接的是Hive等結(jié)構(gòu)化查詢葵诈，Spark Strea...

0.1 Dimple七 0 3
Spark withColumn 陷阱
withColumn / withColumnRenamed 是 spark 中常用的 API裸弦，可以用于添加新字段 / 字段重命名 / 修改字...

0.1 breeze_lsw 0 3
GeoSpark---Polygon查詢
環(huán)境idea-2020.1 + gradle-4.9 + scala-2.11 代碼如下： polygon.csv 數(shù)據(jù)集輸出結(jié)果如下：

0.1 一個(gè)懶散的人 0 1
Delta Presto Integration & Manifests 機(jī)制
Delta 0.5 已于上周發(fā)布，增加了不少新特性作喘，這篇文章主要講解其 Presto Integration 和 Manifests 機(jī)制理疙。該功...

breeze_lsw 1 0
Delta Lake 平臺(tái)化實(shí)踐（離線篇)
Delta Lake 是什么？簡(jiǎn)單的說(shuō)就是為大數(shù)據(jù)場(chǎng)景添加了事務(wù)功能泞坦，并且支持了 update/delete/merge into 等功能窖贤， D...

0.9 breeze_lsw 0 6

Spark Streaming限流反壓機(jī)制源碼剖析
本文基于spark streaming通過(guò)direct mode訪問(wèn)kafka的場(chǎng)景，從源碼出發(fā)分析spark streaming如何實(shí)現(xiàn)數(shù)據(jù)讀...

0.6 旺旺鴿不鴿 2 4
Spark on k8s: 調(diào)試Executor Pod的方法
相關(guān)文章 1 . Spark on k8s: 調(diào)試客戶端spark-submit進(jìn)程 Spark on k8s: 調(diào)試Driver Pod的方法...

0.2 Kent_Yao 0 2
Spark on k8s: OkHttp WebSocket 非daemon線程導(dǎo)致Driver線程無(wú)法退出
問(wèn)題描述基于Spark 3.0-SNAPSHOT(unreleased)贰锁，做Spark-Terasort相關(guān)測(cè)試赃梧，任務(wù)正常的話分如下圖所示兩個(gè)...

0.1 Kent_Yao 0 1