Spark深度解析 - 專題 - 簡(jiǎn)書(shū)

投稿

Spark深度解析

收錄了19篇文章 · 30人關(guān)注

spark broadcast join優(yōu)化
在大量數(shù)據(jù)中對(duì)一些字段進(jìn)行關(guān)聯(lián)得运。舉例 ipTable：需要進(jìn)行關(guān)聯(lián)的幾千條ip數(shù)據(jù)(70k)hist：歷史數(shù)據(jù)（百億級(jí)別）直接join將會(huì)對(duì)...

0.1 breeze_lsw 0 8
Spark map-side-join 關(guān)聯(lián)優(yōu)化
將多份數(shù)據(jù)進(jìn)行關(guān)聯(lián)是數(shù)據(jù)處理過(guò)程中非常普遍的用法培己，不過(guò)在分布式計(jì)算系統(tǒng)中馆揉，這個(gè)問(wèn)題往往會(huì)變的非常麻煩，因?yàn)榭蚣芴峁┑?join 操作一般會(huì)將所有...

0.3 breeze_lsw 0 10

解決spark中遇到的數(shù)據(jù)傾斜問(wèn)題
一. 數(shù)據(jù)傾斜的現(xiàn)象多數(shù)task執(zhí)行速度較快,少數(shù)task執(zhí)行時(shí)間非常長(zhǎng)冕房，或者等待很長(zhǎng)時(shí)間后提示你內(nèi)存不足，執(zhí)行失敗。二. 數(shù)據(jù)傾斜的原因 ...

0.4 breeze_lsw 2 11
SparkSQL自定義Hint優(yōu)化器解決熱點(diǎn)數(shù)據(jù)導(dǎo)致JOIN數(shù)據(jù)傾斜問(wèn)題
場(chǎng)景有時(shí)我們通過(guò)sparkSQL來(lái)分析數(shù)據(jù)赞厕，當(dāng)使用Join操作時(shí)，最讓人頭疼的莫過(guò)于數(shù)據(jù)傾斜了定硝，如果你是大表關(guān)聯(lián)小表的情況皿桑，那情況還不是很糟糕...

4.1 frb502 0 5
Spark RPC 框架源碼分析（二）運(yùn)行時(shí)序
前情提要： Spark RPC 框架源碼分析（一）簡(jiǎn)述一. Spark RPC 概述概述上一篇我們已經(jīng)說(shuō)明了 Spark RPC 框架的一個(gè)...

0.1 大數(shù)據(jù)_zzzzMing 0 1
Spark RPC 框架源碼分析（三）Spark 心跳機(jī)制分析
一. Spark 心跳概述前面兩節(jié)中介紹了 Spark RPC 的基本知識(shí)，以及深入剖析了 Spark RPC 中一些源碼的實(shí)現(xiàn)流程。具體可...

0.1 大數(shù)據(jù)_zzzzMing 0 4
Spark 的“血液” --Spark RPC（一）簡(jiǎn)述
一. Spark rpc概述首先說(shuō)明RPC诲侮，引用百度百科： RPC（Remote Procedure Call）—遠(yuǎn)程過(guò)程調(diào)用镀虐，它是一種通過(guò)網(wǎng)...

0.3 大數(shù)據(jù)_zzzzMing 0 3

Spark-Core源碼精讀(3)、spark-shell(spark-submit)流程詳解
本文將解讀使用spark-shell的方式進(jìn)入REPL的具體流程沟绪。注：本專題的文章皆使用Spark-1.6.3版本的源碼為參考刮便，如果Spark...

0.7 sun4lower 0 15
Spark Streaming Dynamic Resource Allocation
Problem Statement DRA has already been implemented since Spark 1.2 . How...

祝威廉 0 0
Spark SQL / Catalyst 內(nèi)部原理與 RBO
原創(chuàng)文章，轉(zhuǎn)載請(qǐng)務(wù)必將下面這段話置于文章開(kāi)頭處绽慈。本文轉(zhuǎn)發(fā)自技術(shù)世界恨旱，原文鏈接http://www.jasongj.com/spark/rbo/ ...

0.5 郭俊Jason 0 8