Spark技術(shù) - 專題

投稿

Spark技術(shù)

收錄了13篇文章 · 33人關(guān)注

Spark統(tǒng)一內(nèi)存管理
spark從1.6.0開始內(nèi)存管理發(fā)生了變化柏副，原來的內(nèi)存管理由StaticMemoryManager實現(xiàn)脾歇，現(xiàn)在被稱為Legacy,在1.5.x和...

jacksu在簡書 1 8
Spark 源碼解析 : DAGScheduler中的DAG劃分與提交
一、Spark 運行架構(gòu) Spark 運行架構(gòu)如下圖：各個RDD之間存在著依賴關(guān)系逗旁，這些依賴關(guān)系形成有向無環(huán)圖DAG嘿辟，DAGScheduler對...

飛帥記憶 0 4

Spark Rpc通信源碼分析
Spark 1.6+推出了以RPCEnv、RPCEndpoint片效、RPCEndpointRef為核心的新型架構(gòu)下的RPC通信方式红伦。其具體實現(xiàn)有A...

lehi 0 4
Spark的位置優(yōu)先: TaskSetManager 的有效 Locality Levels
based on spark-1.5.1 standalone mode 在Spark Application Web UI的 Stages t...

0.8 牛肉圓粉不加蔥 8 22
16.Spark Streaming源碼解讀之?dāng)?shù)據(jù)清理機制解析
本期內(nèi)容：一、Spark Streaming 數(shù)據(jù)清理總覽二淀衣、****Spark Streaming ****數(shù)據(jù)清理過程詳解三昙读、****Spa...

飛帥記憶 0 4
15、Spark Streaming源碼解讀之No Receivers徹底思考
在前幾期文章里講了帶Receiver的Spark Streaming 應(yīng)用的相關(guān)源碼解讀膨桥，但是現(xiàn)在開發(fā)Spark Streaming的應(yīng)用越來越...

飛帥記憶 2 4
14：Spark Streaming源碼解讀之State管理之updateStateByKey和mapWithState解密
首先簡單解釋一下什么是state(狀態(tài))管理蛮浑？我們以wordcount為例。每個batchInterval會計算當(dāng)前batch的單詞計數(shù)只嚣，那如果...

飛帥記憶 0 3

Spark-Streaming Windows開發(fā)環(huán)境案例搭建運行（圖文）
前言最近在專注Spark開發(fā)沮稚，記錄下自己的工作和學(xué)習(xí)路程，希望能跟大家互相交流成長具體代碼可參考本人GitHub地址：https://gith...

MichaelFly 4 4
Spark RDD數(shù)據(jù)關(guān)聯(lián)過濾案例
前言最近在專注Spark開發(fā)册舞，記錄下自己的工作和學(xué)習(xí)路程蕴掏，希望能跟大家互相交流成長QQ:86608625 微信:guofei1990123 ...

MichaelFly 0 4
第12課：Spark Streaming源碼解讀之Executor容錯安全性
一、Spark Streaming 數(shù)據(jù)安全性的考慮： Spark Streaming不斷的接收數(shù)據(jù)调鲸，并且不斷的產(chǎn)生Job盛杰，不斷的提交Job給集...

飛帥記憶 0 0