記錄一下個人對sparkSql的catalyst這個函數(shù)式的可擴展的查詢優(yōu)化器的理解断凶，目錄如下括授， Overview Spark SQL的核心是C...
投稿
收錄了13篇文章 · 5人關(guān)注
-
Spark SQL Catalyst優(yōu)化器 -
Spark消息通信原理一.NettyRpcEnv主要組件 子組件TransportConf，Dispatcher乌叶，TransportClientFactory斗蒋，Tra...
-
淺析 Spark Shuffle 內(nèi)存使用在使用 Spark 進行計算時芹敌，我們經(jīng)常會碰到作業(yè) (Job) Out Of Memory(OOM) 的情況蠢沿，而且很大一部分情況是發(fā)生在 Shu...
-
Spark的數(shù)據(jù)本地化和延遲調(diào)度策略
一.概述 Spark數(shù)據(jù)本地化即計算向數(shù)據(jù)移動，但數(shù)據(jù)塊所在的Executor不一定有足夠的的計算資源提供塘雳，為了讓task能盡可能的以最優(yōu)本地化...
-
Spark中BlockManager的存儲原理一.整體架構(gòu) Spark的存儲介質(zhì)包括磁盤和內(nèi)存陆盘。 Spark的存儲采用了主從模型，存儲模塊使用了基于Netty的RPC消息通信方式败明。Block...
-
Spark內(nèi)存儲級別性能測試及其選擇
Spark有多種儲級別隘马，下面我用數(shù)據(jù)的方式展示各種存儲級別的區(qū)別和其選擇，希望能給在座各位在工作中或面試中一點幫助妻顶！轉(zhuǎn)載請注明出處：Michae...
-
Spark源碼分析之作業(yè)和任務調(diào)度流程一.前言 Spark的作業(yè)和任務調(diào)度系統(tǒng)是其核心酸员。Spark的作業(yè)調(diào)度主要是基于RDD的一系列操作構(gòu)成一個作業(yè)，然后在Executor上執(zhí)行讳嘱，這...
-
Spark源碼分析之SparkSubmit的流程準備 本文主要對SparkSubmit的任務提交流程源碼進行分析幔嗦。Spark源碼版本為2.3.1。 首先閱讀一下啟動腳本沥潭，看看首先加載的是哪個類...
-
Spark源碼分析之Excutor資源分配流程一.前言 在用戶提交應用程序時,SparkContext會向Master發(fā)送注冊消息邀泉，并由Master給該應用分配Executor。 這里的Sp...
-
Spark源碼分析之Master的啟動流程
準備 本文主要對Master的啟動流程源碼進行分析钝鸽。Spark源碼版本為2.3.1汇恤。 閱讀源碼首先從啟動腳本入手，看看首先加載的是哪個類拔恰，我們看...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1781616/spark%E6%88%AA%E5%9B%BE.png', '推薦專題《Spark》（ 分享自 @簡書 ）','http://www.reibang.com/c/976def228dc2?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認gb2312'));){kind=link}