19篇文章 · 25246字 · 3人關注
-
Spark History Server
在運行 Spark 應用程序的時候冕杠，Driver 會提供一個 WebUI 用于展現(xiàn)應用程序的運行信息仔夺，但是這個服務是伴隨 Spark 應用程序的...
-
Spark 編程模型 RDD
Spark 編程模型有兩個主要的抽象，第一個是彈性數(shù)據(jù)集 RDD（Resilient Distributed Dataset）激蹲，第二個是共享變量...
-
Apache Spark 黑名單(Blacklist)機制介紹在使用 Apache Spark 的時候扫沼，作業(yè)會以分布式的方式在不同的節(jié)點上運行；特別是當集群的規(guī)模很大時缤剧，集群的節(jié)點出現(xiàn)各種問題是很常見的馅袁，比...
-
Spark通信框架Spark Network CommonSpark Network 模塊分析 為什么用Netty通信框架代替Akka 一直以來，基于Akka實現(xiàn)的RPC通信框架是Spark引以為豪的主...
-
SparkSQL 調優(yōu)
對一些SparkSQL任務荒辕，可以通過緩存數(shù)據(jù)汗销、調優(yōu)參數(shù)、增加并行度提升性能 緩存數(shù)據(jù)sqlContext.cacheTable("tableNa...
-
Spark 運行時環(huán)境Spark運行原理 構建應用程序運行時 首先根據(jù)應用程序資源需求構建一個運行時環(huán)境抵窒，通過與資源管理器交互來完成弛针，通常存在兩種方式：粗粒度，應用程...
-
Spark 作業(yè)執(zhí)行Spark基本組件李皇，Master和Worker削茁，負責運行Client和Driver 每個SparkApplication由主控節(jié)點Master、...
-
Spark IO機制Spark進行IO不僅考慮本地開銷掉房，還有數(shù)據(jù)在不同主機之間的開銷茧跋，同時對數(shù)據(jù)的尋址方式也要改變，以應對大數(shù)據(jù) 序列化- 用于進程間通信卓囚，不同節(jié)點...
-
Spark 算子- ActionAction算子 無輸出 foreach對RDD每個元素執(zhí)行函數(shù)f厌衔，不反悔RDD和Array，而是返回Unit 輸出到HDFS saveAsTe...
