48篇文章 · 58337字 · 7人關(guān)注
-
spark 基礎(chǔ)四：內(nèi)存分配Spark作為一個基于內(nèi)存的分布式計算引擎冻晤，其內(nèi)存管理模塊在整個系統(tǒng)中扮演著非常重要的角色彪杉。理解Spark內(nèi)存管理的基本原理褐啡，有助于更好地開發(fā)S...
-
Spark Streaming（九）：性能調(diào)優(yōu)
1继控、數(shù)據(jù)接收并行度調(diào)優(yōu) 1斟薇、通過網(wǎng)絡(luò)接收數(shù)據(jù)時（比如Kafka停巷、Flume）耍攘，會將數(shù)據(jù)反序列化榕栏，并存儲在Spark的內(nèi)存中。如果數(shù)據(jù)接收成為系統(tǒng)...
-
Spark Streaming（八）：容錯和事務(wù)1蕾各、RDD容錯 1扒磁、RDD，Ressilient Distributed Dataset式曲，是不可變的妨托、確定的、可重新計算的吝羞、分布式的數(shù)據(jù)集兰伤。每個...
-
Spark Streaming（七）：部署、升級和監(jiān)控應(yīng)用程序
1脆贵、部署應(yīng)用程序 1医清、有一個集群資源管理器，比如standalone模式下的Spark集群卖氨，Yarn模式下的Yarn集群等会烙；2、打包應(yīng)用程序為一...
-
Spark Streaming（六）：緩存與持久化
1筒捺、概述 與RDD類似柏腻，Spark Streaming也可以讓開發(fā)人員手動控制，將數(shù)據(jù)流中的數(shù)據(jù)持久化到內(nèi)存中系吭。對DStream調(diào)用persis...
-
Spark Streaming（五）：與Spark SQL整合
Spark Streaming最強大的地方在于五嫂，可以與Spark Core、Spark SQL整合使用肯尺，之前已經(jīng)通過transform沃缘、fore...
-
Spark Streaming（四）：output操作DStream中的所有計算，都是由output操作觸發(fā)的则吟，比如print()槐臀；如果沒有任何output操作，那么就不會執(zhí)行定義的計算邏輯氓仲。 注：...
-
Spark Streaming（三）：DStream的transformation操作1水慨、updateStateByKey 作用可以讓我們?yōu)槊總€key維護一份state，并持續(xù)不斷的更新該state敬扛； 使用1晰洒、首先，要定義一個st...
-
Spark Streaming（二）：DStream數(shù)據(jù)源
1啥箭、輸入DStream和Receiver 輸入（Receiver）DStream代表了來自數(shù)據(jù)源的輸入數(shù)據(jù)流谍珊，在之前的wordcount例子中，...
