Spark學(xué)習(xí)筆記 - 專(zhuān)題

投稿

收錄了13篇文章 · 4人關(guān)注

關(guān)于Spark RDD API中的Checkpointing
什么是Checkpointing Checkpointing可以將RDD從其依賴關(guān)系中抽出來(lái)泊窘，保存到可靠的存儲(chǔ)系統(tǒng)（例如HDFS馆匿，S3等)强戴，即...

0.1 LestatZ 0 1
關(guān)于Spark中的常見(jiàn)問(wèn)題及解決方法(3) —— Aggregations操作
前言如果你程序中的聚合速度較慢进肯，請(qǐng)先查看 Spark Stragglers/任務(wù)執(zhí)行緩慢部分。主要癥狀在執(zhí)行 groupby 操作時(shí)礁蔗，任務(wù)...

LestatZ 0 0

如何在Spark-shell中停止打印INFO日志
前言在使用Spark-shell做一些測(cè)試時(shí)候會(huì)產(chǎn)生大量無(wú)用的INFO級(jí)別的日志突硝，因此想把它們給禁用掉。具體方法如下蛮瞄。解決方法 - 使用自定...

LestatZ 0 0
關(guān)于Spark中的常見(jiàn)問(wèn)題及解決方法(5) ——Driver OutOfMemoryError或Driver Unresponsive
前言 Driver OutOfMemoryError或Driver Unresponsive是一個(gè)非常嚴(yán)重的問(wèn)題所坯，因?yàn)樗鼤?huì)使我們的Spark應(yīng)用...

LestatZ 0 0
[Spark學(xué)習(xí)] Spark RDD詳解
什么是RDD RDD(Resilient Distributed Datasets)，彈性分布式數(shù)據(jù)集挂捅，是Spark的基本數(shù)據(jù)結(jié)構(gòu)芹助。它是一個(gè)不可...

0.1 LestatZ 0 1
如何為Spark應(yīng)用程序分配--num-executors，--execuor-cores和--executor-memory
前言在我們提交spark程序時(shí)闲先，應(yīng)該如何為Spark集群配置--num-executors状土， - executor-memory和--exe...

0.1 LestatZ 0 1
關(guān)于Spark Dataset API中的Typed transformations和Untyped transformations
前言學(xué)習(xí)Spark源代碼的過(guò)程中遇到了Typed transformations和Untyped transformations兩個(gè)概念，整理...

0.1 LestatZ 0 1

Spark概述
Apache Spark Apache Spark是一個(gè)開(kāi)源的分布式通用計(jì)算框架伺糠，具有(大部分)內(nèi)存數(shù)據(jù)處理引擎蒙谓，可以對(duì)大量的數(shù)據(jù)靜態(tài)或者動(dòng)態(tài)地...

0.1 LestatZ 0 1
Spark應(yīng)用程序剖析
Spark應(yīng)用程序剖析每個(gè)Spark應(yīng)用程序都從創(chuàng)建SparkContext開(kāi)始。若沒(méi)有SparkContext训桶，則不能啟動(dòng)計(jì)算（如Spar...

LestatZ 0 0
Spark程序的配置
Spark Application’s Configuration 提示：有關(guān)如何配置Spark和用戶程序的詳細(xì)信息累驮，請(qǐng)參閱官方文檔中的Spar...

LestatZ 0 0