1 數(shù)據(jù)傾斜調(diào)優(yōu) 1.1 調(diào)優(yōu)概述 有的時(shí)候，我們可能會(huì)遇到大數(shù)據(jù)計(jì)算中一個(gè)最棘手的問(wèn)題——數(shù)據(jù)傾斜，此時(shí)Spark作業(yè)的性能會(huì)比期望差很多。數(shù)據(jù)傾斜調(diào)優(yōu)，就是使用各種技術(shù)方...
發(fā)簡(jiǎn)信
IP屬地：北京
-
Spark性能優(yōu)化指南——高級(jí)篇
-
Spark性能優(yōu)化指南——基礎(chǔ)篇
1 前言 在大數(shù)據(jù)計(jì)算領(lǐng)域稽屏，Spark已經(jīng)成為了越來(lái)越流行、越來(lái)越受歡迎的計(jì)算平臺(tái)之一。Spark的功能涵蓋了大數(shù)據(jù)領(lǐng)域的離線批處理累颂、SQL類(lèi)處理、流式/實(shí)時(shí)計(jì)算凛俱、機(jī)器學(xué)習(xí)紊馏、...
-
Spark 如何寫(xiě)入HBase/Redis/MySQL/Kafka
這篇文章是給Spark初學(xué)者寫(xiě)的，老手就不要看了蒲犬。文章談及如何和HBase/Redis/MySQL/Kafka等進(jìn)行交互的方法朱监，主要是為了讓大家明白其內(nèi)部機(jī)制 一些概念 一個(gè)...
