24篇文章 · 36115字 · 7人關(guān)注
-
Spark--Spark RDD與Dataframe/Datasets對比學(xué)習(xí)RDD知識點總結(jié) 五大特性丝蹭，寬窄依賴等詳見連接：http://www.reibang.com/p/592b985c443c Spark--...
-
Spark--Spark多維分析cube/rollup/grouping sets/group by
概念簡述 group by:主要用來對查詢的結(jié)果進(jìn)行分組吊骤，相同組合的分組條件在結(jié)果集中只顯示一行記錄翩肌∠潴。可以添加聚合函數(shù)帮非。 grouping se...
-
Spark--Spark寬窄依賴的理解
寬窄依賴概念 窄依賴是指父RDD的每個分區(qū)只被子RDD的一個分區(qū)所使用，子RDD分區(qū)通常對應(yīng)常數(shù)個父RDD分區(qū)(O(1)博个，與數(shù)據(jù)規(guī)模無關(guān)) 寬依...
-
Spark--SparkCore面試知識點總結(jié)
整理于【Spark面試2000題】Spark core面試篇03 怀樟，梅峰谷大數(shù)據(jù) 1.Spark使用parquet文件存儲格式能帶來哪些好處？ ...
-
Spark--Spark Shuffle細(xì)節(jié)掌握(面試類)問題
Spark Shuffle Read階段是如何讀取數(shù)據(jù)的 Reduce去拉取Map的輸出數(shù)據(jù)盆佣，Spark提供了兩套不同的拉取數(shù)據(jù)框架：通過soc...
-
Spark--為什么Spark Application在沒有獲得足夠的資源往堡，job就開始執(zhí)行了，可能會導(dǎo)致什么什么問題發(fā)生?
會導(dǎo)致執(zhí)行該job時候集群資源不足共耍，導(dǎo)致執(zhí)行job結(jié)束也沒有分配足夠的資源虑灰，分配了部分Executor，該job就開始執(zhí)行task痹兜，應(yīng)該是tas...
-
Spark--spark工作模式詳解(local/standalone/yarn)Spark 運行模式分類 本地模式穆咐； standalone模式； spark on yarn 模式字旭，又分未yarn-client和yarn-cl...
-
Spark--透視函數(shù)pivot應(yīng)用(行列轉(zhuǎn)換)參考博客連接 https://juejin.im/post/5b1e343f518825137c1c6a27 應(yīng)用背景 歡迎各位訪問鏈接中原...
-
Spark--聚合性數(shù)據(jù)傾斜解決方案實例說明數(shù)據(jù)傾斜產(chǎn)生背景 數(shù)據(jù)傾斜表現(xiàn)形勢和網(wǎng)上流傳不大一樣对湃，歡迎批評指正--李小李 在開發(fā)DMP平臺過程中，有一個標(biāo)簽體系時地理位置標(biāo)簽遗淳，需要根據(jù)IP...
