collect, collect_list, collect_set collect常用的有兩個函數(shù)：collect_list(不去重)和collect_set(去重) co...
IP屬地：廣東
-
Learning Spark [6] - Spark SQL高級函數(shù) -
IntelliJ IDEA2018版下載安裝教程以及詳細(xì)步驟本篇適合新手對于idea的下載安裝和配置，因為近期博主正在學(xué)習(xí)Maven弛随，而業(yè)界公認(rèn)最適合搭配Maven的IDE便是JetBrains公司發(fā)行的IntelliJ IDEA燎悍，所...
-
Spark--透視函數(shù)pivot應(yīng)用(行列轉(zhuǎn)換)參考博客連接 https://juejin.im/post/5b1e343f518825137c1c6a27 應(yīng)用背景 歡迎各位訪問鏈接中原創(chuàng)博客Spark中行列轉(zhuǎn)換瀑焦，即...
-
spark 數(shù)據(jù)傾斜總結(jié)一槽唾、數(shù)據(jù)傾斜概念 1.1裆甩、是指shuffle過程中鲁豪，必須將各個節(jié)點上相同key拉取到某個節(jié)點上的一個task來進行處理潘悼，此時如果某個key對應(yīng)的數(shù)據(jù)特別大的話，就會發(fā)生...
-
scala combineByKey用法說明
語法是: 標(biāo)記一下：（因為有很多同樣的字母糙申，方便說明我就按照字母+數(shù)字標(biāo)記一下） 語法說明：（不復(fù)制網(wǎng)上的宾添，我按照我的理解大白話說明） 1.combineByKey 中的by...
-
Hive文件存儲格式詳解0. 行式存儲和列式存儲 Hive中常用的存儲格式有TEXTFILE 、SEQUENCEFILE、AVRO辞槐、RCFILE掷漱、ORCFILE、PARQUET等榄檬，其中TEXTFIL...
-
數(shù)倉--Hive--面試題準(zhǔn)備
數(shù)倉--Hive-面試之Hive與HBase的區(qū)別數(shù)倉--Hive-面試之Hive架構(gòu)原理數(shù)倉--Hive-面試之Hive的數(shù)據(jù)模型及各模塊的應(yīng)用場景數(shù)倉--Hive-面試之...
-
-
-
數(shù)倉--Hive-面試之Hive架構(gòu)原理基礎(chǔ)性的東西湾宙，不過在回答的時候要能回答出彩來 什么是Hive Hive是由Facebook開源用于解決海量結(jié)構(gòu)化日志的數(shù)據(jù)統(tǒng)計；Hive是基于Hadoop的一個數(shù)據(jù)倉庫工具冈绊，...
-
數(shù)倉--Hive-面試之Hive優(yōu)化策略
Hive的優(yōu)化策略大致分為：配置優(yōu)化(hive-site.xml和hive-cli執(zhí)行前配置)侠鳄、表優(yōu)化、hive數(shù)據(jù)傾斜解決方案死宣∥岸瘢回答的時候需要，需要準(zhǔn)確的說出具體的配置參數(shù)...
-
Spark架構(gòu)模式與Flink的對比Spark架構(gòu)模式與Flink的對比 Spark和Flink都屬于流批一體的分布式計算引擎毅该。Flink屬于流處理框架博秫，通過流來模擬批，Spark屬于批處理框架眶掌，通過批來模擬流...
-
spark調(diào)優(yōu)
1挡育、 性能調(diào)優(yōu) 1.1、 分配更多資源 1.1.1朴爬、分配哪些資源即寒？ Executor的數(shù)量 每個Executor所能分配的CPU數(shù)量 每個Executor所能分配的內(nèi)存量 D...
-
MapReduce過程詳解及其性能優(yōu)化MapReduce過程詳解及其性能優(yōu)化 [toc] 轉(zhuǎn)載：MapReduce過程詳解及其性能優(yōu)化 總結(jié) 詳情 從JVM的角度看Map和Reduce： 1. Map階段包括 ...
