collect, collect_list, collect_set collect常用的有兩個函數(shù)：collect_list(不去重)和collect_set(去重) co...
IP屬地：廣東
-
Learning Spark [6] - Spark SQL高級函數(shù) -
IntelliJ IDEA2018版下載安裝教程以及詳細步驟本篇適合新手對于idea的下載安裝和配置实愚，因為近期博主正在學習Maven，而業(yè)界公認最適合搭配Maven的IDE便是JetBrains公司發(fā)行的IntelliJ IDEA满败，所...
-
Spark--透視函數(shù)pivot應用(行列轉換)參考博客連接 https://juejin.im/post/5b1e343f518825137c1c6a27 應用背景 歡迎各位訪問鏈接中原創(chuàng)博客Spark中行列轉換，即...
-
spark 數(shù)據(jù)傾斜總結一叹括、數(shù)據(jù)傾斜概念 1.1算墨、是指shuffle過程中，必須將各個節(jié)點上相同key拉取到某個節(jié)點上的一個task來進行處理汁雷，此時如果某個key對應的數(shù)據(jù)特別大的話净嘀，就會發(fā)生...
-
scala combineByKey用法說明
語法是: 標記一下：（因為有很多同樣的字母，方便說明我就按照字母+數(shù)字標記一下） 語法說明：（不復制網上的厢漩，我按照我的理解大白話說明） 1.combineByKey 中的by...
-
Hive文件存儲格式詳解0. 行式存儲和列式存儲 Hive中常用的存儲格式有TEXTFILE 膜眠、SEQUENCEFILE、AVRO、RCFILE宵膨、ORCFILE架谎、PARQUET等，其中TEXTFIL...
-
數(shù)倉--Hive--面試題準備
數(shù)倉--Hive-面試之Hive與HBase的區(qū)別數(shù)倉--Hive-面試之Hive架構原理數(shù)倉--Hive-面試之Hive的數(shù)據(jù)模型及各模塊的應用場景數(shù)倉--Hive-面試之...
-
-
-
數(shù)倉--Hive-面試之Hive架構原理基礎性的東西拨黔，不過在回答的時候要能回答出彩來 什么是Hive Hive是由Facebook開源用于解決海量結構化日志的數(shù)據(jù)統(tǒng)計；Hive是基于Hadoop的一個數(shù)據(jù)倉庫工具绰沥，...
-
數(shù)倉--Hive-面試之Hive優(yōu)化策略
Hive的優(yōu)化策略大致分為：配置優(yōu)化(hive-site.xml和hive-cli執(zhí)行前配置)篱蝇、表優(yōu)化、hive數(shù)據(jù)傾斜解決方案徽曲×憬兀回答的時候需要，需要準確的說出具體的配置參數(shù)...
-
Spark架構模式與Flink的對比Spark架構模式與Flink的對比 Spark和Flink都屬于流批一體的分布式計算引擎秃臣。Flink屬于流處理框架涧衙，通過流來模擬批，Spark屬于批處理框架奥此，通過批來模擬流...
-
spark調優(yōu)
1弧哎、 性能調優(yōu) 1.1、 分配更多資源 1.1.1稚虎、分配哪些資源撤嫩？ Executor的數(shù)量 每個Executor所能分配的CPU數(shù)量 每個Executor所能分配的內存量 D...
-
MapReduce過程詳解及其性能優(yōu)化MapReduce過程詳解及其性能優(yōu)化 [toc] 轉載：MapReduce過程詳解及其性能優(yōu)化 總結 詳情 從JVM的角度看Map和Reduce： 1. Map階段包括 ...
