collect, collect_list, collect_set collect常用的有兩個(gè)函數(shù)：collect_list(不去重)和collect_set(去重) co...
IP屬地：廣東
-
Learning Spark [6] - Spark SQL高級(jí)函數(shù) -
Cron表達(dá)式
Cron表達(dá)式 字段釋義 0 0/5 * * * 荤傲？ 秒 分 時(shí) 天(月) 月 天(周) 年份(一般省略) 符號(hào)釋義 *：表示所有可能的值...
-
IntelliJ IDEA2018版下載安裝教程以及詳細(xì)步驟本篇適合新手對(duì)于idea的下載安裝和配置帝美，因?yàn)榻诓┲髡趯W(xué)習(xí)Maven儿咱，而業(yè)界公認(rèn)最適合搭配Maven的IDE便是JetBrains公司發(fā)行的IntelliJ IDEA白热，所...
-
Spark--透視函數(shù)pivot應(yīng)用(行列轉(zhuǎn)換)參考博客連接 https://juejin.im/post/5b1e343f518825137c1c6a27 應(yīng)用背景 歡迎各位訪問(wèn)鏈接中原創(chuàng)博客Spark中行列轉(zhuǎn)換，即...
-
spark 數(shù)據(jù)傾斜總結(jié)一、數(shù)據(jù)傾斜概念 1.1、是指shuffle過(guò)程中令野，必須將各個(gè)節(jié)點(diǎn)上相同key拉取到某個(gè)節(jié)點(diǎn)上的一個(gè)task來(lái)進(jìn)行處理，此時(shí)如果某個(gè)key對(duì)應(yīng)的數(shù)據(jù)特別大的話徽级，就會(huì)發(fā)生...
-
scala combineByKey用法說(shuō)明
語(yǔ)法是: 標(biāo)記一下：（因?yàn)橛泻芏嗤瑯拥淖帜福奖阏f(shuō)明我就按照字母+數(shù)字標(biāo)記一下） 語(yǔ)法說(shuō)明：（不復(fù)制網(wǎng)上的狗超，我按照我的理解大白話說(shuō)明） 1.combineByKey 中的by...
-
Hive文件存儲(chǔ)格式詳解0. 行式存儲(chǔ)和列式存儲(chǔ) Hive中常用的存儲(chǔ)格式有TEXTFILE 弹澎、SEQUENCEFILE、AVRO努咐、RCFILE苦蒿、ORCFILE、PARQUET等渗稍，其中TEXTFIL...
-
數(shù)倉(cāng)--Hive--面試題準(zhǔn)備
數(shù)倉(cāng)--Hive-面試之Hive與HBase的區(qū)別數(shù)倉(cāng)--Hive-面試之Hive架構(gòu)原理數(shù)倉(cāng)--Hive-面試之Hive的數(shù)據(jù)模型及各模塊的應(yīng)用場(chǎng)景數(shù)倉(cāng)--Hive-面試之...
-
-
-
數(shù)倉(cāng)--Hive-面試之Hive架構(gòu)原理基礎(chǔ)性的東西召嘶，不過(guò)在回答的時(shí)候要能回答出彩來(lái) 什么是Hive Hive是由Facebook開(kāi)源用于解決海量結(jié)構(gòu)化日志的數(shù)據(jù)統(tǒng)計(jì)；Hive是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具哮缺，...
-
數(shù)倉(cāng)--Hive-面試之Hive優(yōu)化策略
Hive的優(yōu)化策略大致分為：配置優(yōu)化(hive-site.xml和hive-cli執(zhí)行前配置)弄跌、表優(yōu)化、hive數(shù)據(jù)傾斜解決方案尝苇☆踔唬回答的時(shí)候需要埠胖，需要準(zhǔn)確的說(shuō)出具體的配置參數(shù)...
-
Spark架構(gòu)模式與Flink的對(duì)比Spark架構(gòu)模式與Flink的對(duì)比 Spark和Flink都屬于流批一體的分布式計(jì)算引擎。Flink屬于流處理框架格仲，通過(guò)流來(lái)模擬批押袍，Spark屬于批處理框架，通過(guò)批來(lái)模擬流...
-
spark調(diào)優(yōu)
1凯肋、 性能調(diào)優(yōu) 1.1谊惭、 分配更多資源 1.1.1、分配哪些資源侮东？ Executor的數(shù)量 每個(gè)Executor所能分配的CPU數(shù)量 每個(gè)Executor所能分配的內(nèi)存量 D...
-
MapReduce過(guò)程詳解及其性能優(yōu)化MapReduce過(guò)程詳解及其性能優(yōu)化 [toc] 轉(zhuǎn)載：MapReduce過(guò)程詳解及其性能優(yōu)化 總結(jié) 詳情 從JVM的角度看Map和Reduce： 1. Map階段包括 ...
