collect, collect_list, collect_set collect常用的有兩個(gè)函數(shù)：collect_list(不去重)和collect_set(去重) co...
IP屬地：廣東
-
Learning Spark [6] - Spark SQL高級(jí)函數(shù) -
Cron表達(dá)式
Cron表達(dá)式 字段釋義 0 0/5 * * * 氓癌？ 秒 分 時(shí) 天(月) 月 天(周) 年份(一般省略) 符號(hào)釋義 *：表示所有可能的值...
-
IntelliJ IDEA2018版下載安裝教程以及詳細(xì)步驟本篇適合新手對(duì)于idea的下載安裝和配置霎烙，因?yàn)榻诓┲髡趯W(xué)習(xí)Maven哗咆，而業(yè)界公認(rèn)最適合搭配Maven的IDE便是JetBrains公司發(fā)行的IntelliJ IDEA亲桦，所...
-
Spark--透視函數(shù)pivot應(yīng)用(行列轉(zhuǎn)換)參考博客連接 https://juejin.im/post/5b1e343f518825137c1c6a27 應(yīng)用背景 歡迎各位訪問鏈接中原創(chuàng)博客Spark中行列轉(zhuǎn)換，即...
-
spark 數(shù)據(jù)傾斜總結(jié)一刷晋、數(shù)據(jù)傾斜概念 1.1生均、是指shuffle過程中，必須將各個(gè)節(jié)點(diǎn)上相同key拉取到某個(gè)節(jié)點(diǎn)上的一個(gè)task來進(jìn)行處理邦马，此時(shí)如果某個(gè)key對(duì)應(yīng)的數(shù)據(jù)特別大的話贱鼻，就會(huì)發(fā)生...
-
scala combineByKey用法說明
語法是: 標(biāo)記一下：（因?yàn)橛泻芏嗤瑯拥淖帜福奖阏f明我就按照字母+數(shù)字標(biāo)記一下） 語法說明：（不復(fù)制網(wǎng)上的滋将，我按照我的理解大白話說明） 1.combineByKey 中的by...
-
Hive文件存儲(chǔ)格式詳解0. 行式存儲(chǔ)和列式存儲(chǔ) Hive中常用的存儲(chǔ)格式有TEXTFILE 邻悬、SEQUENCEFILE、AVRO随闽、RCFILE父丰、ORCFILE、PARQUET等掘宪，其中TEXTFIL...
-
數(shù)倉(cāng)--Hive--面試題準(zhǔn)備
數(shù)倉(cāng)--Hive-面試之Hive與HBase的區(qū)別數(shù)倉(cāng)--Hive-面試之Hive架構(gòu)原理數(shù)倉(cāng)--Hive-面試之Hive的數(shù)據(jù)模型及各模塊的應(yīng)用場(chǎng)景數(shù)倉(cāng)--Hive-面試之...
