發(fā)簡信
IP屬地：北京
-
Dataset和RDD中的coalesce和repartition
Dataset coalesce不進行shuffle饶囚，分區(qū)從大變小族铆，可以用來解決小文件問題repartition進行shuffle此蜈，增大分區(qū)數(shù)枷畏，...
-
rdd dataframe streaming cache persist的區(qū)別
RDD Dataset Streaming 共同點：cache底層調(diào)用persist不同點：RDD 默認是 MEMORY_ONLYDataset...
-
Hive的一個面試題需求：求出每個User截止當月總的流量 user date traffic熊貓tv 2018-01-02 ...
-
Spark 自定義UDAF
前言 需求：業(yè)務(wù)需求要求求出score的最大值(max)衅枫，最小值(min)，均值(mean)，標準差(stddev)致开，中位數(shù)。需求的前四個值Sp...