發(fā)簡(jiǎn)信
IP屬地：北京
-
Dataset和RDD中的coalesce和repartition
Dataset coalesce不進(jìn)行shuffle移迫，分區(qū)從大變小幔烛，可以用來(lái)解決小文件問(wèn)題repartition進(jìn)行shuffle，增大分區(qū)數(shù)格带，...
-
rdd dataframe streaming cache persist的區(qū)別
RDD Dataset Streaming 共同點(diǎn)：cache底層調(diào)用persist不同點(diǎn)：RDD 默認(rèn)是 MEMORY_ONLYDataset...
-
Hive的一個(gè)面試題需求：求出每個(gè)User截止當(dāng)月總的流量 user date traffic熊貓tv 2018-01-02 ...
-
Spark 自定義UDAF
前言 需求：業(yè)務(wù)需求要求求出score的最大值(max)撤缴，最小值(min)，均值(mean)叽唱，標(biāo)準(zhǔn)差(stddev)屈呕，中位數(shù)。需求的前四個(gè)值Sp...