1.首先創(chuàng)造數(shù)據(jù)，數(shù)據(jù)有4列分別是店鋪id腻格、訂單id妇菱、訂單金額己单、訂單日期侦啸。 數(shù)據(jù)如下： 2.計(jì)算月銷售額占比通過(guò)窗口函數(shù)實(shí)現(xiàn)碑宴，首先聚合月銷售額梗肝，之后再根據(jù)月銷售額集合為年銷售...
發(fā)簡(jiǎn)信
IP屬地：重慶
-
spark sql實(shí)現(xiàn)月銷售額占比以及月環(huán)比和月同比(大廠數(shù)倉(cāng)sql面試題)
-
敗者樹(shù)-包學(xué)包會(huì)先說(shuō)個(gè)常見(jiàn)的面試題颁糟，對(duì)非常多的數(shù)據(jù)進(jìn)行排序航背，例如對(duì)5億個(gè)數(shù)進(jìn)行排序，但是內(nèi)存中只能容納5千萬(wàn)的數(shù)據(jù)棱貌，這時(shí)候就要用到外部排序玖媚，多路歸并排序。這里不做詳細(xì)介紹婚脱，只說(shuō)下大概的流程：...
-
-
spark sql 連續(xù)登錄最大天數(shù)
數(shù)據(jù)： 注意：| 3|2020-09-04|| 3|2020-09-04|這里是有重復(fù)的今魔，所以第一步是去重復(fù)： 第二步：同一個(gè)user_id的登錄時(shí)間進(jìn)行...
-
spark maybeSpill
在shuffle過(guò)程中會(huì)進(jìn)行多次的溢出到磁盤(pán)的操作，那么條件是什么呢障贸？這個(gè)方法maybeSpill就是判斷是否進(jìn)行溢出操作的错森。1.不是每加載一個(gè)數(shù)據(jù)進(jìn)行一次判斷的，而是每隔3...
-
java面試題-多線程數(shù)組求和(CountDownLatch實(shí)現(xiàn)）
CountDownLatch是一個(gè)線程等待其他的所有線程執(zhí)行完成篮洁。先對(duì)數(shù)組進(jìn)行分段涩维，每段求和，主線程等待所有線程計(jì)算完成之后袁波，在執(zhí)行整體求和瓦阐。
-
java面試題-多線程數(shù)組求和(CyclicBarrier實(shí)現(xiàn)）
CyclicBarrier的作用是攔截多個(gè)線程，當(dāng)所有線程到達(dá)指定位置時(shí)篷牌，在開(kāi)始往下面執(zhí)行睡蟋，否則線程等待。兩種構(gòu)造函數(shù)： 其中parties是線程個(gè)數(shù)枷颊，barrierActi...
-
spark 默認(rèn)分區(qū)的問(wèn)題(spark.default.parallelism)
（先區(qū)分一個(gè)概念戳杀，rdd的分區(qū)數(shù)和rdd的分區(qū)器（partitioner）的分區(qū)數(shù)不是一個(gè)）reduceByKey groupByKey join等叫倍，如果沒(méi)有明確的標(biāo)記出來(lái)分...
-
PageRank算法原理剖析及Spark實(shí)現(xiàn)PageRank算法原理剖析及Spark實(shí)現(xiàn) 姓名：余玥 學(xué)號(hào)：16010188033 轉(zhuǎn)載自http://blog.csdn.ne...
-
spark streaming java簡(jiǎn)單demo
java寫(xiě)的程序，所以程序中使用的都是java的類和api豺瘤，例如JavaStreamingContext，JavaReceiverInputDStream听诸，JavaDStre...
-
spark graphx最短路徑-java版本網(wǎng)上graphx實(shí)現(xiàn)最短路徑的代碼比較多坐求，但是都是scala版本，java版本的實(shí)現(xiàn)很少晌梨。1.創(chuàng)建圖數(shù)據(jù)使用的方法是Graph.apply()桥嗤，下面看一下scala的該方法的...
-
spark sortShuffleExternalSorter：1.可以對(duì)數(shù)據(jù)進(jìn)行聚合。2.使用分區(qū)計(jì)數(shù)器首先將key分組到各個(gè)分區(qū)中仔蝌，然后使用自定義的比較器對(duì)每個(gè)分區(qū)中的key進(jìn)行可選的排序泛领；3.將每個(gè)分區(qū)...
-
簡(jiǎn)單-5
1260. 二維網(wǎng)格遷移 1266. 訪問(wèn)所有點(diǎn)的最小時(shí)間 1287. 有序數(shù)組中出現(xiàn)次數(shù)超過(guò)25%的元素 1290. 二進(jìn)制鏈表轉(zhuǎn)整數(shù) 1295. 統(tǒng)計(jì)位數(shù)為偶數(shù)的數(shù)字 1...
-
簡(jiǎn)單-4
844. 比較含退格的字符串 849. 到最近的人的最大距離 860. 檸檬水找零 868. 二進(jìn)制間距 872. 葉子相似的樹(shù) 876. 鏈表的中間結(jié)點(diǎn) 896. 單調(diào)數(shù)列...