發(fā)簡(jiǎn)信
IP屬地：廣東
-
Spark中Executor內(nèi)存中管理機(jī)制分為兩種1.靜態(tài)內(nèi)存管理2.統(tǒng)一內(nèi)存管理一.靜態(tài)內(nèi)存管理 首先定義內(nèi)存的大小為3G（--executor-memory 3G）定義完成后皆辽，靜態(tài)的...
-
Spark shuffle中 reduce task是怎么拉取數(shù)據(jù)的倘零？1.map task 執(zhí)行完畢后會(huì)將計(jì)算狀態(tài)以及磁盤(pán)小文件位置等信息分裝到mapStatue對(duì)象中，然后由本進(jìn)程中的MapOutPutTrack...
-
Spark shuffle一.reduceByKey的含義reduceByKey會(huì)將上一個(gè)RDD中的每一個(gè)key對(duì)應(yīng)的所有value聚合成一個(gè)value耸彪，然后生成一個(gè)新的...
-
會(huì)發(fā)生shuule的算子
reduceByKeycountByKeyjoingroupByKeycogroup他們的共同特點(diǎn)都是一些聚合類的算子
-
Spark中sortByKey是如何進(jìn)行全局排序的首先有一個(gè)問(wèn)題有一臺(tái)服務(wù)器:24core 128G內(nèi)存哀墓，要處理一個(gè)1T的數(shù)據(jù)怎么辦斥铺？ 要采用拆分策略餐蔬，將1T的數(shù)據(jù)拆分成128G大小的塊進(jìn)入服務(wù)...
-
統(tǒng)計(jì)一下每一個(gè)月份中，溫度最高top2
思路首先按照月份來(lái)分組恕稠，對(duì)組內(nèi)的數(shù)據(jù)按照溫度來(lái)排序取溫度最高的前兩名琅绅，然后分組取RDD代碼 關(guān)于serialVersionUIDserialVe...
-
根據(jù)溫度排序，溫度相同按照濕度排序
原始數(shù)據(jù) 思路：1.將數(shù)據(jù)讀取到RDD1中2.將RDD1中的數(shù)據(jù)轉(zhuǎn)換成K-V格式的RDD23.對(duì)RDD2使用sortByKey排序代碼 其中So...
-
map 和 mapPartitions
map:遍歷算子鹅巍，可以遍歷RDD中每一個(gè)元素千扶，遍歷的單位是每條記錄 mapPartitions遍歷算子，可以改變RDD格式骆捧，會(huì)提高RDD并行度澎羞，...
-
reduceByKey和countByKey區(qū)別
相同點(diǎn)： 兩者都會(huì)根據(jù)key來(lái)分組 不同點(diǎn)：reduceByKey會(huì)根據(jù)用戶傳入的聚合邏輯對(duì)數(shù)組內(nèi)的數(shù)據(jù)進(jìn)行聚合，countByKey不需要用戶...