發(fā)簡(jiǎn)信
IP屬地：福建
-
《超越感覺(jué)》讀后感
超越感覺(jué)，是一本經(jīng)典著作尉尾。從1975年出版介蛉，長(zhǎng)達(dá)幾十年的時(shí)間一直再版萌庆，截止到2017年末已經(jīng)到了第九版第2次出版。 這本書(shū)的副標(biāo)...
-
spark之shuffle原理及性能優(yōu)化1.spark的shuffleManager是負(fù)責(zé)shuffle過(guò)程的執(zhí)行币旧、計(jì)算和處理的組件践险。shuffleManager是trait，主要實(shí)現(xiàn)...
-
在碼云上新建git庫(kù)并提交idea的項(xiàng)目代碼
1.登錄碼云：https://git.oschina.net/ 并新建git庫(kù)吹菱，并復(fù)制git庫(kù)地址巍虫，如：https://git.oschina....
-
spark的Driver獲得資源的過(guò)程（standalone模式）
1. 在SparkContext實(shí)例化的時(shí)候調(diào)用createTaskScheduler來(lái)創(chuàng)建TaskSchedulerImpl和SparkDep...
-
spark概念理解
1. Application：Spark 的應(yīng)用程序，用戶提交后鳍刷，Spark為App分配資源占遥，將程序轉(zhuǎn)換并執(zhí)行，其中Application包含一...
-
spark比hadoop快的原因
Spark SQL比Hadoop Hive快输瓜，是有一定條件的瓦胎，而且不是Spark SQL的引擎比Hive的引擎快，相反尤揣，Hive的HQL引擎還比...