簡介 Spark是基于內(nèi)存計算的開源分布式大數(shù)據(jù)計算框架潮剪。為了更好卖丸、更快地開發(fā)Spark應(yīng)用程序，開發(fā)者不僅要掌握Spark的理論基礎(chǔ)和實現(xiàn)原理单刁，更需要掌握Spark應(yīng)用程序...
發(fā)簡信
IP屬地：廣東
-
Spark應(yīng)用程序調(diào)試方法詳解 -
Spark DataFrame中rollup和cube使用
我們平時在做報表的時候，經(jīng)常會有各種分維度的匯總計算非驮，在spark中我們最常用的就是groupBy操作壕鹉，groupBy就是按照給定的字段名分組，后面接sum琴许、count税肪、av...
-
Scala 學(xué)習(xí)筆記
Scala 學(xué)習(xí)筆記 1.函數(shù)式編程 函數(shù)式編程：函數(shù)式編程把函數(shù)當(dāng)作一等公民，充分利用函數(shù)榜田，支持函數(shù)的多種使用方式益兄。在scala中，函數(shù)可以像變量一樣箭券，既可以作為函數(shù)的參數(shù)...
-
Spark Repartition 使用
看到一些同學(xué)的Spark代碼中包含了很多repartition的操作净捅，有一些不是很合理，非但沒有增加處理的效率辩块，反而降低了性能蛔六。這里做一個介紹。 repartition 從字...
-
理解Spark中Job-Stage-Task之間的關(guān)系Spark-Job-Stage-Task之間的關(guān)系 基本概念 在開始之前需要先了解Spark中Application废亭，Job古今，Stage等基本概念，官方給出的解釋如下表： J...
-
Fake data的使用和產(chǎn)生 - Python篇
什么是Fake data Fake data顧名思義假數(shù)據(jù)滔以，是在真實產(chǎn)品數(shù)據(jù)無法使用的情況下捉腥，產(chǎn)生地接近于產(chǎn)品環(huán)境的數(shù)據(jù)，多用于開發(fā)和測試你画。 Fake data的使用場景 有...
-
vscode snippets配置python頭部注釋首先點擊右下角的管理（齒輪形狀的）抵碟，選擇其中的用戶代碼片段 選擇現(xiàn)有的python代碼片段python.json 然后添加以下內(nèi)容 使用方法：在代碼的頭部輸入header按回...
