發(fā)簡信
IP屬地：四川
-
使用Spark讀取并分析二進(jìn)制文件
需求 客戶希望通過spark來分析二進(jìn)制文件中0和1的數(shù)量以及占比。如果要分析的是目錄损谦，則針對目錄下的每個文件單獨進(jìn)行分析陆馁。分析后的結(jié)果保存與被...
-
Spark中進(jìn)行聚合時的特殊場景
在對數(shù)據(jù)進(jìn)行統(tǒng)計分析時找颓，如果對指標(biāo)進(jìn)行聚合運算，而待查詢的字段中還包含了維度叮贩，則原則上我們還需要按照維度字段進(jìn)行分組击狮。倘若這個聚合運算為sum函...
-
代碼診所續(xù)幾年前，我有機會負(fù)責(zé)一個項目的咨詢益老。團(tuán)隊很小彪蓬，目標(biāo)是對舊有系統(tǒng)的后端用Java改寫，而團(tuán)隊的開發(fā)人員全為C程序員捺萌。我的工作職責(zé)是負(fù)責(zé)項目設(shè)計档冬、開...
-
代碼診所幾年前，我有機會負(fù)責(zé)一個項目的咨詢桃纯。團(tuán)隊很小酷誓，目標(biāo)是對舊有系統(tǒng)的后端用Java改寫，而團(tuán)隊的開發(fā)人員全為C程序員态坦。我的工作職責(zé)是負(fù)責(zé)項目設(shè)計盐数、開...
-
繼續(xù)探索with語句
在上一篇博客《漂亮的with，魚與熊掌可以兼得》中伞梯，展現(xiàn)了with的優(yōu)雅之處娘扩，然而在比較with與|>時，言猶未盡壮锻，講得不夠透徹。 在那篇博客中...
-
推行TDD的思考
我在參與的開發(fā)項目以及咨詢項目中涮阔，都有實踐TDD的經(jīng)驗猜绣。直至今日，我仍然會在某些功能開發(fā)時采用TDD的方式實現(xiàn)功能敬特。雖然沒有達(dá)到將TDD溶于開發(fā)...
-
漂亮的with掰邢，魚與熊掌可以兼得
假設(shè)要加載磁盤上的一個文件牺陶，并以二進(jìn)制形式讀取文件的數(shù)據(jù)。若要從健壯性的角度考慮辣之，需得考慮兩種異常情況： 加載文件失敗掰伸，例如給定的文件路徑并不存...
-
一次設(shè)計演進(jìn)之旅需求背景： 我們需要實現(xiàn)對存儲在HDFS中的Parquet文件執(zhí)行數(shù)據(jù)查詢，并通過REST API暴露給前端以供調(diào)用怀估。由于查詢的結(jié)果可能數(shù)量較大...
-
Scala中的map與collect
在Scala中狮鸭，當(dāng)我需要對集合的元素進(jìn)行轉(zhuǎn)換時，自然而然會使用到map方法多搀。而當(dāng)我們在對tuple類型的集合或者針對Map進(jìn)行map操作時歧蕉，通常...