這段時間因為項目业栅，對parquet做了一系列研究，從寫入跟蹤到合并及spark使用等等場景吏奸。選擇parquet來對流數(shù)據(jù)進行序列化，用于后續(xù)離線分析的理由有以下幾點：1陶耍、流數(shù)...
發(fā)簡信
IP屬地：廣東
-
Java操作parquet -
純函數(shù)式狀態(tài)（2）
更為通用的狀態(tài)行為數(shù)據(jù)類型我們寫過的函數(shù)——unit奋蔚、map、map2烈钞、flatMap和sequence都不是專門為隨機數(shù)使用的泊碑。它們都是處理狀態(tài)行為的通用函數(shù)，不關心狀態(tài)類...
-
scala lazy引發(fā)的疑問
by 十三 背景：近日遇到個奇怪的問題：在沒有明顯循環(huán)或遞歸的代碼地方毯欣，日志中卻拋出了stackoverflow的錯誤馒过，由于代碼入口處是調(diào)用了configuration獲取y...
-
Scala中資源關閉的小技巧
by 壯衣 在處理數(shù)據(jù)庫連接或者輸入輸出流等場景時，我們經(jīng)常需要寫一些非常繁瑣又枯燥乏味的代碼來關閉數(shù)據(jù)庫連接或輸入輸出流酗钞。 例如數(shù)據(jù)庫操作： 例如文本操作： 從上面的兩個例...
個人介紹