發(fā)簡信
IP屬地：天津
-
談?wù)凴DD截亦、DataFrame钱豁、Dataset的區(qū)別和各自的優(yōu)勢
https://www.cnblogs.com/starwater/p/6841807.html
-
寫parquet文件遇到的問題
df.write.format("parquet").mode(SaveMode.Overwrite).save(outputPath) 一、操...
-
java程序中監(jiān)控內(nèi)存解決OutOfMemoryError: GC overhead limit exceeded最近linux跑scala程序惭等，內(nèi)存占用較大時會出現(xiàn)gc錯誤奕纫。目前程序上沒有可以優(yōu)化的部分裸扶，可能是jvm參數(shù)設(shè)置不當(dāng)咱旱，明天試試下面的方法。在程序...
-
nohup和&結(jié)合在后臺運行進程
nohup和&nohup command & 在后臺運行conmmand,其中nohup運行command的話茫多，關(guān)閉shell仍然運行祈匙，但是c...
-
Failed to get broadcast_10_piece0 of broadcast_10
spark-submit yarn-client提交任務(wù)時，出現(xiàn)如下錯誤 原因：將sparkcontext定義在了object體內(nèi)天揖，而不是obj...
-
Spark算子flatMap一對多生成數(shù)據(jù)夺欲，map一對一生成數(shù)據(jù)
Spark的map算子只能一對一生成數(shù)據(jù)，要想一對多生成今膊，用flatMap些阅。
-
使用map要謹(jǐn)慎
scala非RDD的數(shù)據(jù)結(jié)構(gòu)使用map形成的鍵值對，如果存在相同鍵的鍵值對斑唬，將會覆蓋市埋，最終只保留一個。所以這種情況使用map生成鍵值對一定要謹(jǐn)慎...
-
spark中如何劃分stage（面試）
spark中如何劃分stage 窄依賴指父RDD的每一個分區(qū)最多被一個子RDD的分區(qū)所用恕刘，表現(xiàn)為 一個父RDD的分區(qū)對應(yīng)于一個子RDD的分區(qū)兩個...
-
IntelliJ IDEA在Local模式下Spark程序消除日志中INFO輸出
https://blog.csdn.net/dabokele/article/details/52599768