12篇文章 · 8675字 · 6人關(guān)注
-
Spark從關(guān)系數(shù)據(jù)庫加載數(shù)據(jù)
整體思路是通過partition并行鏈接關(guān)系數(shù)據(jù)庫显歧。 實現(xiàn)： 1. 加載驅(qū)動程序 正確配置： 如果需要在NoteBook中執(zhí)行任務(wù)死相，需要在啟動前...
-
Spark統(tǒng)一內(nèi)存管理
spark從1.6.0開始內(nèi)存管理發(fā)生了變化，原來的內(nèi)存管理由StaticMemoryManager實現(xiàn)脏榆，現(xiàn)在被稱為Legacy,在1.5.x和...
-
RDD覆劈、DataFrame和DataSet的區(qū)別
spark 2.X開始，三者的關(guān)系發(fā)生了變化吃度，可以參考《且談Apache Spark的API三劍客：RDD甩挫、DataFrame和Dataset》...
-
大數(shù)據(jù)學(xué)習(xí)資源整理
github地址 后面繼續(xù)更新在github utils4sscala語法學(xué)習(xí)common庫BigData庫SparkSpark coreSpa...
-
深入理解groupByKey、reduceByKey
測試源碼 下面來看看groupByKey和reduceByKey的區(qū)別： 雖然兩個函數(shù)都能得出正確的結(jié)果椿每， 但reduceByKey函數(shù)更適合使...
-
DataFrame和Parquet
Apache Parquet作為文件格式最近獲得了顯著關(guān)注伊者，假設(shè)你有一個100列的表，大部分時間你只需要訪問3-10列间护，行存儲亦渗，不管你需要不需要...
-
Spark Streaming使用Kafka保證數(shù)據(jù)零丟失
源文件放在github，隨著理解的深入汁尺，不斷更新法精，如有謬誤之處，歡迎指正均函。原文鏈接https://github.com/jacksu/utils...
-
Spark Shuffle之Tungsten Sort Shuffle
源文件放在github亿虽，隨著理解的深入，不斷更新苞也，如有謬誤之處洛勉，歡迎指正。原文鏈接https://github.com/jacksu/utils...
-
Spark Shuffle之Sort Shuffle
源文件放在github如迟，隨著理解的深入收毫，不斷更新攻走，如有謬誤之處，歡迎指正此再。原文鏈接https://github.com/jacksu/utils...
