21篇文章 · 7507字 · 3人關(guān)注
-
黑猴子的家：IDEA 配置 之 總結(jié)
1衅澈、Maven父子項目的使用 在簡述maven 中會有詳細描述 2拂蝎、spark程序的編寫 1）新建一個maven項目乞榨，并將該項目配置成scala...
-
黑猴子的家：Spark 部署 之 總結(jié)
1藕赞、Standalone部署模式 1）節(jié)點（1）Master：主節(jié)點（2）Worker：任務(wù)節(jié)點 2）步驟（1）下載Spark的安裝包缝左，注意選擇...
-
黑猴子的家：刪除 Maven 下載失敗的jar包1亿遂、刪除 *.lastUpdated 2浓若、Reimport
-
黑猴子的家：創(chuàng)建 Maven 父子項目1、IDEA創(chuàng)建一個maven項目 2蛇数、刪除src 3挪钓、修改pom.xml 4、創(chuàng)建 new module 5耳舅、Maven -> Next 6碌上、...
-
黑猴子的家：WordCount 程序 -> IDEA 打包 -> 集群運行
1、spark-submit 2浦徊、參數(shù)解析 （1）--class 指定jar包中的主類（2）--master 指定集群的地址（3）--deplo...
-
黑猴子的家：Spark 之 簡述 Maven1馏予、pom.xml配置 尖叫提示：刪除maven下載失敗的包 ，在……\m2\repository目錄下盔性，搜索*.lastUpdated霞丧，并刪除...
-
黑猴子的家：本地集群模式的運行（Debug）
在IDEA中遠程調(diào)試WordCount程序 通過IDEA進行遠程調(diào)試，主要是將IDEA作為Driver來提交應(yīng)用程序纯出，修改SparkConf蚯妇，添...
-
黑猴子的家：Spark 在 IDEA 中本地調(diào)試 WordCount 程序本地Spark程序調(diào)試需要使用local提交模式，即將本機當(dāng)做運行環(huán)境暂筝，Master和Worker都為本機，運行時直接加斷點調(diào)試即可硬贯。 1焕襟、斷點...
-
黑猴子的家：Spark 在 IDEA 中編寫 WordCount 程序spark shell 僅在測試和驗證我們的程序時使用的較多，在生產(chǎn)環(huán)境中饭豹，通常會在IDE中編制程序鸵赖，然后打成jar包，然后提交到集群拄衰，最常用的...
