測試如何使用spark-submit來執(zhí)行編寫的wordcount代碼靖秩。
1、先簡單編寫測試文本。
以空格分隔
2膜钓、將文本提交到hdfs上。
指令為：hadoop fs -put 本地路徑文件 hdfs文件路徑文件
ps：我的hdfs文件路徑為：/datas/wordcount
文件路徑
3卿嘲、編寫wordcount代碼
此代碼僅做簡單輸出
4颂斜、使用maven的package打包，生成jar包拾枣，根據(jù)日志找到j(luò)ar包路徑
package打包
jar包路徑
5焚鲜、將jar包上傳到linux指定目錄
jar包上傳的linux路徑
6、spark-submit提交指令
指令
此處要注意換行和傳入?yún)?shù)放前。最后一行的傳入?yún)?shù)為文件輸入路徑忿磅。參考代碼，為文章開頭文本的保存路徑凭语。
7葱她、輸出結(jié)果
頁面輸出
