1赡磅、spark-submit
[victor@node1 spark]$ bin/spark-submit \
> --class com.victor.spark.WordCount \
> --master spark://node1:7077 \ (--master local[*])//本地多線程執(zhí)行
> --executor-memory 1G \
> --total-executor-cores 2 \
> wordcount.jar \
> hdfs://node1:9000/RELEASE \
> hdfs://node1:9000/RWC_out
2、參數(shù)解析
(1)--class 指定jar包中的主類
(2)--master 指定集群的地址
(3)--deploy-mode 可選行剂,默認(rèn)是client模式丐巫,注意client模式和cluster模式的區(qū)別
(4)--conf 指定配置屬性
(5)指定jar包地址
(6)指定jar包的參數(shù)
3、提交的組件總結(jié)
1)Standalone模式
(1)Master:整個(gè)集群的管理器嫩海,負(fù)責(zé)分配資源,單獨(dú)的JVM進(jìn)程
(2)Worker:負(fù)責(zé)管理Executor囚痴,單獨(dú)的JVM進(jìn)程
(3)Driver:負(fù)責(zé)提交Jar包的客戶端叁怪,
(4)client模式:Driver運(yùn)行在提交端
(5)cluster模式:Driver運(yùn)行在某一個(gè)Executor中。
(6)Executor:具體執(zhí)行任務(wù)的容器深滚,單獨(dú)的JVM進(jìn)行奕谭。
2)Yarn模式
(1)ResourceManager
(2)NodeManager
(3)我不用啟動(dòng)Spark集群