spark shell 僅在測試和驗證我們的程序時使用的較多姐霍，在生產(chǎn)環(huán)境中鄙麦，通常會在IDE中編制程序，然后打成jar包镊折，然后提交到集群胯府，最常用的是創(chuàng)建一個Maven項目，利用Maven來管理jar包的依賴
1恨胚、打開IDEA工具
2骂因、單擊Plugins
3、單擊Install plugin from disk
4赃泡、選擇scala的plugins
5侣签、Restart IntelliJ IDEA
6、創(chuàng)建一個項目
7急迂、選擇maven項目→ Next
8、填寫GroupId 和 ArtifactId → Next
9蹦肴、填寫項目名稱 → Finish
10僚碎、選擇Enable Auto-Import
11、為項目添加scala的framework
尖叫提示：創(chuàng)建的maven項目默認是不支持scala
12阴幌、選擇scala進行配置
13勺阐、配置Maven 的 pom.xml
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.victor</groupId>
<artifactId>spark</artifactId>
<version>1.0-SNAPSHOT</version>
<properties>
<log4j.version>1.2.17</log4j.version>
<slf4j.version>1.7.22</slf4j.version>
<camel.version>2.18.2</camel.version>
<spark.version>2.1.1</spark.version>
<scala.version>2.11.8</scala.version>
<hadoop.version>2.8.2</hadoop.version>
</properties>
<dependencies>
<dependency>
<groupId>org.scala-lang</groupId>
<artifactId>scala-library</artifactId>
<version>${scala.version}</version>
<!--聲明包作用域-->
<!-- <scope>provided</scope>-->
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>${spark.version}</version>
<!-- <scope>provided</scope> -->
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>${hadoop.version}</version>
<!-- <scope>provided</scope> -->
</dependency>
<!-- Logging -->
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>jcl-over-slf4j</artifactId>
<version>${slf4j.version}</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-api</artifactId>
<version>${slf4j.version}</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
<version>${slf4j.version}</version>
</dependency>
<dependency>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
<version>${log4j.version}</version>
</dependency>
<!-- Logging End -->
</dependencies>
<build>
<finalName>wordcount</finalName>
<plugins>
<!-- 添加對Scala語言的支持。使得其能夠同時編譯Java和Scala語言的文件 -->
<plugin>
<groupId>net.alchim31.maven</groupId>
<artifactId>scala-maven-plugin</artifactId>
<version>3.2.2</version>
<executions>
<execution>
<goals>
<goal>compile</goal>
<goal>testCompile</goal>
</goals>
</execution>
</executions>
</plugin>
<!-- 打包插件 -->
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-assembly-plugin</artifactId>
<version>3.0.0</version>
<configuration>
<archive>
<manifest>
<mainClass>com.victor.spark.WordCount</mainClass>
</manifest>
</archive>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
</configuration>
<executions>
<execution>
<id>make-assembly</id>
<phase>package</phase>
<goals>
<goal>single</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
</project>
14矛双、將src/main/scala設(shè)置成源代碼目錄
（1）New -> Directory
（2）scala -> ok
（3）Open Module Settings
（4）scala -> Sources
15渊抽、添加IDEA Scala
執(zhí)行此操作后，pom文件中不用添加scala依賴议忽，因為已經(jīng)以lib庫的方式加入
（1）File -> Project Structure
（2）Global Libraries -> + -> Scala SDK
（3）System Scala -> ok
（4）Global Libraries -> Scala -> Add to Modules ...
16懒闷、新建一個Scala的WordCount類
（1）New -> Scala Class
（2）WordCount -> Object -> ok
17、編寫程序
package com.victor.spark
import org.apache.spark.{SparkConf, SparkContext}
import org.slf4j.LoggerFactory
object WordCount {
val logger = LoggerFactory.getLogger(WordCount.getClass)
def main(args: Array[String]) {
//創(chuàng)建SparkConf()并設(shè)置App名稱栈幸， local或local[*],*表示多線程
//打成jar包愤估，放到集群上運行，
//".setMaster("local[*]")"注釋掉就可以了速址，最好不要寫死
val conf = new SparkConf().setAppName("WC").setMaster("local[*]")
//創(chuàng)建SparkContext玩焰，該對象是提交spark App的入口
val sc = new SparkContext(conf)
//使用sc創(chuàng)建RDD并執(zhí)行相應(yīng)的transformation和action
sc.textFile(args(0)).flatMap(_.split(" "))
.map((_,1)).reduceByKey(_+_, 1)
.sortBy(_._2, false).saveAsTextFile(args(1))
logger.info("complete!")
//停止sc，結(jié)束該任務(wù)
sc.stop()
}
}
18芍锚、使用Maven打包昔园，修改pom.xml
19蔓榄、打包
20、編譯成功的jar包默刚，上傳到服務(wù)器節(jié)點上
21甥郑、啟動集群
（1）啟動HDFS
[victor@node1 hadoop-2.8.2]$ sbin/start-dfs.sh
（2）啟動spark
[victor@node1 spark]$ sbin/start-all.sh
22、使用spark-submit命令提交Spark應(yīng)用
1）spark-submit
上傳hdfs 數(shù)據(jù)
[victor@node1 hadoop]$ bin/hdfs dfs -put README.txt /
spark submit 提交
[victor@node1 spark]$ bin/spark-submit \
> --class com.victor.spark.WordCount \
> --master spark://node1:7077 \ （--master local[*]）//本地多線程執(zhí)行
> --executor-memory 1G \
> --total-executor-cores 2 \
> wordcount.jar \
> hdfs://node1:9000/RELEASE \
> hdfs://node1:9000/RWC_out
尖叫提示：注意參數(shù)的順序
一個jar 就是一個Application
一個Action 操作就是一個job
每個job又分多個task組
每個task組就稱為stage
每個task又被分配到多個節(jié)點上
由Executor執(zhí)行
每個task只能執(zhí)行在一個節(jié)點的一個分區(qū)上
多個task并行計算一個RDD
2）參數(shù)解析
（1）--class 指定jar包中的主類
（2）--master 指定集群的地址
（3）--deploy-mode 可選羡棵，默認是client模式壹若，注意client模式和cluster模式的區(qū)別
（4）--conf 指定配置屬性
（5）指定jar包地址
（6）指定jar包的參數(shù)
3）提交的組件總結(jié)
Standalone模式
（1）Master：整個集群的管理器，負責分配資源皂冰，單獨的JVM進程
（2）Worker：負責管理Executor店展，單獨的JVM進程
（3）Driver：負責提交Jar包的客戶端，
（4）client模式：Driver運行在提交端
（5）cluster模式：Driver運行在某一個Executor中秃流。
（6）Executor：具體執(zhí)行任務(wù)的容器赂蕴，單獨的JVM進行。
cluster大部分應(yīng)用于企業(yè)開發(fā)舶胀，client應(yīng)用于Debug測試
Yarn模式
（1）ResourceManager
（2）NodeManager
（3）我不用啟動Spark集群
（4）client模式：Driver運行在提交端
（5）cluster模式：spark app master 在Executor 運行
23概说、查看程序執(zhí)行結(jié)果
[victor@node1 hadoop-2.8.2]$ bin/hadoop fs -cat /RWC_out/*
(-Psparkr,1)
(Spark,1)
(-Pyarn,1)
(Build,1)
(built,1)
(-DzincPort=3036,1)
(flags:,1)
(-Phive-thriftserver,1)
(-Pmesos,1)
(for,1)
(-Phive,1)
(2.7.3,1)
(-Phadoop-2.7,1)
(2.2.0,1)
(Hadoop,1)
尖叫提示：hdfs dfs -cat hdfs://node1:9000/RWC_out/p* 方式查看也可以
Job
Stage
