1.啟動hadoop與spark治拿。
2.獨立集群管理器
（1）spark-submit(jar)
向獨立集群管理器提交應(yīng)用墨状，需要把spark：//master:7077作為主節(jié)點參數(shù)遞給spark-submit迅脐。下面我們可以運(yùn)行Spark安裝好以后自帶的樣例程序SparkPi，它的功能是計算得到pi的值（3.1415926）。
在Shell中輸入如下命令：
bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 examples/jars/spark-examples_2.11-2.0.2.jar 100 2>&1 | grep "Pi is roughly"
python同樣可以操作匹层。
Paste_Image.png
(2) spark-shell
也可以用spark-shell連接到獨立集群管理器上魂那。用hdfs上的電影集文件做測試蛾号。
在Shell中輸入如下命令啟動進(jìn)入spark-shell：
cd /usr/local/spark/
bin/spark-shell --master spark://master:7077
可以在spark-shell中輸入如下代碼進(jìn)行測試：
Paste_Image.png
3.hadoop yarn
(1) spark-submit(jar)
向Hadoop YARN集群管理器提交應(yīng)用，需要把yarn-cluster作為主節(jié)點參數(shù)遞給spark-submit涯雅。
請登錄Linux系統(tǒng)鲜结，打開一個終端，在Shell中輸入如下命令：
bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster examples/jars/spark-examples_2.11-2.0.2.jar
Paste_Image.png
Paste_Image.png
（2）spark-shell
bin/spark-shell --master yarn
scala代碼同上活逆。
