注意:請確認您已經完成了必選的準備工作矾踱。
通過本教程恨狈,用戶能夠基本了解E-MapReduce中集群、作業(yè)和執(zhí)行計劃的作用和使用方法呛讲。能夠創(chuàng)建一個Spark Pi的作業(yè)在集群上運行成功禾怠,并最后在控制臺頁面上看到圓周率Pi的近似計算結果。
1.創(chuàng)建集群
在控制臺左側選擇集群贝搁,并點擊右上創(chuàng)建集群
軟件配置
選擇最新的EMR產品版本吗氏,比如EMR-3.4.1
使用默認軟件配置
硬件配置
選擇按量付費
若沒有安全組,打開新建雷逆,并填寫安全組名稱
選擇 Master 4核8G
選擇 Core 4核8G弦讽, 兩臺
其他保持默認
基礎配置
填寫集群名稱
選擇日志路徑保存作業(yè)日志,務必開啟膀哲。在集群對應的地域坦袍,創(chuàng)建OSS的Bucket
填寫密碼
創(chuàng)建集群
2.創(chuàng)建作業(yè)
在控制臺左側選擇作業(yè),并點擊右上創(chuàng)建作業(yè)
填寫作業(yè)名稱
選擇Spark類型
參數(shù)填寫等太,使用如下
--class org.apache.spark.examples.SparkPi --master yarn-client --driver-memory512m --num-executors1--executor-memory1g --executor-cores2/usr/lib/spark-current/examples/jars/spark-examples_2.11-2.1.1.jar10
注意:捂齐,這個/usr/lib/spark-current/examples/jars/spark-examples_2.11-2.1.1.jar,需要根據(jù)實際集群中的 Spark 版本來修改這個jar包,比如 Spark 是2.1.1的, 那么就是spark-examples_2.11-2.1.1.jar,如果是2.2.0的缩抡,那么就是spark-examples_2.11-2.2.0.jar
其他保持默認奠宜,創(chuàng)建作業(yè)
3.創(chuàng)建執(zhí)行計劃
確認之前創(chuàng)建的集群已經創(chuàng)建成功以后,在列表上的狀態(tài)顯示為空閑
在控制臺左側選擇執(zhí)行計劃瞻想,并點擊右上創(chuàng)建執(zhí)行計劃
創(chuàng)建時選擇已有集群压真,并選擇之前創(chuàng)建集群進行關聯(lián)
將之前創(chuàng)建的作業(yè),加入到運行隊列中
填寫執(zhí)行計劃名稱
默認手動執(zhí)行
創(chuàng)建執(zhí)行計劃
運行執(zhí)行計劃
在執(zhí)行計劃列表頁面蘑险,點擊立即運行
查看作業(yè)日志并確認結果
點擊管理滴肿,進入管理頁面,在下方查看運行記錄
點擊運行記錄的右側佃迄,查看作業(yè)列表
點擊stdout能夠查看到Pi的近似計算結果:3.14xxxx