之前在Windows上裝杀餐,不順利。這幾天跟同時聊天朱巨,知道Mac上很簡單史翘。于是就試試看。(同時知道了Windows terminal比Mac terminal 慢得多不是我的錯覺)結(jié)果真是超傻瓜冀续,趕快記錄下這個瞬間琼讽。
首先是下載下載傳送門
官方簡介簡介傳送門
安裝流程:
1. 點擊下載傳送門,在“Download Spark”的三個下拉框里選擇洪唐。(我分別選的當時最新的1.3.1钻蹬,Pre-build for 2.6, Direct Download)
2. 點擊“4. Download Spark: xxxxx” 的鏈接就可以下載了(大概247MB)。
3. 解壓下載好的tgz文件凭需,并將這個文件夾(spark-1.3.1-bin-hadoop2.6)放到你想存放的地方(比如“/Users/username/IDE/spark-1.3.1-bin-hadoop2.6”)问欠。
4. 然后這就算裝好了,你敢信粒蜈!
不信咱就跑跑看溅潜。
1. [啟動主機]點開官方簡介傳送門,聚焦標題“Starting a Cluster Manually”薪伏。 你可以看到主機啟動命令滚澜,復(fù)制它:
./sbin/start-master.sh
2. 回到Finder,右鍵點擊剛才解壓并移動過的文件夾嫁怀,點擊最下面的“New Tab Terminal at Folder”. 在命令框里黏貼上面那條命令设捐。回車塘淑。出來2萝招,3行路徑。這時候主機已經(jīng)開始運行了存捺。
3. 打開瀏覽器槐沼。 輸入下面的默認端口就能看見主機運行情況了。
http://localhost:8080?(懶惰的你也可以直接點擊它)
4. [加子嗣]現(xiàn)在的主機是個光桿司令捌治,要給他派兵啊岗钩。
在官方簡介“Starting a Cluster Manually”下復(fù)制命令
./bin/spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT
回到terminal命令行,點擊右上角的“+”號肖油。打開一個擁有同樣路徑的新界面兼吓。黏貼復(fù)制的命令,按后退鍵刪除掉 spark://IP:PORT (別急著回車森枪!我們要貼上自己的主機地址视搏。)
回到瀏覽器的“http://localhost:8080/”頁面
復(fù)制第二行黑體字URL:后面的部分审孽,“spark://xxxx:xxxx”也就是你的主機地址。前四個x是一串字符浑娜,冒號后的四個x是四個數(shù)字佑力。(這里我們是在同一個電腦上創(chuàng)建主機和子嗣。如果你是把別的電腦當作子嗣加入主機筋遭,那么要求主機和子嗣是在同一個網(wǎng)絡(luò)中打颤。同樣,需要在spark文件夾路徑下打開terminal輸入相應(yīng)的命令)
URL:spark://xxxx:xxxx
5. 這樣整條命令就變成“./bin/spark-class org.apache.spark.deploy.worker.Worker spark://xxxx:xxxx” 安心的拍下回車吧宛畦!
6. 刷刷幾頁信息跳過后瘸洛,這個窗口就像死了機一樣了。別擔心次和,這是因為這個命令端已經(jīng)作為子嗣為你剛建立的主機開始賣命了反肋。不信的話你刷新一下主機信息網(wǎng)頁。
在“Workers”列表下赫然出現(xiàn)了你的第一個子嗣踏施。其狀態(tài)State為ALIVE石蔗。表示它正在運作。這時候你需要記住畅形,當前Terminal的窗口對應(yīng)就是那個剛加入的Worker Id养距。
7. [刪除子嗣]工作干完了,把小崽子們放出去玩吧日熬。只需要在那個看似死機了teminal里按下“Ctrl + C”就行了棍厌。
這時候命令行回復(fù)工作,而主機信息網(wǎng)頁刷新后會將對應(yīng)子嗣的state改成DEAD竖席。說明和子嗣的聯(lián)系切斷了耘纱。此信息回保留一段時間,然后會被完全刪除毕荐。
8. [關(guān)閉主機]
和啟動主機一樣束析,在主文件夾路徑下輸入相應(yīng)命令即可。
./sbin/stop-master.sh
這時http://localhost:8080/ 刷新后就是空網(wǎng)頁了憎亚。
如果你有沒有關(guān)閉的子嗣员寇。在其terminal窗口中會顯示其試圖重連主機的信息。如果你再次打開主機(而且port號沒變的話)第美,沒關(guān)的子嗣會重新連上去蝶锋。
==============================
小結(jié) Sum up:
0.知道怎么在Mac上裝Spark。(就是解壓縮嘛U铡)
1.知道怎么建立和關(guān)閉主機牲览。(一個命令)
2.知道怎么建立子嗣連上主機。(查好主機URL然后一個命令)
3.知道怎么關(guān)閉子嗣恶守。(在相應(yīng)terminal中拍“Ctrl+C”)