單機版Spark在Mac上簡裝筆記[0]

之前在Windows上裝杀餐,不順利。這幾天跟同時聊天朱巨,知道Mac上很簡單史翘。于是就試試看。(同時知道了Windows terminal比Mac terminal 慢得多不是我的錯覺)結(jié)果真是超傻瓜冀续,趕快記錄下這個瞬間琼讽。

首先是下載下載傳送門

官方簡介簡介傳送門

安裝流程:

1. 點擊下載傳送門,在“Download Spark”的三個下拉框里選擇洪唐。(我分別選的當時最新的1.3.1钻蹬,Pre-build for 2.6, Direct Download)

2. 點擊“4. Download Spark: xxxxx” 的鏈接就可以下載了(大概247MB)。

3. 解壓下載好的tgz文件凭需,并將這個文件夾(spark-1.3.1-bin-hadoop2.6)放到你想存放的地方(比如“/Users/username/IDE/spark-1.3.1-bin-hadoop2.6”)问欠。

4. 然后這就算裝好了,你敢信粒蜈!


不信咱就跑跑看溅潜。

1. [啟動主機]點開官方簡介傳送門,聚焦標題“Starting a Cluster Manually”薪伏。 你可以看到主機啟動命令滚澜,復(fù)制它:

./sbin/start-master.sh

2. 回到Finder,右鍵點擊剛才解壓并移動過的文件夾嫁怀,點擊最下面的“New Tab Terminal at Folder”. 在命令框里黏貼上面那條命令设捐。回車塘淑。出來2萝招,3行路徑。這時候主機已經(jīng)開始運行了存捺。

3. 打開瀏覽器槐沼。 輸入下面的默認端口就能看見主機運行情況了。

http://localhost:8080?(懶惰的你也可以直接點擊它)

4. [加子嗣]現(xiàn)在的主機是個光桿司令捌治,要給他派兵啊岗钩。

在官方簡介“Starting a Cluster Manually”下復(fù)制命令

./bin/spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT

回到terminal命令行,點擊右上角的“+”號肖油。打開一個擁有同樣路徑的新界面兼吓。黏貼復(fù)制的命令,按后退鍵刪除掉 spark://IP:PORT (別急著回車森枪!我們要貼上自己的主機地址视搏。)

回到瀏覽器的“http://localhost:8080/”頁面

復(fù)制第二行黑體字URL:后面的部分审孽,“spark://xxxx:xxxx”也就是你的主機地址。前四個x是一串字符浑娜,冒號后的四個x是四個數(shù)字佑力。(這里我們是在同一個電腦上創(chuàng)建主機和子嗣。如果你是把別的電腦當作子嗣加入主機筋遭,那么要求主機和子嗣是在同一個網(wǎng)絡(luò)中打颤。同樣,需要在spark文件夾路徑下打開terminal輸入相應(yīng)的命令)

URL:spark://xxxx:xxxx

5. 這樣整條命令就變成“./bin/spark-class org.apache.spark.deploy.worker.Worker spark://xxxx:xxxx” 安心的拍下回車吧宛畦!

6. 刷刷幾頁信息跳過后瘸洛,這個窗口就像死了機一樣了。別擔心次和,這是因為這個命令端已經(jīng)作為子嗣為你剛建立的主機開始賣命了反肋。不信的話你刷新一下主機信息網(wǎng)頁。

http://localhost:8080

在“Workers”列表下赫然出現(xiàn)了你的第一個子嗣踏施。其狀態(tài)State為ALIVE石蔗。表示它正在運作。這時候你需要記住畅形,當前Terminal的窗口對應(yīng)就是那個剛加入的Worker Id养距。

7. [刪除子嗣]工作干完了,把小崽子們放出去玩吧日熬。只需要在那個看似死機了teminal里按下“Ctrl + C”就行了棍厌。

這時候命令行回復(fù)工作,而主機信息網(wǎng)頁刷新后會將對應(yīng)子嗣的state改成DEAD竖席。說明和子嗣的聯(lián)系切斷了耘纱。此信息回保留一段時間,然后會被完全刪除毕荐。

8. [關(guān)閉主機]

和啟動主機一樣束析,在主文件夾路徑下輸入相應(yīng)命令即可。

./sbin/stop-master.sh

這時http://localhost:8080/ 刷新后就是空網(wǎng)頁了憎亚。

如果你有沒有關(guān)閉的子嗣员寇。在其terminal窗口中會顯示其試圖重連主機的信息。如果你再次打開主機(而且port號沒變的話)第美,沒關(guān)的子嗣會重新連上去蝶锋。

==============================

小結(jié) Sum up:

0.知道怎么在Mac上裝Spark。(就是解壓縮嘛U铡)

1.知道怎么建立和關(guān)閉主機牲览。(一個命令)

2.知道怎么建立子嗣連上主機。(查好主機URL然后一個命令)

3.知道怎么關(guān)閉子嗣恶守。(在相應(yīng)terminal中拍“Ctrl+C”)

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末第献,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子兔港,更是在濱河造成了極大的恐慌庸毫,老刑警劉巖,帶你破解...
    沈念sama閱讀 218,682評論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件衫樊,死亡現(xiàn)場離奇詭異飒赃,居然都是意外死亡,警方通過查閱死者的電腦和手機科侈,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,277評論 3 395
  • 文/潘曉璐 我一進店門载佳,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人臀栈,你說我怎么就攤上這事蔫慧。” “怎么了权薯?”我有些...
    開封第一講書人閱讀 165,083評論 0 355
  • 文/不壞的土叔 我叫張陵姑躲,是天一觀的道長。 經(jīng)常有香客問我盟蚣,道長黍析,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,763評論 1 295
  • 正文 為了忘掉前任屎开,我火速辦了婚禮阐枣,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘奄抽。我一直安慰自己蔼两,他們只是感情好,可當我...
    茶點故事閱讀 67,785評論 6 392
  • 文/花漫 我一把揭開白布宪哩。 她就那樣靜靜地躺著,像睡著了一般第晰。 火紅的嫁衣襯著肌膚如雪锁孟。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,624評論 1 305
  • 那天茁瘦,我揣著相機與錄音品抽,去河邊找鬼。 笑死甜熔,一個胖子當著我的面吹牛圆恤,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播腔稀,決...
    沈念sama閱讀 40,358評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼盆昙,長吁一口氣:“原來是場噩夢啊……” “哼羽历!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起淡喜,我...
    開封第一講書人閱讀 39,261評論 0 276
  • 序言:老撾萬榮一對情侶失蹤秕磷,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后炼团,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體澎嚣,經(jīng)...
    沈念sama閱讀 45,722評論 1 315
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,900評論 3 336
  • 正文 我和宋清朗相戀三年瘟芝,在試婚紗的時候發(fā)現(xiàn)自己被綠了易桃。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,030評論 1 350
  • 序言:一個原本活蹦亂跳的男人離奇死亡锌俱,死狀恐怖晤郑,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情嚼鹉,我是刑警寧澤贩汉,帶...
    沈念sama閱讀 35,737評論 5 346
  • 正文 年R本政府宣布,位于F島的核電站锚赤,受9級特大地震影響匹舞,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜线脚,卻給世界環(huán)境...
    茶點故事閱讀 41,360評論 3 330
  • 文/蒙蒙 一赐稽、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧浑侥,春花似錦姊舵、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,941評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至伶选,卻和暖如春史飞,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背仰税。 一陣腳步聲響...
    開封第一講書人閱讀 33,057評論 1 270
  • 我被黑心中介騙來泰國打工构资, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人陨簇。 一個月前我還...
    沈念sama閱讀 48,237評論 3 371
  • 正文 我出身青樓吐绵,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子己单,可洞房花燭夜當晚...
    茶點故事閱讀 44,976評論 2 355

推薦閱讀更多精彩內(nèi)容