Alluxio的安裝

一垢油、文件下載和解壓

1)下載地址:http://www.alluxio.org/download

2) 解壓命令如下:

$wgethttp://alluxio.org/downloads/files/1.2.0/alluxio-1.2.0-bin.tar.gz

$tar?xvfz?alluxio-1.2.0-bin.tar.gz

$cdalluxio-1.2.0

二、 配置文件更改

目前只是基本配置更改:

1) /data/spark/software/alluxio-1.2.0/conf下的??alluxio-env.sh.template 復制一份為:?alluxio-env.sh

更改如下:

#!/usr/bin/env bash

#

# The Alluxio Open Foundation licenses this work under the Apache License, version 2.0

# (the "License"). You may not use this work except in compliance with the License, which is

# available at www.apache.org/licenses/LICENSE-2.0

#

# This software is distributed on an "AS IS" basis, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND,

# either express or implied, as more fully set forth in the License.

#

# See the NOTICE file distributed with this work for information regarding copyright ownership.

#

# Copy it as alluxio-env.sh and edit that to configure Alluxio for your

# site. This file is sourced to launch Alluxio servers or use Alluxio shell

# commands.

#

# This file provides one way to configure Alluxio options by setting the

# following listed environment variables. Note that, setting this file will not

# affect jobs (e.g., Spark job or MapReduce job) that are using Alluxio client

# as a library. Alternatively, you can edit alluxio-site.properties file, where

# you can set all the configuration options supported by Alluxio

# (http://alluxio.org/documentation/)which is respected by both external jobs

# and Alluxio servers (or shell).

# The directory where Alluxio deployment is installed. (Default: the parent directory of libexec/).

exportALLUXIO_HOME=/data/spark/software/alluxio-1.2.0

# The directory where log files are stored. (Default: ${ALLUXIO_HOME}/logs).

# ALLUXIO_LOGS_DIR

# Hostname of the master.

# ALLUXIO_MASTER_HOSTNAME

exportALLUXIO_MASTER_HOSTNAME=spark29

# This is now deprecated. Support will be removed in v2.0

# ALLUXIO_MASTER_ADDRESS

#export ALLUXIO_MASTER_ADDRESS=spark29

# The directory where a worker stores in-memory data. (Default: /mnt/ramdisk).

# E.g. On linux,? /mnt/ramdisk for ramdisk, /dev/shm for tmpFS; on MacOS, /Volumes/ramdisk for ramdisk

# ALLUXIO_RAM_FOLDER

exportALLUXIO_RAM_FOLDER=/data/spark/software/alluxio-1.2.0/ramdisk

# Address of the under filesystem address. (Default: ${ALLUXIO_HOME}/underFSStorage)

# E.g. "/my/local/path" to use local fs, "hdfs://localhost:9000/alluxio" to use a local hdfs

# ALLUXIO_UNDERFS_ADDRESS

exportALLUXIO_UNDERFS_ADDRESS=hdfs://spark29:9000

# How much memory to use per worker. (Default: 1GB)

# E.g. "1000MB", "2GB"

# ALLUXIO_WORKER_MEMORY_SIZE

exportALLUXIO_WORKER_MEMORY_SIZE=12GB

# Config properties set for Alluxio master, worker and shell. (Default: "")

# E.g. "-Dalluxio.master.port=39999"

# ALLUXIO_JAVA_OPTS

# Config properties set for Alluxio master daemon. (Default: "")

# E.g. "-Dalluxio.master.port=39999"

# ALLUXIO_MASTER_JAVA_OPTS

# Config properties set for Alluxio worker daemon. (Default: "")

# E.g. "-Dalluxio.worker.port=49999" to set worker port, "-Xms2048M -Xmx2048M" to limit the heap size of worker.

# ALLUXIO_WORKER_JAVA_OPTS

# Config properties set for Alluxio shell. (Default: "")

# E.g. "-Dalluxio.user.file.writetype.default=CACHE_THROUGH"

# ALLUXIO_USER_JAVA_OPTS

2)worker 下面的添加worker節(jié)點的地址

spark24

spark30

spark31

spark32

spark33

三 它呀、主機配置更改

1)在家目錄下更改?.bash_profile 添加一下內(nèi)容:

export TACHYON_HOME=/data/spark/software/alluxio-1.2.0

PATH=$PATH:$HOME/bin:$HADOOP/bin:$JAVA_HOME/bin:$TACHYON_HOME/bin

2) 生效配置

source .bash_profile

四 末早、Spark 添加依賴Jar

1诈闺、在所有的spark主機的spark安裝目錄下的conf目錄下

更改spark-env.sh 后面添加:export SPARK_CLASSPATH="/data/spark/software/spark-1.5.2-bin-hadoop2.6/lib/alluxio-core-client-spark-1.2.0-jar-with-dependencies.jar:$SPARK_CLASSPATH"

五 、分發(fā)到各個Worker節(jié)點上去

1诀拭、alluxio 軟件:scp -r ./alluxio-1.2.0spark30:/data/spark/software/

六、格式化和啟動

1众辨、進入到alluxio的安裝目錄下面的bin目錄端三,執(zhí)行命令:?alluxio format ?進行內(nèi)存格式化。

2鹃彻、啟動集群:./alluxio-start.sh all

七郊闯、可能遇到問題

1、啟動worker報錯蛛株,報錯內(nèi)容:Pseudo-terminal will not be allocated because stdin is not a terminal.

更改:alluxio\bin\alluxio-workers.sh ?的44行內(nèi)容

原始內(nèi)容為:

nohup ssh -o ConnectTimeout=5 -o StrictHostKeyChecking=no -t ${worker} ${LAUNCHER} \

改成如下:

nohup ssh -o ConnectTimeout=5 -o StrictHostKeyChecking=no -tt ?$?{worker} ?${LAUNCHER}?\

2团赁、如果啟動報sudo相關命令錯誤,是因為啟動用戶未在sudoers里面谨履,需要將用戶添加到此文件中欢摄,添加方法搜下root位置,再后面添加即可笋粟。

內(nèi)容如下:

root ALL=(ALL) ALL

spark ALL=(ALL) ALL

同時把此文件中的:#Defaults ? ?requiretty 注釋掉怀挠。

3、如果還報錯害捕,可以在啟動master之后绿淋,一個一個節(jié)點去啟動worker。

八尝盼、 官網(wǎng)安裝說明

官網(wǎng)安裝說明:http://www.alluxio.org/docs/master/cn/Running-Alluxio-on-a-Cluster.html?中文的吞滞,可以看看。


九盾沫、安裝后確認

通過訪問鏈接:http://master:19999/ 去查看安裝是否成功裁赠。

最后編輯于
?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市疮跑,隨后出現(xiàn)的幾起案子组贺,更是在濱河造成了極大的恐慌,老刑警劉巖祖娘,帶你破解...
    沈念sama閱讀 216,544評論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件失尖,死亡現(xiàn)場離奇詭異,居然都是意外死亡渐苏,警方通過查閱死者的電腦和手機掀潮,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,430評論 3 392
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來琼富,“玉大人仪吧,你說我怎么就攤上這事【厦迹” “怎么了薯鼠?”我有些...
    開封第一講書人閱讀 162,764評論 0 353
  • 文/不壞的土叔 我叫張陵择诈,是天一觀的道長。 經(jīng)常有香客問我出皇,道長羞芍,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,193評論 1 292
  • 正文 為了忘掉前任郊艘,我火速辦了婚禮荷科,結果婚禮上,老公的妹妹穿的比我還像新娘纱注。我一直安慰自己畏浆,他們只是感情好,可當我...
    茶點故事閱讀 67,216評論 6 388
  • 文/花漫 我一把揭開白布狞贱。 她就那樣靜靜地躺著刻获,像睡著了一般。 火紅的嫁衣襯著肌膚如雪斥滤。 梳的紋絲不亂的頭發(fā)上将鸵,一...
    開封第一講書人閱讀 51,182評論 1 299
  • 那天,我揣著相機與錄音佑颇,去河邊找鬼。 笑死草娜,一個胖子當著我的面吹牛挑胸,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播宰闰,決...
    沈念sama閱讀 40,063評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼茬贵,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了移袍?” 一聲冷哼從身側響起解藻,我...
    開封第一講書人閱讀 38,917評論 0 274
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎葡盗,沒想到半個月后螟左,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,329評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡觅够,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,543評論 2 332
  • 正文 我和宋清朗相戀三年胶背,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片喘先。...
    茶點故事閱讀 39,722評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡钳吟,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出窘拯,到底是詐尸還是另有隱情红且,我是刑警寧澤坝茎,帶...
    沈念sama閱讀 35,425評論 5 343
  • 正文 年R本政府宣布,位于F島的核電站暇番,受9級特大地震影響景东,放射性物質發(fā)生泄漏。R本人自食惡果不足惜奔誓,卻給世界環(huán)境...
    茶點故事閱讀 41,019評論 3 326
  • 文/蒙蒙 一斤吐、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧厨喂,春花似錦和措、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,671評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至斜纪,卻和暖如春贫母,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背盒刚。 一陣腳步聲響...
    開封第一講書人閱讀 32,825評論 1 269
  • 我被黑心中介騙來泰國打工腺劣, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人橘原。 一個月前我還...
    沈念sama閱讀 47,729評論 2 368
  • 正文 我出身青樓,卻偏偏與公主長得像涡上,于是被迫代替她去往敵國和親趾断。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,614評論 2 353

推薦閱讀更多精彩內(nèi)容