macOS hadoop+spark+scala安裝教程

環(huán)境搭建

操作系統(tǒng)：macOS 10.13.6

JDK:1.8.0_201

hadoop: 2.8.5

Spark:2.4.3

Scala:2.13.0

一、文件準(zhǔn)備

1.jdk 下載鏈接

image-20190626104618244

2.hadoop 下載鏈接

image-20190626104931324

3.scala 下載鏈接

image-20190626105435163

4.spark 下載鏈接

image-20190626105617867

二送火、開始安裝

1.設(shè)置SSH無密碼登陸

（1）由于macOS自帶ssh，因此就不必再重復(fù)安裝藕坯。如果從來都沒有配置過ssh則按照以下步驟：

$ cd ~/.ssh
$ rm *
$ ssh-keygen -t rsa              # 會(huì)有提示磨德，都按回車就可以
$ cat ./id_rsa.pub >> ./authorized_keys  # 加入授權(quán)

? 此外苔悦，還需要進(jìn)入系統(tǒng)偏好設(shè)置—>共享—>遠(yuǎn)程登錄

image-20190626110206280

? 驗(yàn)證是否設(shè)置成功：

image-20190626110309724

? 第一次登錄會(huì)出現(xiàn)選定項(xiàng)枷邪，默認(rèn)選擇yes即可仑鸥。

(2) 如果之前有設(shè)置過ssh秘鑰起意，則按照以下步驟：

$ cd ~/.ssh
$ cat ./id_rsa.pub >> ./authorized_keys  # 加入授權(quán)

? 其他步驟一樣鹰服，這里就不再贅述，可能遇見的問題揽咕。

2.安裝Java環(huán)境

雙擊下載好的文件即可進(jìn)行安裝悲酷，安裝完之后需要添加環(huán)境變量方可安裝成功，具體操作如下：

$ open ~/.bash_profile

添加以下語句至環(huán)境變量中

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home #需要根據(jù)jdk版本進(jìn)行更改
export PATH=$JAVA_HOME/bin:$PATH:.
export CLASS_PATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:.

$ source ~/.bash_profile #用來更新環(huán)境變量

驗(yàn)證java環(huán)境是否配置成功

$ java -version 

image-20190626111301509

3.安裝hadoop

(1) hadoop安裝

我們將hadoop安裝至/Users/xiongfeiqin/hadoop中：

$ tar -xvf Downloads/hadoop-2.8.5.tar.gz /Users/xiongfeiqin/hadoop
$ open ~/.bash_profile

增加如下至環(huán)境變量中：

export HADOOP_HOME=/Users/xiongfeiqin/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

$ source ~/.bash_profile

(2) 配置單機(jī)偽分布式

Hadoop 的配置文件位于 /Users/xiongfeiqin/hadoop/etc/hadoop/ 中亲善，偽分布式需要修改2個(gè)配置文件 core-site.xml 和 hdfs-site.xml 设易。Hadoop的配置文件是 xml 格式，每個(gè)配置以聲明 property 的 name 和 value 的方式來實(shí)現(xiàn)逗爹。

修改配置文件core-site.xml

將

<configuration>
</configuration>

改為

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

同樣的亡嫌，修改配置文件 hdfs-site.xml：

將

<configuration>
</configuration>

改為

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/Users/xiongfeiqin/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/Users/xiongfeiqin/hadoop/tmp/dfs/data</value> #注意自己hadoop路徑
    </property>
</configuration>

配置完成后，執(zhí)行 NameNode 的格式化:

$ hadoop namenode -format

成功的話掘而，會(huì)看到 “successfully formatted” 和 “Exitting with status 0” 的提示挟冠，若為 “Exitting with status 1” 則是出錯(cuò)。

image-20190626112838858

如果在這一步時(shí)提示 Error: JAVA_HOME is not set and could not be found. 的錯(cuò)誤袍睡，則說明之前設(shè)置 JAVA_HOME 環(huán)境變量那邊就沒設(shè)置好知染，請(qǐng)按教程先設(shè)置好 JAVA_HOME 變量，否則后面的過程都是進(jìn)行不下去的斑胜。如果已經(jīng)按照前面教程在.bashrc文件中設(shè)置了JAVA_HOME控淡，還是出現(xiàn) Error: JAVA_HOME is not set and could not be found. 的錯(cuò)誤，那么止潘，請(qǐng)到hadoop的安裝目錄修改配置文件“/usr/local/hadoop/etc/hadoop/hadoop-env.sh”掺炭，在里面找到“export JAVA_HOME=${JAVA_HOME}”這行，然后凭戴，把它修改成JAVA安裝路徑的具體地址涧狮，比如，“export JAVA_HOME=/usr/lib/jvm/default-java”么夫，然后者冤，再次啟動(dòng)Hadoop。

接著開啟 NameNode 和 DataNode 守護(hù)進(jìn)程档痪。

$ start-all.sh

輸入命令

$ jps

出現(xiàn)如下信息則為啟動(dòng)成功

image-20190626113149553

成功啟動(dòng)后涉枫，可以訪問 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，還可以在線查看 HDFS 中的文件腐螟。

4.安裝scala

$ tar -xvf Downloads/scala-2.13.0.tgz /Users/xiongfeiqin/scala
$ open ~/.bash_profile

添加環(huán)境變量

export SCALA_HOME=/Users/xiongfeiqin/scala
export PATH=$PATH:$SCALA_HOME/bin

更新環(huán)境變量及驗(yàn)證安裝成功與否

$ source ~/.bash_profile
$ scala

出現(xiàn)以下信息則安裝成功

image-20190626115607583

5.安裝spark

$ tar -xvf Downloads/spark-2.4.3-bin-hadoop2.7.tgz /Users/xiongfeiqin/spark
$ open ~/.bash_profile

添加環(huán)境變量

export SPARK_HOME="/Users/xiongfeiqin/spark/bin:${PATH}"

更新環(huán)境變量及驗(yàn)證安裝成功與否

$ source ~/.bash_profile
$ pyspark

出現(xiàn)以下信息則安裝成功

image-20190626113815244

三愿汰、Reference

1.http://dblab.xmu.edu.cn/blog/install-hadoop/

2.https://blog.csdn.net/CYJ2014go/article/details/82660137

3.https://www.cnblogs.com/87hbteo/p/7606012.html

4.https://www.cnblogs.com/ErMengNJUniverser/p/8066074.html

5.http://www.reibang.com/p/5e5de41afda1