（三）搭建spark: Ubuntu下Spark單機(jī)版（Standalone）安裝
硬件：ubuntu 18.04
VM 15 Pro
BEFORE 所有安裝，經(jīng)高人指點(diǎn)苇倡，
建議在Home下面新建一個(gè)專(zhuān)門(mén)放置環(huán)境變量的文件夾，這里命名dev凑队。
解壓后copy-dev文件夾下
批注 2019-12-06 090222.png
第一步安裝JDK
安裝前先檢查有沒(méi)有java
如果顯示沒(méi)安裝庇谆，
http://www.oracle.com/technetwork/java/javase/downloads/index.html
這里下載的是：jdk-8u233-linux-x64.tar.gz
# 解壓文件
sudo tar -zxvf jdk-8u233-linux-x64.tar.gz
#更改環(huán)境變量
sudo gedit ~/.bashrc
# 在彈出的窗口最下面兩行加入下面兩行
# 注意 /usr/dev/jdk1.8.0_144改成你dev文件夾下相應(yīng)的路徑
export JAVA_HOME= /usr/dev/jdk1.8.0_144
export PATH=$PATH:${JAVA_HOME}/bin
# 生效文件
source ~/.bashrc
# 查看系統(tǒng)環(huán)境變量
echo $PATH
# 測(cè)試是否成功、
java -version
第二步：安裝 Scala
官網(wǎng)下載 https://www.scala-lang.org/download/2.11.11.html
我的版本是 scala-2.11.11.tgz
# 解壓Scala
sudo tar -zxcf scala-2.11.11.tgz
# 添加環(huán)境變量
sudo gedit ~/.bashrc
# 彈出框最后加以下兩行
# 注意 /usr/dev改成你dev文件夾下相應(yīng)的路徑
export SCALA_HOME= /usr/dev/scala-2.11.11
export PATH=$PATH:${SCALA_HOME}/bin
# 生效文件
source ~/.bashrc
# 查看系統(tǒng)環(huán)境變量
echo $PATH
# 測(cè)試是否成功棠赛、
scala -version
第三步：安裝Spark
去官網(wǎng)下載 http://spark.apache.org/downloads.html
我下載的是spark-2.4.4哮奇， pre-built-hadoop-2.7
# 解壓Spark
sudo tar -zxcf spark-2.4.4-bin-hadoop2.7.tgz
# 添加環(huán)境變量
sudo gedit ~/.bashrc
# 彈出框最后加以下兩行
# 注意 /usr/dev改成你dev文件夾下相應(yīng)的路徑
export SPARK_HOME=/usr/dev/spark-2.4.4-bin-hadoop2.7
export PATH=$PATH:${SPARK_HOME}/bin
# 生效文件
source ~/.bashrc
# 查看系統(tǒng)環(huán)境變量
echo $PATH
# 測(cè)試是否成功、
spark-shell
成功啦
批注 2019-12-05 173652.png
第四步：安裝pyspark
spark是配有pyspark的內(nèi)嵌python 2.7的版本睛约。 但是ubuntu18是配有python3.6的版本鼎俘。目的是切換成3.6的版本。
請(qǐng)參考以下鏈接
https://blog.csdn.net/weixin_30648963/article/details/98983297
