Update
2020.6.9： 更新GeoSpark版本到1.3.1, 更新Hadoop版本到2.7.2, 更新Spark到2.3.4, 更新Scala到2.11.x
JDK安裝
- 下載地址
- 官網(wǎng)下載地址：https://www.oracle.com/technetwork/java/javase/downloads/index.html
- 在官網(wǎng)下載時贩疙，需要先注冊oracle網(wǎng)站的賬號讨永，為了方便下載，這里提供一個百度云下載地址：鏈接：https://pan.baidu.com/s/16T1meL7pWD4Rk2qdmIS6kQ 提取碼：9obn
- 下載完成后莫鸭，直接雙擊安裝潦匈，安裝完成后阱高，配置
JAVA_HOME為JDK安裝目錄，在將%JAVA_HOME%\bin配置到PATH下茬缩，配置CLASSPATH為.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar
Maven安裝
解壓后赤惊，將解壓文件拷貝到任意目錄，然后將maven下面的bin目錄添加到環(huán)境變量
-
在命令控制行中輸入
mvn -v凰锡，如果有提示以下信息荐捻，則代表maven安裝成功Apache Maven 3.6.1 (d66c9c0b3152b2e69ee9bac180bb8fcc8e6af555; 2019-04-05T03:00:29+08:00) Maven home: D:\Program Files\Java\apache-maven-3.6.1\bin\.. Java version: 1.8.0_181, vendor: Oracle Corporation, runtime: D:\Program Files\Java\jdk1.8.0_181\jre Default locale: zh_CN, platform encoding: GBK OS name: "windows 10", version: "10.0", arch: "amd64", family: "windows"
Scala安裝
- 下載地址: https://www.scala-lang.org/download/2.11.12.html
- scala安裝很簡單，直接雙擊下載好的msi文件寡夹，scala會自動配置環(huán)境變量。
Hadoop安裝
- 下載地址：
- https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/
- winutil.exe下載：https://github.com/steveloughran/winutils厂置，選擇hadoop-2.7.1即可菩掏。
- 解壓后，配置環(huán)境變量昵济，設(shè)置HADOOP_HOME為Hadoop的解壓目錄智绸，然后再設(shè)置該目錄下的bin目錄到系統(tǒng)變量的PATH下。
- 將下載winutils.exe復(fù)制到hadoop的bin目錄下完成安裝访忿。
Spark安裝
-
下載地址:
解壓后瞧栗，配置環(huán)境變量，設(shè)置SPARK_HOME為Spark的解壓目錄海铆，然后再設(shè)置該目錄下的bin目錄到系統(tǒng)變量的PATH下迹恐。
-
在CMD中輸入
spark-shell，若有以下信息提示卧斟，則代表成功Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). Spark context Web UI available at http://hwang:4040 Spark context available as 'sc' (master = local[*], app id = local-1591705705311). Spark session available as 'spark'. Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.3.4 /_/ Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_181) Type in expressions to have them evaluated. Type :help for more information.
搭建工程
- 首先從https://github.com/scially/GeosparkBook將整個工程下載下來殴边，并解壓
- 打開IDEA憎茂，選擇
Import Project，選擇剛才解壓的目錄锤岸，選中Import project from external model竖幔，選擇Maven，點(diǎn)擊Next - 勾選
Import Maven projects automatically是偷，然后點(diǎn)擊Environment Settings拳氢，選擇我們之前安裝的maven目錄，然后一路Next蛋铆，完成后IDEA會去自動構(gòu)建工程馋评，如果你是第一次開發(fā)Spark相關(guān)應(yīng)用，這個構(gòu)建時間會有點(diǎn)長戒职，因為IDEA要去maven中央倉庫拉取依賴栗恩，耐心等待即可（需要30分鐘左右）。 - 構(gòu)建完成后洪燥，打開cn.dev下面的任意一個類磕秤，點(diǎn)擊main函數(shù)左邊的執(zhí)行按鈕，若運(yùn)行成功捧韵，則代表環(huán)境配置成功市咆。
