一、安裝JAVA
1.JDK安裝:JDK下載地址
下載并安裝爬舰,檢查是否安裝成功们陆。
2.配置path,classpath路徑
打開終端情屹,打開profile文件(sudo vim /etc/profile)
末尾添加以下代碼:
JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk-10.0.2.jdk/Contents/Home/"
CLASS_PATH="$JAVA_HOME/lib"
PATH=".:$PATH:$JAVA_HOME/bin"
其中JAVA_HOME可通過打開Finder棒掠,快捷鍵 “Command + Shift + G”,輸入
/Library/Java/JavaVirtualMachines/屁商,得到路徑烟很。
添加成功后颈墅,輸入”:wq!“ 保存并退出profile文件。重啟終端雾袱,輸入以下命令使之生效
3.查看更改后的路徑
echo?$JAVA_HOME
二恤筛、SSH配置
1.確認(rèn)能夠遠(yuǎn)程登錄:系統(tǒng)偏好設(shè)置-共享-遠(yuǎn)程登錄
2.其余略,終端測試:ssh localhost
三芹橡、安裝Hadoop
1.下載Hadoop
2.進(jìn)入相關(guān)文件夾毒坛,解壓Hadoop
tar -zxvf hadoop-2.8.4.tar.gz
3.配置Hadoop
? ? 3.1添加環(huán)境變量
修改當(dāng)前用戶的文件:vim ~/.bash_profile
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk-10.0.2.jdk/Contents/Home
export CLASSPATH=$JAVA_HOME/lib:$CLASSPATH
export HADOOP_HOME=/Users/darlenepretty/hadoop-2.8.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
添加成功后,使之生效下(source?~/.bash_profile)
可以通過echo $JAVA_HOME查看環(huán)境變量是否設(shè)置成功林说。
設(shè)置完成后煎殷,輸入hadoop version,如果出現(xiàn)下面信息腿箩,表示hadoop開發(fā)環(huán)境變量設(shè)置好了
3.2配置hadoop-env.sh
先進(jìn)入Hadoop的根目錄”/Users/darlenepretty/hadoop-2.8.4/etc/hadoop“
添加如下語句:
export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"
3.3配置core-site.xml
輸入以下內(nèi)容:
<configuration>
<property>
? <name>hadoop.tmp.dir</name>
? <value>/Users/darlenepretty/hadoop-2.8.4/data</value>
? <description>A base for other temporary directories.</description>
</property>
<property>
? <name>fs.default.name</name>
? <value>hdfs://localhost:9000</value>
</property>
</configuration>
其中豪直,localhost:9000代表本地主機(jī)。
3.4配置hdfs-site.xml
<configuration>
? <property>
? ? <name>dfs.replication</name>
? ? <value>1</value>
? </property>
</configuration>
3.5配置mapred-site.xml
由于hadoop的根目錄下的etc/hadoop目錄下沒有mapred-site.xml文件珠移,所以需要?jiǎng)?chuàng)建該文件弓乙,但是我們可以直接把etc/hadoop目錄下的mapred-site.xml.template文件重命名為mapred-site.xml,然后配置數(shù)據(jù)處理的框架為yarn钧惧。
<configuration>
? ? <property>
? ? ? ? <name>mapreduce.framework.name</name>
? ? ? ? <value>yarn</value>
? ? </property>
</configuration>
3.6配置yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
? ? <property>
? ? ? ? <name>yarn.nodemanager.aux-services</name>
? ? ? ? <value>mapreduce_shuffle</value>
? ? </property>
? ? <property>
? ? ? ? <name>yarn.resourcemanager.address</name>
? ? ? ? <value>localhost:9000</value>
? ? </property>
</configuration>
3.7啟動Hadoop
執(zhí)行:hadoop namenode -format
出現(xiàn)如下界面暇韧,表示namenode啟動成功
3.8啟動hdfs
執(zhí)行:start-dfs.sh
然后輸入三次密碼!
3.9啟動yarn
執(zhí)行:start-yarn.sh
在執(zhí)行:jps
出現(xiàn)如下界面浓瞪,表示Hadoop啟動完成懈玻!
四、查看Hadoop
http://localhost:50070/