學(xué)習(xí)hadoop搭建開發(fā)環(huán)境篇
1懒豹，安裝jdk1.8
由于Hadoop是java寫的萝衩，依賴java環(huán)境竹挡，搭建hadoop開發(fā)環(huán)境之前劳曹，需要安裝jdk奴愉。
版本選擇：hadoop2.9.0， jdk：1.8
網(wǎng)上有很多centos系統(tǒng)安裝jdk的方法铁孵，這里我選擇最簡單的yum安裝
安裝之前先檢查一下系統(tǒng)有沒有自帶open-jdk
命令：
rpm -qa |grep java
rpm -qa |grep jdk
rpm -qa |grep gcj
如果沒有輸出信息表示沒有安裝锭硼。
如果安裝可以使用rpm?-qa?|?grep?java?|?xargs?rpm?-e?--nodeps批量卸載所有帶有Java的文件
安裝1.8.0的所有文件
yum install java-1.8.0-openjdk* -y
檢查是否安裝成功
java -version
輸出版本信息表示安裝成功
2，下載hadoop
到官網(wǎng)hadoop.apache.org下載2.9.0版本的hadoop-2.9.0.tar.gz蜕劝，然后移動到/opt目錄解壓
tar -xzf? hadoop-2.9.0.tar.gz
vi??? etc/hadoop/hadoop-env.sh
vi??? etc/hadoop/core-site.xml
vi? etc/hadoop/hdfs-site.xml
配置ssh免密碼登陸
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
格式化namenode
bin/hdfs namenode -format
啟動
sbin/start-dfs.sh
啟動的過程中碰到一個報錯：WARN util.NativeCodeLoader: Unable to load native-Hadooplibrary for your platform... using builtin-Javaclasses where applicable
我是在log配置文件中將其報錯隱藏->在etc/hadoop/log4j.propertie最底部加
瀏覽器訪問
http://localhost:50070/
