前言
獻給想學習MapReduce和HBase卻不知道怎么做的小伙伴們,說實話,你學習這些東西只看書那簡直癡人說夢符相,所以泽本,一個測試環(huán)境必不可少。
安裝包下載
我用的是<a >hadoop2.6.0</a>捻爷,Hbase0.90.4(用這么老的版本的Hbase都是因為nutch)辈灼。
hadoop的安裝與配置
我的hadoop的安裝路徑是/usr/local/hadoop
將hadoop解壓并配置環(huán)境變量sudo gedit /etc/profile
,添加如下內容:
#HADOOP VARIABLES START
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END
運行source /etc/profile
,使環(huán)境變量生效也榄。(寫這么細好煩)巡莹。
配置文件的路徑都在/usr/local/hadoop/etc/hadoop/
配置core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<!-- 注意建立tmp文件夾-->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
配置jdk路徑
修改hadoop-env.sh,yarn-env.sh,mapred -env.sh的JAVA_HOME為自己的jdk安裝路徑
配置hadf
配置hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!--注意建立這兩個目錄-->
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
配置yarn
配置yarn-site.xml
<configuration>
<!--這里是你本機的host-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>youth</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
配置mapred
配置mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
到了這里所有的配置都已經完成了,進入/usr/local/hadoop/bin
執(zhí)行./hadoop namenode -format
,之后進入/usr/local/hadoop/sbin
,執(zhí)行./start-all.sh
,如圖:
圖一
執(zhí)行jps降宅,如圖二俐芯,發(fā)現namenode和datanode都起來了說明hadoop安裝與配置完成
圖二
Hbase安裝
安裝路徑/usr/local/hbase
進入/usr/local/hbase/bin
執(zhí)行./start-hbase.sh
,如圖三
圖三
然后執(zhí)行./habse shell
圖四
結束語
入門不易,且行且珍惜钉鸯。