最近在學(xué)習(xí)一個(gè)項(xiàng)目，里面用到了Hbase饭宾，傳說優(yōu)點(diǎn)很多恭垦，用替代的方案不太好快毛，同時(shí)也是開啟大數(shù)據(jù)學(xué)習(xí)的一扇門，所以自己也嘗試搭建一個(gè)本地的調(diào)試環(huán)境番挺，奈何對Windows系統(tǒng)不太友好，同時(shí)又不太想開遠(yuǎn)程主機(jī)搭建屯掖，畢竟本地運(yùn)行能讓我對整體有個(gè)印象玄柏，網(wǎng)上多方摸索，終于實(shí)踐成功贴铜，特寫下過程和心得
環(huán)境
- Windows 64位
- JDK8
參考文章
- https://blog.csdn.net/tornadojava/article/details/56013420
- https://blog.csdn.net/tornadojava/article/details/56479651
-
https://www.bbsmax.com/A/kvJ3LyD5gM/
以下過程極大部分搬運(yùn)自前兩篇文章
過程
- 準(zhǔn)備
1：安裝JDK1.8粪摘。
2：環(huán)境變量中添加JAVA_HOME。
3：下載hadoop2.7.3绍坝。
4：解壓到D盤徘意，路徑為D:\hadoop2.7.3。
5：環(huán)境變量中添加HADOOP_HOME=D:\hadoop2.7.3
6：將D:\hadoop2.7.3\bin和D:\hadoop2.7.3\sbin添加到path中轩褐。
7：下載一個(gè)重要的東西椎咧。
hadooponwindows
地址：https://github.com/sardetushar/hadooponwindows
8：刪除hadoop下的etc和bin。
9：將hadooponwindows里的etc和bin拷貝到D:\hadoop2.7.1\下。
準(zhǔn)備工作完成勤讽。
補(bǔ)充：如果Windows上面的解壓軟件解壓以上下載的文件有問題的話蟋座，就下載
cywin，然后再cywin當(dāng)中使用tar -zxvf XXXX.tar.gz命令進(jìn)行解壓就好
修改配置文件
- etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
- etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
- etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/hadoop-2.7.3/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/hadoop-2.7.3/data/datanode</value>
</property>
</configuration>
- etc\hadoop\yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
- etc/hadoop/hadoop-env.cmd
@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_111
這個(gè)視自己本機(jī)的JDK安裝目錄而定
執(zhí)行命令
- 格式化namenode
hdfs namenode -format
- 啟動Hadoop
sbin目錄下執(zhí)行
start-all
啟動了4個(gè)窗口脚牍，namenode,datanode,yarn resourcemanager,yarn nodemanager.
- 停止Hadoop
sbin下執(zhí)行
stop-all
Hadoop都停止了向臀。
其他
Resourcemanager GUI address - http://localhost:8088
Namenode GUI address – http://localhost:50070
至此windows下Hadoop安裝成功！
插曲
HBase現(xiàn)在可以在windows下安裝诸狭，而且不需要cygwin券膀。雖然是單節(jié)點(diǎn)，但是作為開發(fā)研究是夠用的驯遇。
開始
-
下載HBase芹彬，由于我的Hadoop是2.7.3，所以我HBase選擇1.3.0妹懒。
版本對照表：
圖片.png
部署
修改配置
- conf/hbase-site.xml
<configuration>
<property>
<!-- hbase提供的服務(wù)地址-->
<name>hbase.master</name>
<value>localhost:6000</value>
</property>
<property>
<name>hbase.master.maxclockskew</name>
<value>180000</value>
</property>
<property>
<!-- hbase在hdfs里的目錄 -->
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>false</value>
</property>
<property>
<!-- ZK的主機(jī)地址 -->
<name>hbase.zookeeper.quorum</name>
<value>localhost</value>
</property>
<property>
<!-- hbase在ZK上保存數(shù)據(jù)的目錄 -->
<name>hbase.zookeeper.property.dataDir</name>
<value>/hbase</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
- 修改環(huán)境配置指令
修改 conf/hbase-env.cmd
設(shè)置JAVA_HOME雀监，類似于部署hadoop。
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_111
還是視自己的JDK安裝目錄而定
- 停止hadoop
sbin>stop-all.cmd
- 格式化Hadoop命名節(jié)點(diǎn)
bin>hdfs namenode -format
- 啟動hadoop
sbin>start-all.cmd
- 啟動hbase
bin>start-hbase.cmd
- 啟動 HBase的rest服務(wù)
bin>hbase rest start -p 6000
- 啟動HBase Shell
bin>hbase shell
通過shell操作hbase
創(chuàng)建表
創(chuàng)建一個(gè)名為 test 的表眨唬，這個(gè)表只有一個(gè) 列族 為 cf会前。可以列出所有的表來檢查創(chuàng)建情況匾竿，然后插入些值瓦宜。
create 'test','cf'
插入記錄
put 'test','row1','cf:a','value1'
查詢
scan 'test'
結(jié)果我就不演示了，因?yàn)榱胙俦樱野衙畲翱陉P(guān)閉了。昵慌。假夺。。
