這是本指南的第三篇,本熊做這個(gè)的初衷就是刷刷小Y的好感度,但直到完成還是迷迷糊糊的。對(duì)于本熊而言讀女人心簡(jiǎn)直堪比讀算法導(dǎo)論章母,雖然兩個(gè)都不太讀得懂。本熊這段時(shí)間看到過(guò)關(guān)于交友平臺(tái)的機(jī)器人的紀(jì)錄片翩剪,讓機(jī)器算法來(lái)搭訕自己潛在的伴侶乳怎,這是個(gè)很浪漫有趣的想法,會(huì)有人喜歡上這個(gè)像dull dull dull 的人類(lèi)的機(jī)器人嗎? I'm curious
純初學(xué)者說(shuō)明模式
本章節(jié)主講實(shí)現(xiàn)本地模式
- Hbase的安裝配置
- Hbase的簡(jiǎn)單語(yǔ)句
- 相對(duì)應(yīng)的Hadoop配置
- SSH免密碼登錄
0.路徑說(shuō)明
本熊假設(shè)Hadoop的主目錄為HadoopPath前弯,Hbase的主目錄為HbasePath
以下是本熊的解壓位置:
HadoopPath的值就是/usr/Dzy/hadoop-2.5.2
HbasePath的值就是/usr/Dzy/hbase-0.98.8-hadoop2
NutchPath的值就是/usr/Dzy/apache-nutch-2.3.1
各位可以按照自己的路徑進(jìn)行設(shè)置蚪缀,本熊再次只為說(shuō)明方便
1.Hbase安裝與配置
1.1 Hbase配置修改
本熊只配置所需的最低設(shè)定了,各位可以參照官方文檔嘗試更多的有趣的設(shè)置
- 在HbasePath下博杖,在
/conf
下修改hbase-env.sh椿胯,添加以下設(shè)置
export JAVA_HOME=/usr/jdk/ - 在相同目錄下修改hbase-site.xml,在
<configuration></configuration>
標(biāo)簽中添加以下設(shè)置
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
因?yàn)椴捎玫氖莌dfs剃根,hbase.rootdir
代表hbase的主目錄在hdfs的位置哩盲,hbase.cluster.distributed
代表hbase的啟動(dòng)模式是本機(jī)還是集群
1.2 Hbase啟動(dòng)與簡(jiǎn)單查詢
- 在HbasePath目錄下,啟動(dòng)終端輸入
bash ./bin/start-hbase.sh
開(kāi)啟Hbase的服務(wù)狈醉,此時(shí)在瀏覽器輸入以下網(wǎng)址 http://localhost:60010/master-status 可以看見(jiàn)Hbase的homepage
這里可以看見(jiàn)Hbase數(shù)據(jù)庫(kù)中所有的表和信息廉油,除此之外還有一種 方式在終端內(nèi)實(shí)現(xiàn)查看(適用于非圖形界面的系統(tǒng))
-
在HbasePath目錄下,在終端輸入
./bin/hbase shell
啟動(dòng)Hbase的Shell模式苗傅,如下圖
- 可以實(shí)用簡(jiǎn)單的指令實(shí)現(xiàn)查詢
list
查看Hbase數(shù)據(jù)庫(kù)內(nèi)所有的表
scan 'Table'
查看Hbase數(shù)據(jù)庫(kù)內(nèi)名為T(mén)able表的內(nèi)容
以上是使用Nutch的Hbase的簡(jiǎn)單的基礎(chǔ)語(yǔ)法和配置
2.Hadoop安裝與配置
-
在HadoopPath下
/etc/hadoop
目錄中的修改core-site.xml內(nèi)在<configuration></configuration>
標(biāo)簽中添加以下設(shè)置<property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/tmp</value> </property>
這三個(gè)屬性分別是hdfs的主機(jī)位置抒线,再連接的次數(shù)與hadoop緩存存放位置
- 在相同目錄下,將 mapred-site.xml.template 在當(dāng)前目錄復(fù)制黏貼渣慕,并重命名為mapred-site.xml 在
<configuration></configuration>
標(biāo)簽中添加以下設(shè)置
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
此處代表執(zhí)行map phase的tracker的主機(jī)嘶炭,因?yàn)槭潜镜貍渭海蕦?xiě)成這樣
3.SSH免密碼登錄
采用ssh策略的原因?yàn)榱薶adoop中zookeeper的管理便利逊桦,我們所知遠(yuǎn)程訪問(wèn)主機(jī)采取的多為 用戶名+密碼 的模式眨猎,往往因?yàn)闄?quán)限問(wèn)題導(dǎo)致錯(cuò)誤,本熊發(fā)現(xiàn)ssh策略就可以很好的回避這點(diǎn)
- 開(kāi)啟終端强经,輸入以下指令睡陪,安裝ssh
sudo apt-get install openssh-server - 在終端,輸入以下指令匿情,開(kāi)啟ssh服務(wù)
service sshd restart - 輸入以下命令兰迫,制作ssh密鑰上傳到本機(jī)
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys -
可以用以下命令檢測(cè)是否成功,成功的話會(huì)顯示系統(tǒng)版本及登錄時(shí)間
ssh localhost
4.Hadoop的啟動(dòng)
啟動(dòng)Hadoop
-
在HadoopPath下炬称,在終端輸入以下命令汁果,執(zhí)行namenode初始化
bin/hadoop namenode -format
-
在終端輸入下面的命令,成功后可以下圖
bash ./sbin/start-all.sh
我們可以清楚的看出hadoop的執(zhí)行過(guò)程玲躯,dfs與yarn须鼎,hadoop成功啟動(dòng)
- 有興趣的看官們鲸伴,本熊強(qiáng)烈推薦可以去試試hadoop自帶的WordCount程序來(lái)體驗(yàn)一把hadoop,具體的部分可以參照hadoop官網(wǎng)的說(shuō)明晋控,十分有助于理解hadoop的工作機(jī)制哦
第三期完
寫(xiě)到現(xiàn)在突然發(fā)現(xiàn)本熊和小Y,一個(gè)缺智商姓赤,一個(gè)缺情商赡译。形象的說(shuō)宅若久時(shí)天然呆,呆到深處自然萌 又宅又呆的小Y看來(lái)只有走倉(cāng)鼠的蠢萌路線了,本熊表示很心痛不铆。玩笑話就說(shuō)到這里蝌焚,本熊又宅又呆已有二十余載,突悟還是要學(xué)學(xué)年輕人該有的生活方式誓斥,不知道各位的年輕時(shí)是如何打發(fā)自己的只洒,本熊也想學(xué)學(xué)
(。?д?劳坑。) ( ???) (???*) (?-?毕谴。)
相關(guān)內(nèi)容
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 單機(jī)指南(一)
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 單機(jī)指南(二)
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 單機(jī)指南(三)
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 單機(jī)指南(四)