hadoop與hbase的偽分布式代碼測試環(huán)境的搭建

前言

獻給想學習MapReduce和HBase卻不知道怎么做的小伙伴們,說實話,你學習這些東西只看書那簡直癡人說夢符相,所以泽本,一個測試環(huán)境必不可少。

安裝包下載

我用的是<a >hadoop2.6.0</a>捻爷,Hbase0.90.4(用這么老的版本的Hbase都是因為nutch)辈灼。

hadoop的安裝與配置

我的hadoop的安裝路徑是/usr/local/hadoop
將hadoop解壓并配置環(huán)境變量sudo gedit /etc/profile,添加如下內容:

#HADOOP VARIABLES START
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END

運行source /etc/profile,使環(huán)境變量生效也榄。(寫這么細好煩)巡莹。
配置文件的路徑都在/usr/local/hadoop/etc/hadoop/

配置core-site.xml
<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
        <!-- 注意建立tmp文件夾-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>
</configuration>
配置jdk路徑

修改hadoop-env.sh,yarn-env.sh,mapred -env.sh的JAVA_HOME為自己的jdk安裝路徑

配置hadf

配置hdfs-site.xml

<configuration>
   <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <!--注意建立這兩個目錄-->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>
配置yarn

配置yarn-site.xml

<configuration>
        <!--這里是你本機的host-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>youth</value>
    </property>

    <property> 
        <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value> 
    </property>   
</configuration>
配置mapred

配置mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

到了這里所有的配置都已經完成了,進入/usr/local/hadoop/bin執(zhí)行./hadoop namenode -format,之后進入/usr/local/hadoop/sbin,執(zhí)行./start-all.sh,如圖:

圖一

執(zhí)行jps降宅,如圖二俐芯,發(fā)現namenode和datanode都起來了說明hadoop安裝與配置完成

圖二

Hbase安裝

安裝路徑/usr/local/hbase
進入/usr/local/hbase/bin
執(zhí)行./start-hbase.sh,如圖三

圖三

然后執(zhí)行./habse shell

圖四

結束語

入門不易,且行且珍惜钉鸯。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末吧史,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子唠雕,更是在濱河造成了極大的恐慌贸营,老刑警劉巖,帶你破解...
    沈念sama閱讀 218,036評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件岩睁,死亡現場離奇詭異钞脂,居然都是意外死亡,警方通過查閱死者的電腦和手機捕儒,發(fā)現死者居然都...
    沈念sama閱讀 93,046評論 3 395
  • 文/潘曉璐 我一進店門冰啃,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人刘莹,你說我怎么就攤上這事阎毅。” “怎么了点弯?”我有些...
    開封第一講書人閱讀 164,411評論 0 354
  • 文/不壞的土叔 我叫張陵扇调,是天一觀的道長。 經常有香客問我抢肛,道長狼钮,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,622評論 1 293
  • 正文 為了忘掉前任捡絮,我火速辦了婚禮熬芜,結果婚禮上,老公的妹妹穿的比我還像新娘福稳。我一直安慰自己涎拉,他們只是感情好,可當我...
    茶點故事閱讀 67,661評論 6 392
  • 文/花漫 我一把揭開白布灵寺。 她就那樣靜靜地躺著曼库,像睡著了一般。 火紅的嫁衣襯著肌膚如雪略板。 梳的紋絲不亂的頭發(fā)上毁枯,一...
    開封第一講書人閱讀 51,521評論 1 304
  • 那天,我揣著相機與錄音叮称,去河邊找鬼种玛。 笑死藐鹤,一個胖子當著我的面吹牛,可吹牛的內容都是我干的赂韵。 我是一名探鬼主播娱节,決...
    沈念sama閱讀 40,288評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼祭示!你這毒婦竟也來了肄满?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 39,200評論 0 276
  • 序言:老撾萬榮一對情侶失蹤质涛,失蹤者是張志新(化名)和其女友劉穎稠歉,沒想到半個月后,有當地人在樹林里發(fā)現了一具尸體汇陆,經...
    沈念sama閱讀 45,644評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡怒炸,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,837評論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現自己被綠了毡代。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片阅羹。...
    茶點故事閱讀 39,953評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖教寂,靈堂內的尸體忽然破棺而出捏鱼,到底是詐尸還是另有隱情,我是刑警寧澤孝宗,帶...
    沈念sama閱讀 35,673評論 5 346
  • 正文 年R本政府宣布穷躁,位于F島的核電站耕肩,受9級特大地震影響因妇,放射性物質發(fā)生泄漏。R本人自食惡果不足惜猿诸,卻給世界環(huán)境...
    茶點故事閱讀 41,281評論 3 329
  • 文/蒙蒙 一婚被、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧梳虽,春花似錦址芯、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,889評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至禀挫,卻和暖如春旬陡,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背语婴。 一陣腳步聲響...
    開封第一講書人閱讀 33,011評論 1 269
  • 我被黑心中介騙來泰國打工描孟, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留驶睦,地道東北人。 一個月前我還...
    沈念sama閱讀 48,119評論 3 370
  • 正文 我出身青樓匿醒,卻偏偏與公主長得像场航,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子廉羔,可洞房花燭夜當晚...
    茶點故事閱讀 44,901評論 2 355

推薦閱讀更多精彩內容