[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 單機(jī)指南(三)


這是本指南的第三篇,本熊做這個(gè)的初衷就是刷刷小Y的好感度,但直到完成還是迷迷糊糊的。對(duì)于本熊而言讀女人心簡(jiǎn)直堪比讀算法導(dǎo)論章母,雖然兩個(gè)都不太讀得懂。本熊這段時(shí)間看到過(guò)關(guān)于交友平臺(tái)的機(jī)器人的紀(jì)錄片翩剪,讓機(jī)器算法來(lái)搭訕自己潛在的伴侶乳怎,這是個(gè)很浪漫有趣的想法,會(huì)有人喜歡上這個(gè)像dull dull dull 的人類(lèi)的機(jī)器人嗎? I'm curious


純初學(xué)者說(shuō)明模式
本章節(jié)主講實(shí)現(xiàn)本地模式

  • Hbase的安裝配置
  • Hbase的簡(jiǎn)單語(yǔ)句
  • 相對(duì)應(yīng)的Hadoop配置
  • SSH免密碼登錄

0.路徑說(shuō)明

本熊假設(shè)Hadoop的主目錄為HadoopPath前弯,Hbase的主目錄為HbasePath

以下是本熊的解壓位置:
HadoopPath的值就是 /usr/Dzy/hadoop-2.5.2
HbasePath的值就是 /usr/Dzy/hbase-0.98.8-hadoop2
NutchPath的值就是 /usr/Dzy/apache-nutch-2.3.1

各位可以按照自己的路徑進(jìn)行設(shè)置蚪缀,本熊再次只為說(shuō)明方便


1.Hbase安裝與配置

1.1 Hbase配置修改

本熊只配置所需的最低設(shè)定了,各位可以參照官方文檔嘗試更多的有趣的設(shè)置

  • 在HbasePath下博杖,在/conf下修改hbase-env.sh椿胯,添加以下設(shè)置
    export JAVA_HOME=/usr/jdk/
  • 在相同目錄下修改hbase-site.xml,在<configuration></configuration>標(biāo)簽中添加以下設(shè)置
    <property>
    <name>hbase.rootdir</name>
    <value>hdfs://localhost:9000/hbase</value>
    </property>
    <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
    </property>

因?yàn)椴捎玫氖莌dfs剃根,hbase.rootdir代表hbase的主目錄在hdfs的位置哩盲,hbase.cluster.distributed代表hbase的啟動(dòng)模式是本機(jī)還是集群

1.2 Hbase啟動(dòng)與簡(jiǎn)單查詢

  • 在HbasePath目錄下,啟動(dòng)終端輸入
    bash ./bin/start-hbase.sh
    開(kāi)啟Hbase的服務(wù)狈醉,此時(shí)在瀏覽器輸入以下網(wǎng)址 http://localhost:60010/master-status 可以看見(jiàn)Hbase的homepage
    http://localhost:60010/master-status

這里可以看見(jiàn)Hbase數(shù)據(jù)庫(kù)中所有的表和信息廉油,除此之外還有一種 方式在終端內(nèi)實(shí)現(xiàn)查看(適用于非圖形界面的系統(tǒng))

  • 在HbasePath目錄下,在終端輸入
    ./bin/hbase shell
    啟動(dòng)Hbase的Shell模式苗傅,如下圖


    Hbase Shell
  • 可以實(shí)用簡(jiǎn)單的指令實(shí)現(xiàn)查詢
  1.  list
    

查看Hbase數(shù)據(jù)庫(kù)內(nèi)所有的表

  1.  scan 'Table'
    

查看Hbase數(shù)據(jù)庫(kù)內(nèi)名為T(mén)able表的內(nèi)容

以上是使用Nutch的Hbase的簡(jiǎn)單的基礎(chǔ)語(yǔ)法和配置


2.Hadoop安裝與配置

  • 在HadoopPath下 /etc/hadoop目錄中的修改core-site.xml內(nèi)在<configuration></configuration>標(biāo)簽中添加以下設(shè)置

      <property>
          <name>fs.default.name</name>
          <value>hdfs://localhost:9000</value>
      </property>
      <property>
           <name>dfs.replication</name>
           <value>1</value>
      </property>
      <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/tmp</value>
       </property>
    

這三個(gè)屬性分別是hdfs的主機(jī)位置抒线,再連接的次數(shù)與hadoop緩存存放位置

  • 在相同目錄下,將 mapred-site.xml.template 在當(dāng)前目錄復(fù)制黏貼渣慕,并重命名為mapred-site.xml<configuration></configuration>標(biāo)簽中添加以下設(shè)置
    <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
    </property>
    此處代表執(zhí)行map phase的tracker的主機(jī)嘶炭,因?yàn)槭潜镜貍渭海蕦?xiě)成這樣

3.SSH免密碼登錄

采用ssh策略的原因?yàn)榱薶adoop中zookeeper的管理便利逊桦,我們所知遠(yuǎn)程訪問(wèn)主機(jī)采取的多為 用戶名+密碼 的模式眨猎,往往因?yàn)闄?quán)限問(wèn)題導(dǎo)致錯(cuò)誤,本熊發(fā)現(xiàn)ssh策略就可以很好的回避這點(diǎn)

  • 開(kāi)啟終端强经,輸入以下指令睡陪,安裝ssh
    sudo apt-get install openssh-server
  • 在終端,輸入以下指令匿情,開(kāi)啟ssh服務(wù)
    service sshd restart
  • 輸入以下命令兰迫,制作ssh密鑰上傳到本機(jī)
    ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
    cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
  • 可以用以下命令檢測(cè)是否成功,成功的話會(huì)顯示系統(tǒng)版本及登錄時(shí)間
    ssh localhost


    登錄成功

4.Hadoop的啟動(dòng)

啟動(dòng)Hadoop

  • 在HadoopPath下炬称,在終端輸入以下命令汁果,執(zhí)行namenode初始化

      bin/hadoop  namenode -format
    
  • 在終端輸入下面的命令,成功后可以下圖

      bash ./sbin/start-all.sh
    
hadoop啟動(dòng)成功

我們可以清楚的看出hadoop的執(zhí)行過(guò)程玲躯,dfs與yarn须鼎,hadoop成功啟動(dòng)

  • 有興趣的看官們鲸伴,本熊強(qiáng)烈推薦可以去試試hadoop自帶的WordCount程序來(lái)體驗(yàn)一把hadoop,具體的部分可以參照hadoop官網(wǎng)的說(shuō)明晋控,十分有助于理解hadoop的工作機(jī)制哦

第三期完

寫(xiě)到現(xiàn)在突然發(fā)現(xiàn)本熊和小Y,一個(gè)缺智商姓赤,一個(gè)缺情商赡译。形象的說(shuō)宅若久時(shí)天然呆,呆到深處自然萌 又宅又呆的小Y看來(lái)只有走倉(cāng)鼠的蠢萌路線了,本熊表示很心痛不铆。玩笑話就說(shuō)到這里蝌焚,本熊又宅又呆已有二十余載,突悟還是要學(xué)學(xué)年輕人該有的生活方式誓斥,不知道各位的年輕時(shí)是如何打發(fā)自己的只洒,本熊也想學(xué)學(xué)

      (。?д?劳坑。)      ( ???) (???*)     (?-?毕谴。)

相關(guān)內(nèi)容
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 單機(jī)指南(一)
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 單機(jī)指南(二)
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 單機(jī)指南(三)
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 單機(jī)指南(四)

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市距芬,隨后出現(xiàn)的幾起案子涝开,更是在濱河造成了極大的恐慌,老刑警劉巖框仔,帶你破解...
    沈念sama閱讀 211,123評(píng)論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件舀武,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡离斩,警方通過(guò)查閱死者的電腦和手機(jī)银舱,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,031評(píng)論 2 384
  • 文/潘曉璐 我一進(jìn)店門(mén),熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)跛梗,“玉大人寻馏,你說(shuō)我怎么就攤上這事∏研洌” “怎么了操软?”我有些...
    開(kāi)封第一講書(shū)人閱讀 156,723評(píng)論 0 345
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)宪祥。 經(jīng)常有香客問(wèn)我聂薪,道長(zhǎng),這世上最難降的妖魔是什么蝗羊? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,357評(píng)論 1 283
  • 正文 為了忘掉前任藏澳,我火速辦了婚禮,結(jié)果婚禮上耀找,老公的妹妹穿的比我還像新娘翔悠。我一直安慰自己业崖,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,412評(píng)論 5 384
  • 文/花漫 我一把揭開(kāi)白布蓄愁。 她就那樣靜靜地躺著双炕,像睡著了一般。 火紅的嫁衣襯著肌膚如雪撮抓。 梳的紋絲不亂的頭發(fā)上妇斤,一...
    開(kāi)封第一講書(shū)人閱讀 49,760評(píng)論 1 289
  • 那天,我揣著相機(jī)與錄音丹拯,去河邊找鬼站超。 笑死,一個(gè)胖子當(dāng)著我的面吹牛乖酬,可吹牛的內(nèi)容都是我干的死相。 我是一名探鬼主播,決...
    沈念sama閱讀 38,904評(píng)論 3 405
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼咬像,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼算撮!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起施掏,我...
    開(kāi)封第一講書(shū)人閱讀 37,672評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤钮惠,失蹤者是張志新(化名)和其女友劉穎,沒(méi)想到半個(gè)月后七芭,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體素挽,經(jīng)...
    沈念sama閱讀 44,118評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,456評(píng)論 2 325
  • 正文 我和宋清朗相戀三年狸驳,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了预明。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,599評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡耙箍,死狀恐怖撰糠,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情辩昆,我是刑警寧澤阅酪,帶...
    沈念sama閱讀 34,264評(píng)論 4 328
  • 正文 年R本政府宣布,位于F島的核電站汁针,受9級(jí)特大地震影響术辐,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜施无,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,857評(píng)論 3 312
  • 文/蒙蒙 一辉词、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧猾骡,春花似錦瑞躺、人聲如沸敷搪。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,731評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)赡勘。三九已至,卻和暖如春嘱么,著一層夾襖步出監(jiān)牢的瞬間狮含,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,956評(píng)論 1 264
  • 我被黑心中介騙來(lái)泰國(guó)打工曼振, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人蔚龙。 一個(gè)月前我還...
    沈念sama閱讀 46,286評(píng)論 2 360
  • 正文 我出身青樓冰评,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親木羹。 傳聞我的和親對(duì)象是個(gè)殘疾皇子甲雅,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,465評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容