Hive學(xué)習(xí)(CDH版Hadoop佳谦、Hive安裝)

1、CDH簡介

大家認(rèn)知度比較高的Hadoop項目一般指的是Apache的Hadoop啥刻,但是該項目版本比較復(fù)雜可帽,兼容性也很差蒲肋,一般沒法直接用于生產(chǎn)兜粘。所以針對這個情況,衍生了幾個比較著名的第三方版本(CDH剃法、HDP路鹰、MapR)晋柱,核心內(nèi)容還是基于原生的hadoop代碼。但是相對于原生版钦椭,第三方的版本的版本管理清晰碑诉,兼容性好进栽,有大量的生產(chǎn)項目實踐經(jīng)驗,更有簡單易用的部署方案格嗅,最后的監(jiān)控管理也非常人性化,所以生產(chǎn)項目中都是直接選用這些版本(有免費版和收費版建芙,免費版對于一般性項目完全滿足需求)禁荸。

2阀湿、版本下載

下載地址:http://archive.cloudera.com/cdh5/cdh/5/

注意:每個hadoop生態(tài)圈的組成都有各自的版本,但是一定要注意他對應(yīng)的cdh版本號映砖,要保持一致(這里下載hadoop-2.6.0-cdh5.14.0-src.tar.gz和hive-1.1.0-cdh5.14.0-src.tar.gz邑退,都是源碼地技,自己編譯自己安裝)秒拔。

3砂缩、編譯準(zhǔn)備

wget方式下載以上兩個源碼tar包,放到hadoop用戶家目錄下source文件夾中妹懒。

安裝jdk1.7(建議64位)彬伦、maven3.3.9伊诵、 findbugs1.3.9回官、protobuf-2.5.0和其他依賴(具體請參考hadoop源碼編譯 - 簡書

注意:我們下載的源碼都是要求用jdk1.7編譯的歉提,本人經(jīng)過測試修改pom.xml的jdk版本限制区转,但是測試1.8編譯失敗废离,如果有誰成功了蜻韭,可以私聊分享一下柿扣,交流學(xué)習(xí)未状。

4司草、編譯hadoop和hive

cdh版hadoop編譯安裝和Apache版編譯安裝一致,沒有任何區(qū)別猜憎,請參考和hadoop偽分布式搭建 - 簡書

$tar? -xzvf? hive-1.1.0-cdh5.14.0-src.tar.gz

$cd hive-1.1.0-cdh5.14.0-src

$mvn clean package -Pdist,native -DskipTests -Dtar

錯誤1:


這個編譯命令是我直接復(fù)制的hadoop的編譯命令(本人是maven小白),最后發(fā)現(xiàn)編譯報錯辣辫,說是缺少一些hadoop的jar包,經(jīng)過反復(fù)測試查找姐浮,懷疑是-P參數(shù)的問題卖鲤,所以去查了一下蛋逾,但是了解的還是不是特別清楚区匣,只是根據(jù)項目和資料修改了編譯命令(參考maven命令-P 參數(shù)引發(fā)的思考 - CSDN博客)

$mvn clean package -Phadoop2 -DskipTests -Dtar

注意:這個編譯命令還是不完整的亏钩,雖然編譯沒問題,但是不會產(chǎn)生編譯的tar包姑丑,需要修改成下方命令:

$mvn clean package -Phadoop2,dist -DskipTests -Dtar

錯誤2(該錯誤不影響編譯結(jié)果震肮,但是看著很礙眼):

org.apache.maven.project.ProjectBuildingException:Error resolving project artifact: Failure to transfer org.pentaho:pentaho-aggdesigner-algorithm:pom:5.1.5-jhyde from https://repository.cloudera.com/content/repositories/snapshots was cachedinthe local repository, resolution will not be reattempted until the update interval of cdh.snapshots.repohas elapsedorupdates are forced. Original error: Could not transfer artifact org.pentaho:pentaho-aggdesigner-algorithm:pom:5.1.5-jhyde from/to cdh.snapshots.repo(https://repository.cloudera.com/content/repositories/snapshots): Failed to transfer file: https://repository.cloudera.com/content/repositories/snapshots/org/pentaho/pentaho-aggdesigner-algorithm/5.1.5-jhyde/pentaho-aggdesigner-algorithm-5.1.5-jhyde.pom. Return code is:409, ReasonPhrase: Conflict. for project org.pentaho:pentaho-aggdesigner-algorithm:jar:5.1.5-jhyde

解決辦法:

修改pom.xml(在repositorys標(biāo)簽下添加)

5钙蒙、MySQL安裝配置

?參考 Linux安裝MySQL5.6(tar包安裝) - 簡書 躬厌,安裝完成后新建數(shù)據(jù)庫hive(編碼為latin1)

6扛施、安裝hive

$cd? /home/hadoop/source/hive-1.1.0-cdh5.14.0/packaging/target

$tar -xzvf? apache-hive-1.1.0-cdh5.14.0-bin.tar.gz? -C ? /home/hadoop/app/

$cd /home/hadoop/app/

$mv apache-hive-1.1.0-cdh5.14.0-bin? hive-1.1.0-cdh5.14.0

7疙渣、hive配置

$cd? hive-1.1.0-cdh5.14.0/conf

$cp hive-env.sh.template hive-env.sh

$vi? hive-env.sh

修改JAVA_HOME為真實路徑妄荔,添加HADOOP_HOME的路徑

$vi? hive-site.xml?? //該文件不存在啦租,需要創(chuàng)建

8篷角、啟動測試

$cd /home/hadoop/app/hadoop-2.6.0-cdh5.14.0/

$sbin/start-all.sh

$cd? /home/hadoop/app/hive-1.1.0-cdh5.14.0

$bin/hive

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市嘉蕾,隨后出現(xiàn)的幾起案子荆针,更是在濱河造成了極大的恐慌,老刑警劉巖航背,帶你破解...
    沈念sama閱讀 212,454評論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異棱貌,居然都是意外死亡玖媚,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,553評論 3 385
  • 文/潘曉璐 我一進(jìn)店門婚脱,熙熙樓的掌柜王于貴愁眉苦臉地迎上來今魔,“玉大人,你說我怎么就攤上這事障贸〈砩” “怎么了?”我有些...
    開封第一講書人閱讀 157,921評論 0 348
  • 文/不壞的土叔 我叫張陵篮洁,是天一觀的道長涩维。 經(jīng)常有香客問我,道長袁波,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,648評論 1 284
  • 正文 為了忘掉前任夭苗,我火速辦了婚禮坐求,結(jié)果婚禮上仔蝌,老公的妹妹穿的比我還像新娘渊鞋。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 65,770評論 6 386
  • 文/花漫 我一把揭開白布衡奥。 她就那樣靜靜地躺著,像睡著了一般根时。 火紅的嫁衣襯著肌膚如雪替裆。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,950評論 1 291
  • 那天儿咱,我揣著相機與錄音,去河邊找鬼揭北。 笑死恨樟,一個胖子當(dāng)著我的面吹牛计螺,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 39,090評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼潜秋,長吁一口氣:“原來是場噩夢啊……” “哼辜窑!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,817評論 0 268
  • 序言:老撾萬榮一對情侶失蹤蔚叨,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,275評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡媳荒,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,592評論 2 327
  • 正文 我和宋清朗相戀三年田柔,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,724評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡雄可,死狀恐怖聪舒,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情间涵,我是刑警寧澤,帶...
    沈念sama閱讀 34,409評論 4 333
  • 正文 年R本政府宣布,位于F島的核電站秽褒,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏约谈。R本人自食惡果不足惜迈勋,卻給世界環(huán)境...
    茶點故事閱讀 40,052評論 3 316
  • 文/蒙蒙 一拓哺、第九天 我趴在偏房一處隱蔽的房頂上張望脖母。 院中可真熱鬧士鸥,春花似錦、人聲如沸谆级。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,815評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽肥照。三九已至脚仔,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間舆绎,已是汗流浹背鲤脏。 一陣腳步聲響...
    開封第一講書人閱讀 32,043評論 1 266
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留吕朵,地道東北人猎醇。 一個月前我還...
    沈念sama閱讀 46,503評論 2 361
  • 正文 我出身青樓,卻偏偏與公主長得像努溃,于是被迫代替她去往敵國和親硫嘶。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,627評論 2 350

推薦閱讀更多精彩內(nèi)容