Hive 安裝和配置

1 下載hive安裝包

下載地址:http://hive.apache.org/downloads.html
解壓到任意目錄

$ tar -zxvf apache-hive-2.1.1-bin.tar.gz

或 使用brew命令安裝

$ brew install hive

如果沒有特別設(shè)定過brew的路徑配置,那么文件會在目錄/usr/local/Cellar/hive

2 配置文件和環(huán)境變量

環(huán)境變量需要設(shè)置HIVE_HOME

export HIVE_HOME=/usr/local/Cellar/hive/2.1.0  
export $PATH:$HIVE_HOME/bin  

在路徑../hive/2.1.0/libexec/conf下提供了一些.template模板,拷貝文件并去掉.template后綴即可

2.1 hive-site.xml

將hive-default.xml.template文件復(fù)制一份甥角,并且改名為hive-site.xml

$ cp hive-default.xml.template hive-site.xml
在hive-site.xml中有這樣的配置:
<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
</property>
<property>
    <name>hive.exec.scratchdir</name>
    <value>/tmp/hive</value>
</property>

在hdfs中新建目錄/user/hive/warehouse/tmp/hive,賦予讀寫權(quán)限

$ hadoop fs -mkdir -p /user/hive/warehouse
$ hadoop fs -chmod 777 /user/hive/warehouse
$ hadoop fs -mkdir -p /tmp/hive
$ hadoop fs -chmod 777 /tmo/hive
修改hive-site.xml中的臨時目錄

將hive-site.xml文件中的${system:java.io.tmpdir}替換為本地hive的臨時目錄贩绕,并賦予讀寫權(quán)限
將${system:user.name}都替換為root
全部替換掉

修改hive-site.xml數(shù)據(jù)庫相關(guān)的配置
key memo
javax.jdo.option.ConnectionURL 將對應(yīng)的value修改為MySQL的地址
javax.jdo.option.ConnectionDriverName 將對應(yīng)的value修改為MySQL驅(qū)動類路徑
javax.jdo.option.ConnectionUserName 將對應(yīng)的value修改為MySQL數(shù)據(jù)庫登錄名
javax.jdo.option.ConnectionPassword 將對應(yīng)的value修改為MySQL數(shù)據(jù)庫的登錄密碼
hive.metastore.schema.verification 將對應(yīng)的value修改為false
修改后
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value></value>
</property>
<property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
</property>
下載MySQL驅(qū)動包到lib目錄

http://www.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.22.tar.gz/from/http://mysql.he.net/

2.2 hive-env.sh配置

將hive-env.sh.template文件復(fù)制一份火的,改名為hive-env.sh文件

打開hive-env.sh配置并且添加以下內(nèi)容:

export HADOOP_HOME=/usr/local/Cellar/hadoop/2.8.0/libexec
export HIVE_CONF_DIR=/usr/local/Cellar/hive/2.1.1/conf
export HIVE_AUX_JARS_PATH=/usr/local/Cellar/hive/2.1.1/lib

2.3 WebUI

Hive從2.0版本開始,為HiveServer2提供了一個簡單的WEB UI界面丧叽,界面中可以直觀的看到當(dāng)前鏈接的會話卫玖、歷史日志、配置參數(shù)以及度量信息踊淳。

<property>
    <name>hive.server2.webui.host</name>
    <value>127.0.0.1</value>
</property>
<property>
    <name>hive.server2.webui.port</name>
    <value>10002</value>
</property>

需要重啟HiveServer2

$ hive --service hiveserver2 &

啟動和測試

對MySQL數(shù)據(jù)庫進(jìn)行初始化

執(zhí)行成功后,hive數(shù)據(jù)庫里已經(jīng)有一堆表創(chuàng)建好了

$ cd $HIVE_HOME/bin/
$ schematool -initSchema -dbType mysql

啟動hive

$ cd $HIVE_HOME/bin/
$ ./hive

測試

進(jìn)入hive命令行
> show functions;
新建表以及導(dǎo)入數(shù)據(jù)的測試
> create database db_hive_edu;
> use db_hive_edu;
> create table student(id int,name string) row format delimited fields terminated by '\t';
# 將文件數(shù)據(jù)寫入表中
$ touch /opt/hive/student.txt
001 zhangsan
002 lisi
003 wangwu
004 zhaoliu
005 chenqi
# 載入表
> load data local inpath '/opt/hive/student.txt' into table db_hive_edu.student;
# 測試
> select * from student;
OK
001 zhangsan
002 lisi
003 wangwu
004 zhaoliu
005 chenqi
# 查看hdfs上數(shù)據(jù)
/user/hive/warehouse/db_hive_edu.db/student
# 在MySQL中查看
$ SELECT * FROM hive.TBLS;

錯誤和解決

警告 Unable to load native-hadoop library for yourplatform
實際上其實這個警告可以不予理會陕靠。

報錯There are 2 datanode(s) running and 2 node(s) areexcluded in this operation.
原因是你的hadoop中的datanode有問題迂尝,沒法寫入數(shù)據(jù),檢查hadoop是否正常運(yùn)行

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末剪芥,一起剝皮案震驚了整個濱河市垄开,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌税肪,老刑警劉巖溉躲,帶你破解...
    沈念sama閱讀 212,816評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異益兄,居然都是意外死亡锻梳,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,729評論 3 385
  • 文/潘曉璐 我一進(jìn)店門净捅,熙熙樓的掌柜王于貴愁眉苦臉地迎上來疑枯,“玉大人,你說我怎么就攤上這事蛔六【S溃” “怎么了?”我有些...
    開封第一講書人閱讀 158,300評論 0 348
  • 文/不壞的土叔 我叫張陵国章,是天一觀的道長具钥。 經(jīng)常有香客問我,道長液兽,這世上最難降的妖魔是什么骂删? 我笑而不...
    開封第一講書人閱讀 56,780評論 1 285
  • 正文 為了忘掉前任,我火速辦了婚禮抵碟,結(jié)果婚禮上桃漾,老公的妹妹穿的比我還像新娘。我一直安慰自己拟逮,他們只是感情好撬统,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,890評論 6 385
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著敦迄,像睡著了一般恋追。 火紅的嫁衣襯著肌膚如雪凭迹。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 50,084評論 1 291
  • 那天苦囱,我揣著相機(jī)與錄音嗅绸,去河邊找鬼。 笑死撕彤,一個胖子當(dāng)著我的面吹牛鱼鸠,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播羹铅,決...
    沈念sama閱讀 39,151評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼蚀狰,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了职员?” 一聲冷哼從身側(cè)響起麻蹋,我...
    開封第一講書人閱讀 37,912評論 0 268
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎焊切,沒想到半個月后扮授,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,355評論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡专肪,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,666評論 2 327
  • 正文 我和宋清朗相戀三年刹勃,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片牵祟。...
    茶點(diǎn)故事閱讀 38,809評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡深夯,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出诺苹,到底是詐尸還是另有隱情咕晋,我是刑警寧澤,帶...
    沈念sama閱讀 34,504評論 4 334
  • 正文 年R本政府宣布收奔,位于F島的核電站掌呜,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏坪哄。R本人自食惡果不足惜质蕉,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,150評論 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望翩肌。 院中可真熱鬧模暗,春花似錦、人聲如沸念祭。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,882評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽粱坤。三九已至隶糕,卻和暖如春瓷产,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背枚驻。 一陣腳步聲響...
    開封第一講書人閱讀 32,121評論 1 267
  • 我被黑心中介騙來泰國打工濒旦, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人再登。 一個月前我還...
    沈念sama閱讀 46,628評論 2 362
  • 正文 我出身青樓尔邓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親锉矢。 傳聞我的和親對象是個殘疾皇子铃拇,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,724評論 2 351

推薦閱讀更多精彩內(nèi)容