Hive的安裝與配置

1桑孩、因為我使用MySQL做為Hive的元數(shù)據庫,所以先安裝MySQL夯辖。

參考:http://www.cnblogs.com/hunttown/p/5452205.html

登錄命令:mysql -h主機地址 -u用戶名 -p用戶密碼

mysql –u root#初始登錄沒有密碼

修改密碼

格式:mysqladmin -u用戶名 -p舊密碼 password 新密碼

mysql>mysqladmin -uroot –password 123456

注:因為開始時root沒有密碼爱榔,所以-p舊密碼一項就可以省略了。

創(chuàng)建用于hive的用戶hadoopuser

創(chuàng)建用戶命令:CREATE USER username@"host" IDENTIFIED BY 'password';

mysql> CREATE USER hadoopuser@"192.168.254.151" IDENTIFIED BY '123456';

授權命令:GRANT privileges ON databasename.tablename TO 'username'@'host'

mysql> GRANT ALL PRIVILEGES ON *.* TO hadoopuser@"192.168.254.151" WITH GRANT OPTION;

創(chuàng)建用戶和授權可以一起做:

mysql> GRANT ALL PRIVILEGES ON *.* TO hadoopuser@"192.168.254.151" IDENTIFIED BY '123456' WITH GRANT OPTION;

創(chuàng)建數(shù)據庫hive,用于hive數(shù)據存儲

mysql> create database hive

2脐雪、解壓hive到 /home/hadoopuser/

3、切換到root用戶恢共,加入環(huán)境變量:

export HIVE_HOME=/home/hadoopuser/hive

export PATH=$PATH:$HIVE_HOME/bin

4战秋、使用root用戶,給hive/bin增加權限

chmod 777 /hive/bin/*

5讨韭、配置文件

切換到? /hive/conf

cp hive-default.xml.template? hive-site.xml

cp hive-log4j.properties.template hive-log4j.properties#Hive-2.1.0沒有此配置項

(1)配置hive-site.xml

javax.jdo.option.ConnectionURLjdbc:mysql://192.168.254.156:3306/hive?createDatabaseIfNotExist=trueJDBC connect string for a JDBC metastore

javax.jdo.option.ConnectionDriverNamecom.mysql.jdbc.DriverDriver class name for a JDBC metastore

javax.jdo.option.ConnectionUserNamehadoopusername to use against metastore database

javax.jdo.option.ConnectionPassword123456password to use against metastore database

hive.metastore.warehouse.dir/user/hive/warehouselocation of default database for the warehouse

如果使用derby元數(shù)據庫脂信,則JDBC要配置成:

javax.jdo.option.ConnectionURLjdbc:derby:/opt/hive/metastore_db;create=trueJDBC connect string for a JDBC metastore

注1:倉庫目錄如果沒有要創(chuàng)建

hdfs dfs –mkdir /user/hive

hdfs dfs –mkdir -p/user/hive/warehouse

注2:mysql的驅動jar包要上傳到hive/lib下

(2)配置hive-log4j.properties

#log4j.appender.EventCounter=org.apache.hadoop.metrics.jvm.EventCounterlog4j.appender.EventCounter=org.apache.hadoop.log.metrics.EventCounter

6、在HDFS中創(chuàng)建/tmp和/user/hive/warehouse并設置權限

hadoop fs -mkdir /tmp

hadoop fs-mkdir -p /user/hive/warehouse

hadoop fs-chmod g+w /tmp

hadoop fs-chmod g+w /user/hive/warehouse

注:hadoop 命令換成了hdfs命令透硝,上面的命令如同下面的命令

hdfs dfs -mkdir /tmp

hdfs dfs-mkdir -p /user/hive/warehouse

hdfs dfs-chmod g+w /tmp

hdfs dfs-chmod g+w /user/hive/warehouse

7狰闪、手動上傳mysql的jdbc庫到hive/lib目錄。

http://mirror.bit.edu.cn/mysql/Downloads/Connector-J/

mysql-connector-java-5.1.22-bin.jar

8濒生、初始化? 如果使用derby元數(shù)據庫埋泵,那么需要進行初始化:

[hadoopuser@Hadoop-NN-01 ~]#schematool -initSchema -dbType derby#執(zhí)行成功信息Starting metastore schema initialization to 2.0.0Initialization script hive-schema-2.0.0.derby.sql

Initialization script completed

schemaTool completed

如果運行時出現(xiàn)以下錯誤,說明上面的步驟沒有執(zhí)行罪治,請執(zhí)行:

Exceptioninthread"main"java.lang.RuntimeException: Hive metastore database is not initialized. Please use schematool (e.g. ./schematool -initSchema -dbType ...) to create the schema.Ifneeded, don't forget to include the option to auto-create the underlying databaseinyour JDBC connection string (e.g. ?createDatabaseIfNotExist=trueformysql)

如果使用schematool初始化數(shù)據庫時出現(xiàn)以下錯誤:

Initialization script hive-schema-2.1.0.derby.sql

Error:FUNCTION'NUCLEUS_ASCII' already exists. (state=X0Y68,code=30000)

org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization FAILED! Metastore state would be inconsistent !!*** schemaTool failed ***

說明數(shù)據庫文件夾中已經存在一些文件丽声,解決方法就是清空數(shù)據庫文件夾(也就是前面配置的/opt/hive/metastore_db文件夾)

9、啟動hive

hive --service metastore &#啟動metastore服務hive --service hiveserver2 &#啟動hiveserver服務hive shell#啟動hive客戶端

Hive使用

1觉义、創(chuàng)建數(shù)據庫

CREATE DATABASE myhive;

2雁社、創(chuàng)建表

CREATE TABLE doc_hive (id int, username string, sex int, age int, email string, createtime string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

3、導入數(shù)據

LOAD DATA LOCAL INPATH '/home/hadoopuser/doc/t-1.txt' OVERWRITE INTO TABLE doc_hive ;

驗證:select * from myhive.doc_hive;

Hive的具體使用晒骇,在接下來的博客中會有體現(xiàn)霉撵。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市洪囤,隨后出現(xiàn)的幾起案子徒坡,更是在濱河造成了極大的恐慌,老刑警劉巖箍鼓,帶你破解...
    沈念sama閱讀 218,755評論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件崭参,死亡現(xiàn)場離奇詭異,居然都是意外死亡款咖,警方通過查閱死者的電腦和手機何暮,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,305評論 3 395
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來铐殃,“玉大人海洼,你說我怎么就攤上這事「焕埃” “怎么了坏逢?”我有些...
    開封第一講書人閱讀 165,138評論 0 355
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我是整,道長肖揣,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,791評論 1 295
  • 正文 為了忘掉前任浮入,我火速辦了婚禮龙优,結果婚禮上,老公的妹妹穿的比我還像新娘事秀。我一直安慰自己彤断,他們只是感情好,可當我...
    茶點故事閱讀 67,794評論 6 392
  • 文/花漫 我一把揭開白布易迹。 她就那樣靜靜地躺著宰衙,像睡著了一般。 火紅的嫁衣襯著肌膚如雪睹欲。 梳的紋絲不亂的頭發(fā)上供炼,一...
    開封第一講書人閱讀 51,631評論 1 305
  • 那天,我揣著相機與錄音句伶,去河邊找鬼劲蜻。 笑死,一個胖子當著我的面吹牛考余,可吹牛的內容都是我干的先嬉。 我是一名探鬼主播,決...
    沈念sama閱讀 40,362評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼楚堤,長吁一口氣:“原來是場噩夢啊……” “哼疫蔓!你這毒婦竟也來了?” 一聲冷哼從身側響起身冬,我...
    開封第一講書人閱讀 39,264評論 0 276
  • 序言:老撾萬榮一對情侶失蹤衅胀,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后酥筝,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體滚躯,經...
    沈念sama閱讀 45,724評論 1 315
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,900評論 3 336
  • 正文 我和宋清朗相戀三年嘿歌,在試婚紗的時候發(fā)現(xiàn)自己被綠了掸掏。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,040評論 1 350
  • 序言:一個原本活蹦亂跳的男人離奇死亡宙帝,死狀恐怖丧凤,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情步脓,我是刑警寧澤愿待,帶...
    沈念sama閱讀 35,742評論 5 346
  • 正文 年R本政府宣布浩螺,位于F島的核電站,受9級特大地震影響仍侥,放射性物質發(fā)生泄漏要出。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,364評論 3 330
  • 文/蒙蒙 一农渊、第九天 我趴在偏房一處隱蔽的房頂上張望厨幻。 院中可真熱鬧,春花似錦腿时、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,944評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至辆苔,卻和暖如春析藕,著一層夾襖步出監(jiān)牢的瞬間浮庐,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,060評論 1 270
  • 我被黑心中介騙來泰國打工否淤, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人棠隐。 一個月前我還...
    沈念sama閱讀 48,247評論 3 371
  • 正文 我出身青樓石抡,卻偏偏與公主長得像,于是被迫代替她去往敵國和親助泽。 傳聞我的和親對象是個殘疾皇子啰扛,可洞房花燭夜當晚...
    茶點故事閱讀 44,979評論 2 355

推薦閱讀更多精彩內容