hive安裝與配置

準(zhǔn)備工作

• 下載jdk8 jdk安裝配置略過(guò)
• 下載hadoop 略過(guò)
• 下載hive 下載對(duì)應(yīng)的發(fā)行版本即可

無(wú)論是準(zhǔn)備安裝2.X版本，或者3.X版本的hive奶浦，均建議使用jdk8灾杰，hive的版本要與hadoop版本對(duì)應(yīng).官網(wǎng)上會(huì)有介紹,注意查看烛亦。

url: hive官網(wǎng)下載

注意對(duì)照紅色標(biāo)注部分

安裝與配置

解壓tar包后,將hive-x-x重命名成hive,進(jìn)行配置工作

環(huán)境變量

vim ~/.bash_profile

新增如下射富，目錄請(qǐng)自行調(diào)整

# Hive
export HIVE_HOME=/usr/xxx/hive
export PATH=$PATH:$HIVE_HOME/bin

刷新環(huán)境變量

source ~/.bash_profile

hive配置

進(jìn)入$HIVE_HOME/conf目錄解虱，從自帶的.template文件中復(fù)制或者新建兩個(gè)文件

• hive-env.sh
• hive-site.xml

hive-env.sh內(nèi)容如下费变，路徑自行調(diào)整

export HADOOP_HEAPSIZE=2048
export HADOOP_HOME=/usr/hive/hadoop
export HIVE_CONF_DIR=/usr/hive/conf
export HIVE_AUX_JARS_PATH=/usr/hive/lib

hive-site.xml內(nèi)容如下摧扇，路徑同

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!--如果使用mysql數(shù)據(jù)庫(kù)做元數(shù)據(jù)庫(kù)需要配置-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://127.0.0.1:3306/hive</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <!--關(guān)閉驗(yàn)證-->
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>
    <!--設(shè)置hdfs上的存儲(chǔ)路徑 /hive是hdfs的上的路徑 不是系統(tǒng)路徑-->
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/hive</value>
    </property>
    <!--如果要開(kāi)啟遠(yuǎn)程連接配置如下-->
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://127.0.0.1:9083</value>
    </property>

    <property>
        <name>hive.server2.thrift.port</name>
        <value>10000</value>
    </property>

    <property>
        <name>hive.server2.thrift.bind.host</name>
        <value>127.0.0.1</value>
    </property>
    <!--如果要開(kāi)啟web管理界面配置如下-->
    <property>
        <name>hive.server2.webui.host</name>
        <value>127.0.0.1</value>
    </property>

    <property>
        <name>hive.server2.webui.port</name>
        <value>10002</value>
    </property>
    <!--不開(kāi)啟嚴(yán)格模式-->
    <property>
        <name>hive.exec.dynamic.partition.mode</name>
        <value>nonstrict</value>
    </property>
</configuration>

初始化元數(shù)據(jù)庫(kù)

元數(shù)據(jù)庫(kù)是用來(lái)記錄hive分區(qū)等等信息的數(shù)據(jù)庫(kù)，一般使用關(guān)系型數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)挚歧，hive自帶了derby扛稽，當(dāng)然也可以使用mysql來(lái)弄

derby

$HIVE_HOME/bin/schematool -initSchema -dbType derby

自帶的derby用起來(lái)很不可描述，遲早你還是會(huì)回歸mysql的懷抱滑负。

mysql

先把mysql的jar包弄到hive的lib目錄. 懵懂小白不知道去哪找jar包?點(diǎn)我!

cp mysql-connector-java-5.1.38.jar /usr/hive/lib/

再登陸到mysql上,創(chuàng)建hive庫(kù)

mysql -u root -h 192.168.1.1 -p
create database hive;
exit;

最后初始化mysql

$HIVE_HOME/bin/schematool -dbType mysql -initSchema

登陸到mysql上查看結(jié)果,如圖:

元數(shù)據(jù)庫(kù)

hadoop配置

創(chuàng)建hive的寫(xiě)入目錄

hdfs dfs -mkdir /hive
hdfs dfs -chmod 777 /hive

修改hadoop的core-site.xml,配置寫(xiě)入用戶,新增內(nèi)容如下

    <property>
        <name>hadoop.proxyuser.zhangsheng.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.zhangsheng.groups</name>
        <value>*</value>
    </property>

將zhangsheng替換成你的用戶名

hive日志配置

注意:hive2.x版本配置hive-log4j.properties文件在张，hive3.x版本配置hive-log4j2.properties文件

由于每個(gè)人習(xí)慣不同，所以此處僅貼出我個(gè)人修改部分以供參考
hive-log4j.properties
只修改了如下4個(gè)屬性

hive.log.threshold=ALL
hive.root.logger=DEBUG,DRFA
hive.log.dir=/usr/logs/hive
hive.log.file=hive.log

hive-log4j2.properties

基本同上

property.hive.log.level = DEBUG
property.hive.log.dir = /usr/logs/hive
property.hive.log.file = hive.log

啟動(dòng)

先啟動(dòng)hadoop,然后命令行輸出hive直接啟動(dòng)hive,啟動(dòng)成功后輸出set;回車查看配置,如下:

set

開(kāi)啟遠(yuǎn)程訪問(wèn)

${HIVE_HOME}/bin/hive --service metastore >>/dev/null 2>&1 &
${HIVE_HOME}/bin/hive --service hiveserver2  >>/dev/null 2>&1 &

遠(yuǎn)程連接,端口位10000矮慕，可以使用datagrip或者其他支持hive的數(shù)據(jù)庫(kù)工具瞧掺，也可以使用beeline

jdbc:hive2://127.0.0.1:10000

如果展示datagrip訪問(wèn)

1

webui訪問(wèn)http://127.0.0.1:10002/,第一次會(huì)很慢，稍微等待會(huì)

web

常見(jiàn)錯(cuò)誤

Exception in thread "main" java.lang.NoSuchMethodError: 'void com.google.common.base.Preconditions.checkArgument(boolean, java.lang.String, java.lang.Object)'

hadoop中的guava包版本比hive的高

/Users/zhangsheng/cdh/hadoop/share/hadoop/yarn/csi/lib/guava-20.0.jar
/Users/zhangsheng/cdh/hive/lib/guava-19.0.jar
/Users/zhangsheng/cdh/spark/jars/guava-14.0.1.jar

刪除hive的低版本包,復(fù)制hadoop的高版本包過(guò)來(lái)

class jdk.internal.loader.ClassLoaders$AppClassLoader cannot be cast to class java.net.URLClassLoader 

安裝jdk8,不要使用高版本