--------hive 數(shù)據(jù)倉庫
hive底層執(zhí)行引擎有 MapReduce Tez Spark
壓縮 GZIP LZO Snappy BZIP2等
存儲 TextFile SequenceFile RCFile ORC Parquet
UDF 自定義函數(shù)
環(huán)境搭建
1）hive下載 http://archive.clordera.com/cdh5/cdh/5/
wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0
2)解壓 tar -zxvf hive-1.1.0-cdh5.7.0.tar.gz -C ~/app/
3)配置 ~/.bash_profile
export HIVE_HOME =/home/hadoop/app/hive-1.1.0-cdh5.7.0
export PATH=$HIVE_HOME/bin:$PATH
事先安裝一個mysql yum install xxx
cp hive-env.sh.template hive-env.sh
vi hive-env.sh
HADOOP_HOME=hadoop根目錄
vi hive-site.xml
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/sparksql?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>z
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
</property>
</configuration>
進入hive根目錄
cd lib
將mysql的驅(qū)動包 拷貝到這里 驅(qū)動包可以自己下載（mysql-connector-java-5.1.27-bin.jar之類）啟動hive
進入hive根目錄
cd bin
./hive
-----hive 基礎(chǔ)操作
創(chuàng)建hive表
create table hive_wordcount2(context string);
此時mysql中的sparksql庫的TBLS中就有數(shù)據(jù)了
加載數(shù)據(jù)到hive表
LOAD DATA LOCAL INPATH '/home/hadoop/data/hello.txt' INTO TABLE hive_wordcount2
查詢hive表
select word,count(1) from hive_wordcount2 lateral view explode(split(context,'\t')) wc as word group by word;
lateral view explode 把每行記錄按照指定分隔符拆解
在yarn的web頁面上 可以看到我們執(zhí)行過的語句
hive ql 提交執(zhí)行以后會產(chǎn)生mapreduce作業(yè) 并在yarn上運行
