一、基本原理
Hive是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，可以將結(jié)構(gòu)化數(shù)據(jù)文件映射成一張表，并提供類似SQL的查詢功能缨该。Hive適用于大數(shù)據(jù)離線批處理蛤袒，不適合實(shí)時(shí)處理妙真，分為內(nèi)部表练般、外部表薄料，可對(duì)表進(jìn)行分區(qū)摄职、分桶，提升查詢效率歌懒。
（1）Hive不提供實(shí)時(shí)更新，只支持向現(xiàn)有的表中追加數(shù)據(jù)。
（2）Hive不存儲(chǔ)數(shù)據(jù)又跛，只提供SQL的解析慨蓝，將SQL轉(zhuǎn)化為MapReduce任務(wù)，提交到Y(jié)arn上此熬，數(shù)據(jù)存在在HDFS中募谎。
（3）Hive中表有分區(qū)表数冬、分桶表吉执，分區(qū)可按時(shí)間、地域等分區(qū)咕宿，但避免分區(qū)太細(xì)，產(chǎn)生過多小文件试浙；分桶表需要先定義桶的個(gè)數(shù)田巴，每行取哈希值再對(duì)桶個(gè)數(shù)取余，決定分到哪個(gè)桶中管宵。分桶表相比分區(qū)表，將數(shù)據(jù)劃分的更細(xì)炸庞，查詢效率更高燕雁。
（4）文件存儲(chǔ)：
TEXTFILE（默認(rèn)）僧免，行存儲(chǔ)
SequenceFile：二進(jìn)制鍵值對(duì)序列化存儲(chǔ)，行存儲(chǔ)
列存儲(chǔ)
（5）數(shù)據(jù)類型：除基本數(shù)據(jù)類型外（參考mysql）浊洞，還提供復(fù)雜數(shù)據(jù)類型：數(shù)組Array、Map苫亦、Struct自定義數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)。（定義與查詢參考文件示例）
二怨咪、Hive配置安裝
Hive中元數(shù)據(jù)默認(rèn)存在 derby數(shù)據(jù)庫(kù)中屋剑，生產(chǎn)中一般用mysql；元數(shù)據(jù)包括有哪些數(shù)據(jù)庫(kù)诗眨、數(shù)據(jù)庫(kù)中有哪些表唉匾、表結(jié)構(gòu)等信息。
安裝過程中巍膘，需要注意修改hive-sive.xml，配置數(shù)據(jù)庫(kù)的基本信息
注意：Hive使用環(huán)境變量HADOOP_HOME來(lái)制定Hadoop的所有相關(guān)JAR和配置文件油啤。 (通過環(huán)境變量找到hadoop相關(guān)環(huán)境和配置)典徘，所以安裝hive不需要在本身的配置文件中再次Hadoop環(huán)境。
三益咬、基本操作
創(chuàng)建數(shù)據(jù)庫(kù)：create database name;
創(chuàng)建表：
create table user_info(
user_id string,
area_id string,
age int,
occupation string
)
row format delimited fields terminated by '\t'? ? //存儲(chǔ)時(shí)字段間以 \t 分隔
lines terminated by '\n'
stored as textfile;
刪除表：drop table user_info;
其他內(nèi)部表、外部表操作見文件示例帜平。
數(shù)據(jù)庫(kù)在HDFS中存儲(chǔ)路徑：hadoop fs -ls /user/hive/warehouse/name.db? 幽告；內(nèi)部表會(huì)在該路徑生成相應(yīng)的表級(jí)目錄文件。
內(nèi)部表與外部表的區(qū)別：存儲(chǔ)路徑不一樣裆甩，外部表需要指定存儲(chǔ)路徑冗锁，內(nèi)部表使用默認(rèn)路徑；刪除外部表時(shí)嗤栓，數(shù)據(jù)再hdfs上還存在冻河，僅刪除表元數(shù)據(jù)信息箍邮。刪除內(nèi)部表時(shí)，數(shù)據(jù)再hdfs上也被刪除叨叙。生產(chǎn)中一般使用外部表锭弊。
表中添加數(shù)據(jù)，常用方式：
（1）使用load從本地加載數(shù)據(jù)到表student_info：
load data local inpath '/home/hadoop/apps/hive_test_data/student_info_data.txt' into table student_info;
（2）?使用load將hdfs文件加載到student_info表中
load data inpath '/student_info_data.txt'? （overwrite?）into table student_info;
overwrite into table擂错，以覆蓋方式添加
into table味滞，以追加方式添加
（3） insert into table a? select * from b；
這個(gè)會(huì)轉(zhuǎn)化成一個(gè)mapreduce任務(wù)钮呀，提交到y(tǒng)arn上運(yùn)行剑鞍，所以需要yarn相關(guān)服務(wù)起來(lái)，這個(gè)sql才能執(zhí)行爽醋。
外部表：hdfs直接把數(shù)據(jù)put到相應(yīng)目錄下蚁署，就可以查到了；分區(qū)表除外蚂四，如果表未分區(qū)表光戈，需要手動(dòng)建立分區(qū)，才能查詢到數(shù)據(jù)（alter table student_school_info_external_partition add partition(school_year='2017');
內(nèi)部表：需要hdfs put 到一個(gè)目錄下证杭，再用load加載到 默認(rèn)路徑下田度，才可以select到吧。解愤。镇饺。。送讲？
hive導(dǎo)出數(shù)據(jù)：
hive -e “select **” ?> ./result.txt
hive 的各種join操作奸笤。。?
不支持單條數(shù)據(jù)的更新操作哼鬓，insert 操作 -> MR?
四监右、高級(jí)操作
Hive提供的內(nèi)置函數(shù)若無(wú)法滿足業(yè)務(wù)需求，可自定義UDF函數(shù)异希。
步驟見文檔健盒。
distribute by,group by ，sorted by, order by 區(qū)別称簿。扣癣。
