一 Hive基本概念
1??什么是
hive
?Hive:由
?Hive是基于Hadoop的一個數(shù)據(jù)倉庫工具,可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射成為一張表,并提供類SQL查詢功能.
?本質(zhì)是:將HQL轉(zhuǎn)化成MapReduce程序?1)Hive處理的數(shù)據(jù)存儲在HDFS上;
?2)Hive分析數(shù)據(jù)底層的實現(xiàn)是MapReduce;
?3) 執(zhí)行程序運行在Yarn上;
2??
Hive的優(yōu)缺點
?1??優(yōu)點
??1) 操作接口采用類SQL語法,提供快速開發(fā)的能力;
??2) 避免了去寫MapReduce,減少開發(fā)人員的學(xué)習(xí)成本;
??3)Hive的執(zhí)行延遲比較高,因此Hive常用于數(shù)據(jù)分析,對實時性要求不高的場景;
??4)Hive優(yōu)勢在于處理大數(shù)據(jù),對于處理小數(shù)據(jù)沒有優(yōu)勢,因為Hive的執(zhí)行延遲比較高.
??5)Hive支持用戶自定義函數(shù),用戶可以根據(jù)自己的需求來實現(xiàn)自己的函數(shù).
?2??缺點
??1)Hive的HQL表達(dá)能力有限
???① 迭代式算法無法表達(dá);
???② 數(shù)據(jù)挖掘方面不擅長,由于MapReduce數(shù)據(jù)處理流程的限制,效率更高的算法卻無法實現(xiàn);
??2)Hive的效率比較低
???①Hive自動生成的MapReduce作業(yè),通常情況下不夠智能化;
???②Hive調(diào)優(yōu)比較困難,粒度比較粗;
3??
Hive架構(gòu)原理?1) 用戶接口Client:CLI（command-line interface）、JDBC/ODBC(jdbc訪問hive)禁荒、WEBUI（瀏覽器訪問hive）;
?2) 元數(shù)據(jù)Metastore: 元數(shù)據(jù)包括 [表名踊淳、表所屬的數(shù)據(jù)庫（默認(rèn)是default）歼指、表的擁有者呀伙、列/分區(qū)字段、表的類型（是否是外部表）凄硼、表的數(shù)據(jù)所在目錄等],默認(rèn)存儲在自帶的derby數(shù)據(jù)庫中苇瓣，推薦使用MySQL存儲Metastore;
?3)Hadoop: 使用HDFS進行存儲，使用MapReduce進行計算;
?4) 驅(qū)動器Driver:
??(1) 解析器SQL Parser：將SQL字符串轉(zhuǎn)換成抽象語法樹AST雏亚，這一步一般都用第三方工具庫完成缨硝，比如antlr；對AST進行語法分析罢低，比如表是否存在查辩、字段是否存在胖笛、SQL語義是否有誤;
??(2) 編譯器Physical Plan：將AST編譯生成邏輯執(zhí)行計劃;
??(3) 優(yōu)化器Query Optimizer：對邏輯執(zhí)行計劃進行優(yōu)化;
??(4) 執(zhí)行器Execution：把邏輯執(zhí)行計劃轉(zhuǎn)換成可以運行的物理計劃對于Hive來說，就是MR/Spark;??Hive通過給用戶提供的一系列交互接口宜岛，接收到用戶的指令SQL长踊，使用自己的Driver，結(jié)合元數(shù)據(jù)MetaStore萍倡，將這些指令翻譯成MapReduce身弊，提交到Hadoop中執(zhí)行，最后列敲，將執(zhí)行返回的結(jié)果輸出到用戶交互接口;
4??
Hive和數(shù)據(jù)庫比較
??由于Hive采用了類似SQL的查詢語言HQL(Hive Query Language)阱佛，因此很容易將Hive理解為數(shù)據(jù)庫。其實從結(jié)構(gòu)上來看戴而，Hive和數(shù)據(jù)庫除了擁有類似的查詢語言凑术，再無類似之處。本文將從多個方面來闡述Hive和數(shù)據(jù)庫的差異填硕。數(shù)據(jù)庫可以用在Online的應(yīng)用中麦萤，但是Hive是為數(shù)據(jù)倉庫而設(shè)計的，清楚這一點扁眯，有助于從應(yīng)用角度理解Hive的特性;
?1?? 查詢語言
??由于SQL被廣泛的應(yīng)用在數(shù)據(jù)倉庫中壮莹，因此，專門針對Hive的特性設(shè)計了類SQL的查詢語言HQL姻檀。熟悉SQL開發(fā)的開發(fā)者可以很方便的使用Hive進行開發(fā);
?2?? 數(shù)據(jù)存儲位置
??Hive是建立在Hadoop之上的命满，所有Hive的數(shù)據(jù)都是存儲在HDFS中的。而數(shù)據(jù)庫則可以將數(shù)據(jù)保存在塊設(shè)備或者本地文件系統(tǒng)中;
?3?? 數(shù)據(jù)更新
??由于Hive是針對數(shù)據(jù)倉庫應(yīng)用設(shè)計的绣版，而數(shù)據(jù)倉庫的內(nèi)容是讀多寫少的胶台。因此，Hive中不建議對數(shù)據(jù)的改寫杂抽，所有的數(shù)據(jù)都是在加載的時候確定好的诈唬。而數(shù)據(jù)庫中的數(shù)據(jù)通常是需要經(jīng)常進行修改的，因此可以使用INSERT INTO … VALUES添加數(shù)據(jù)缩麸，使用UPDATE … SET修改數(shù)據(jù);
?4?? 執(zhí)行
??Hive中大多數(shù)查詢的執(zhí)行是通過Hadoop提供的MapReduce來實現(xiàn)的铸磅。而數(shù)據(jù)庫通常有自己的執(zhí)行引擎;
?5?? 執(zhí)行延遲
??Hive在查詢數(shù)據(jù)的時候，由于沒有索引杭朱，需要掃描整個表阅仔，因此延遲較高。另外一個導(dǎo)致Hive執(zhí)行延遲高的因素是MapReduce框架弧械。由于MapReduce本身具有較高的延遲八酒，因此在利用MapReduce執(zhí)行Hive查詢時，也會有較高的延遲刃唐。相對的羞迷，數(shù)據(jù)庫的執(zhí)行延遲較低界轩。當(dāng)然，這個低是有條件的闭树，即數(shù)據(jù)規(guī)模較小耸棒，當(dāng)數(shù)據(jù)規(guī)模大到超過數(shù)據(jù)庫的處理能力的時候，Hive的并行計算顯然能體現(xiàn)出優(yōu)勢;
?6?? 可擴展性
??由于Hive是建立在Hadoop之上的报辱，因此Hive的可擴展性是和Hadoop的可擴展性是一致的（世界上最大的Hadoop集群在Yahoo!与殃，2009年的規(guī)模在4000臺節(jié)點左右）。而數(shù)據(jù)庫由于ACID語義的嚴(yán)格限制碍现，擴展行非常有限幅疼。目前最先進的并行數(shù)據(jù)庫Oracle 在理論上的擴展能力也只有100臺左右;
?7?? 數(shù)據(jù)規(guī)模
??由于Hive建立在集群上并可以利用MapReduce進行并行計算，因此可以支持很大規(guī)模的數(shù)據(jù)昼接；對應(yīng)的爽篷，數(shù)據(jù)庫可以支持的數(shù)據(jù)規(guī)模較小
二 Hive安裝
1??
Hive相關(guān)資源地址
?1. Hive官網(wǎng)地址 : http://hive.apache.org/
?2. 文檔查看地址 : https://cwiki.apache.org/confluence/display/Hive/GettingStarted
?3. 下載地址 : http://archive.apache.org/dist/hive/
?4. github地址 : https://github.com/apache/hive
2??
Hive安裝部署
?1.Hive安裝及配置（1）把apache-hive-1.2.1-bin.tar.gz上傳到linux的/opt/software目錄下; （2）解壓apache-hive-1.2.1-bin.tar.gz到/opt/module/目錄下面 : tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/; （3）修改apache-hive-1.2.1-bin.tar.gz的名稱為hive : mv apache-hive-1.2.1-bin/ hive; （4）修改/opt/module/hive/conf目錄下的hive-env.sh.template名稱為hive-env.sh : mv hive-env.sh.template hive-env.sh; （5）配置hive-env.sh文件 （a）配置HADOOP_HOME路徑 : export HADOOP_HOME=/opt/module/hadoop-2.7.2; （b）配置HIVE_CONF_DIR路徑 : export HIVE_CONF_DIR=/opt/module/hive/conf;?2.
Hadoop集群配置（1）必須啟動hdfs和yarn （a）sbin/start-dfs.sh （b）sbin/start-yarn.sh （2）在HDFS上創(chuàng)建/tmp和/user/hive/warehouse兩個目錄并修改他們的同組權(quán)限可寫 （a）bin/hadoop fs -mkdir /tmp （b）bin/hadoop fs -mkdir -p /user/hive/warehouse （c）bin/hadoop fs -chmod g+w /tmp （d）bin/hadoop fs -chmod g+w /user/hive/warehouse?3.
Hive基本操作（1）啟動hive : bin/hive （2）查看數(shù)據(jù)庫 : hive> show databases; （3）打開默認(rèn)數(shù)據(jù)庫 : hive> use default; （4）顯示default數(shù)據(jù)庫中的表 : hive> show tables; （5）創(chuàng)建一張表 : hive> create table student(id int, name string); （6）顯示數(shù)據(jù)庫中有幾張表 : hive> show tables; （7）查看表的結(jié)構(gòu) : hive> desc student; （8）向表中插入數(shù)據(jù) : hive> insert into student values(1000,"ss"); （9）查詢表中數(shù)據(jù) : hive> select * from student; （10）退出hive : hive> quit; 說明：（查看hive在hdfs中的結(jié)構(gòu)） 數(shù)據(jù)庫：在hdfs中表現(xiàn)為${hive.metastore.warehouse.dir}目錄下一個文件夾 表：在hdfs中表現(xiàn)所屬db目錄下一個文件夾，文件夾中存放該表中的具體數(shù)據(jù)
3??將本地文件導(dǎo)入
Hive案例
?需求 : 將本地/opt/module/datas/student.txt這個目錄下的數(shù)據(jù)導(dǎo)入到hive的student(id int, name string)表中慢睡。
1．?dāng)?shù)據(jù)準(zhǔn)備在/opt/module/datas這個目錄下準(zhǔn)備數(shù)據(jù) （1）在/opt/module/目錄下創(chuàng)建datas : mkdir datas （2）在/opt/module/datas/目錄下創(chuàng)建student.txt文件并添加數(shù)據(jù) （a）touch student.txt （b）vi student.txt 1001 zhangshan 1002 lishi 1003 zhaoliu 注意以tab鍵間隔逐工。
Hive實際操作（1）啟動hive : bin/hive; （2）顯示數(shù)據(jù)庫 : show databases; （3）使用default數(shù)據(jù)庫 : use default; （4）顯示default數(shù)據(jù)庫中的表 : show tables; （5）刪除已創(chuàng)建的student表 : drop table student; （6）創(chuàng)建student表, 并聲明文件分隔符’\t’ : create table student(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'; （7）加載/opt/module/datas/student.txt 文件到student數(shù)據(jù)庫表中 : load data local inpath '/opt/module/datas/student.txt' into table student; （8）Hive查詢結(jié)果 : select * from student; 1001 zhangshan 1002 lishi 1003 zhaoliu Time taken: 0.266 seconds, Fetched: 3 row(s)3．遇到的問題 : 再打開一個客戶端窗口啟動
hive，會產(chǎn)生java.sql.SQLException異常Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522) at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:677) at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:621) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:606) at org.apache.hadoop.util.RunJar.run(RunJar.java:221) at org.apache.hadoop.util.RunJar.main(RunJar.java:136) Caused by: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1523) at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.<init>(RetryingMetaStoreClient.java:86) at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:132) at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:104) at org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient(Hive.java:3005) at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:3024) at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:503) ... 8 more
Metastore默認(rèn)存儲在自帶的derby數(shù)據(jù)庫中而derby不支持此操作推薦使用MySQL存儲Metastore;
4??
MySql安裝
- 安裝包準(zhǔn)備
1．查看mysql是否安裝漂辐，如果安裝了泪喊，卸載mysql （1）查看 : rpm -qa|grep mysql mysql-libs-5.1.73-7.el6.x86_64 （2）卸載 : rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64 2．解壓mysql-libs.zip文件到當(dāng)前目錄 （1）unzip mysql-libs.zip 3．進入到mysql-libs文件夾下 : ll 總用量 76048 -rw-r--r--. 1 root root 18509960 3月 26 2015 MySQL-client-5.6.24-1.el6.x86_64.rpm -rw-r--r--. 1 root root 3575135 12月 1 2013 mysql-connector-java-5.1.27.tar.gz -rw-r--r--. 1 root root 55782196 3月 26 2015 MySQL-server-5.6.24-1.el6.x86_64.rpm
- 安裝
MySql服務(wù)器1．安裝mysql服務(wù)端 : rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm 2．查看產(chǎn)生的隨機密碼 : cat /root/.mysql_secret OEXaQuS8IWkG19Xs 3．查看mysql狀態(tài) : service mysql status 4．啟動mysql : service mysql start
- 安裝
MySql客戶端1．安裝mysql客戶端 : rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm 2．鏈接mysql : mysql -uroot -pOEXaQuS8IWkG19Xs 3．修改密碼 : SET PASSWORD=PASSWORD('000000'); 4．退出mysql : exit
- 修改
MySql中user表的主機配置(配置只要是root用戶+密碼，在任何主機上都能登錄MySQL數(shù)據(jù)庫)1．進入mysql : mysql -uroot -p000000 2．顯示數(shù)據(jù)庫 : show databases; 3．使用mysql數(shù)據(jù)庫 : use mysql; 4．展示mysql數(shù)據(jù)庫中的所有表 : show tables; 5．展示user表的結(jié)構(gòu) : desc user; 6．查詢user表 : select User, Host, Password from user; 7．修改user表髓涯，把Host表內(nèi)容修改為% : update user set host='%' where host='localhost'; 8．刪除root用戶的其他host delete from user where Host='hadoop102'; delete from user where Host='127.0.0.1'; delete from user where Host='::1'; 9．刷新 : flush privileges; 10．退出 : quit;
5??
Hive元數(shù)據(jù)配置到MySql
- 驅(qū)動拷貝
1．在/opt/software/mysql-libs目錄下解壓mysql-connector-java-5.1.27.tar.gz驅(qū)動包 tar -zxvf mysql-connector-java-5.1.27.tar.gz 2．拷貝/opt/software/mysql-libs/mysql-connector-java-5.1.27目錄下的mysql-connector-java-5.1.27-bin.jar到/opt/module/hive/lib/ cp mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib/
- 配置
Metastore到MySql1．在/opt/module/hive/conf目錄下創(chuàng)建一個hive-site.xml : vim hive-site.xml 2．根據(jù)官方文檔配置參數(shù)袒啼，拷貝數(shù)據(jù)到hive-site.xml文件中 https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://hadoop102:3306/metastore?createDatabaseIfNotExist=true</value> <description>JDBC connect string for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> <description>username to use against metastore database</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>000000</value> <description>password to use against metastore database</description> </property> </configuration>
- 配置完畢后，如果啟動
hive異常纬纪，可以重新啟動虛擬機蚓再。（重啟后，別忘了啟動hadoop集群）- 多窗口啟動
Hive測試1．先啟動MySQL : mysql -uroot -p000000 2．查看有幾個數(shù)據(jù)庫 : show databases; +--------------------+ | Database | +--------------------+ | information_schema | | mysql | | performance_schema | | test | +--------------------+ 2．再次打開多個窗口包各，分別啟動hive : bin/hive 3．啟動hive后摘仅，回到MySQL窗口查看數(shù)據(jù)庫，顯示增加了metastore數(shù)據(jù)庫 : show databases; +--------------------+ | Database | +--------------------+ | information_schema | | metastore | | mysql | | performance_schema | | test | +--------------------+
6??
HiveJDBC訪問1. 啟動hiveserver2服務(wù) : bin/hiveserver2 2. 啟動beeline : bin/beeline 3. 連接hiveserver2 beeline> !connect jdbc:hive2://hadoop102:10000（回車） Connecting to jdbc:hive2://hadoop102:10000 Enter username for jdbc:hive2://hadoop102:10000: atguigu（回車） Enter password for jdbc:hive2://hadoop102:10000: （直接回車） Connected to: Apache Hive (version 1.2.1) Driver: Hive JDBC (version 1.2.1) Transaction isolation: TRANSACTION_REPEATABLE_READ 0: jdbc:hive2://hadoop102:10000> show databases; +----------------+--+ | database_name | +----------------+--+ | default | | hive_db2 | +----------------+--+
7??
Hive常用交互命令bin/hive -help usage: hive -d,--define <key=value> Variable subsitution to apply to hive commands. e.g. -d A=B or --define A=B --database <databasename> Specify the database to use -e <quoted-query-string> SQL from command line -f <filename> SQL from files -H,--help Print help information --hiveconf <property=value> Use value for given property --hivevar <key=value> Variable subsitution to apply to hive commands. e.g. --hivevar A=B -i <filename> Initialization SQL file -S,--silent Silent mode in interactive shell -v,--verbose Verbose mode (echo executed SQL to the console)1．“-e”不進入hive的交互窗口執(zhí)行sql語句 : bin/hive -e "select id from student;" 2．“-f”執(zhí)行腳本中sql語句 （1）在/opt/module/datas目錄下創(chuàng)建hivef.sql文件 : touch hivef.sql （a）文件中寫入正確的sql語句 : select *from student; （2）執(zhí)行文件中的sql語句 : bin/hive -f /opt/module/datas/hivef.sql （3）執(zhí)行文件中的sql語句并將結(jié)果寫入文件中 : bin/hive -f /opt/module/datas/hivef.sql > /opt/module/datas/hive_result.txt
8??
Hive其他命令操作1．退出hive窗口：exit/quit; 在新版的hive中沒區(qū)別了问畅，在以前的版本是有的： exit:先隱性提交數(shù)據(jù)娃属，再退出； quit:不提交數(shù)據(jù)按声，退出膳犹； 2．在hive cli命令窗口中如何查看hdfs文件系統(tǒng) : dfs -ls /; 3．在hive cli命令窗口中如何查看本地文件系統(tǒng) : ! ls /opt/module/datas; 4．查看在hive中輸入的所有歷史命令 （1）進入到當(dāng)前用戶的根目錄/root或/home/atguigu （2）查看. hivehistory文件 : cat .hivehistory
9??
Hive常見屬性配置
Hive數(shù)據(jù)倉庫位置配置1）Default數(shù)據(jù)倉庫的最原始位置是在hdfs上的：/user/hive/warehouse路徑下恬吕。 2）在倉庫目錄下签则，沒有對默認(rèn)的數(shù)據(jù)庫default創(chuàng)建文件夾。如果某張表屬于default數(shù)據(jù)庫铐料，直接在數(shù)據(jù)倉庫目錄下創(chuàng)建一個文件夾渐裂。 3）修改default數(shù)據(jù)倉庫原始位置（將hive-default.xml.template如下配置信息拷貝到hive-site.xml文件中）豺旬。 <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> <description>location of default database for the warehouse</description> </property> 4) 配置同組用戶有執(zhí)行權(quán)限 : bin/hdfs dfs -chmod g+w /user/hive/warehouse
- 查詢后信息顯示配置
1）在hive-site.xml文件中添加如下配置信息，就可以實現(xiàn)顯示當(dāng)前數(shù)據(jù)庫柒凉，以及查詢表的頭信息配置; <property> <name>hive.cli.print.header</name> <value>true</value> </property> <property> <name>hive.cli.print.current.db</name> <value>true</value> </property> 2）重新啟動hive族阅，對比配置前后差異;
Hive運行日志信息配置1．Hive的log默認(rèn)存放在/tmp/atguigu/hive.log目錄下（當(dāng)前用戶名下） 2．修改hive的log存放日志到/opt/module/hive/logs （1）修改/opt/module/hive/conf/hive-log4j.properties.template文件名稱為hive-log4j.properties mv hive-log4j.properties.template hive-log4j.properties （2）在hive-log4j.properties文件中修改log存放位置 : hive.log.dir=/opt/module/hive/logs
- 參數(shù)配置方式
1．查看當(dāng)前所有的配置信息 : set; 2．參數(shù)的配置三種方式 （1）配置文件方式 默認(rèn)配置文件：hive-default.xml 用戶自定義配置文件：hive-site.xml 注意：用戶自定義配置會覆蓋默認(rèn)配置。另外膝捞， Hive也會讀入Hadoop的配置坦刀，因為Hive是作為 Hadoop的客戶端啟動的，Hive的配置會覆蓋 Hadoop的配置蔬咬。配置文件的設(shè)定對本機啟動的 所有Hive進程都有效鲤遥。 （2）命令行參數(shù)方式 啟動Hive時，可以在命令行添加-hiveconf param=value來設(shè)定參數(shù)林艘。 例如：bin/hive -hiveconf mapred.reduce.tasks=10; 注意：僅對本次hive啟動有效 查看參數(shù)設(shè)置：mapred.reduce.tasks; （3）參數(shù)聲明方式 可以在HQL中使用SET關(guān)鍵字設(shè)定參數(shù) 例如：set mapred.reduce.tasks=100; 注意：僅對本次hive啟動有效盖奈。 3. 查看參數(shù)設(shè)置 : set mapred.reduce.tasks; 上述三種設(shè)定方式的優(yōu)先級依次遞增。即配置文件< 命令行參數(shù)<參數(shù)聲明狐援。注意某些系統(tǒng)級的參數(shù)钢坦，例 如log4j相關(guān)的設(shè)定，必須用前兩種方式設(shè)定啥酱，因為 那些參數(shù)的讀取在會話建立以前已經(jīng)完成了爹凹。
三 Hive數(shù)據(jù)類型
1??基本數(shù)據(jù)類型
?對于Hive的String類型相當(dāng)于數(shù)據(jù)庫的varchar類型，該類型是一個可變的字符串懈涛，不過它不能聲明其中最多能存儲多少個字符逛万，理論上它可以存儲2GB的字符數(shù);
2??集合數(shù)據(jù)類型
?Hive有三種復(fù)雜數(shù)據(jù)類型ARRAY、MAP和STRUCT批钠。ARRAY和MAP與Java中的Array和Map類似宇植，而STRUCT與C語言中的Struct類似，它封裝了一個命名字段集合埋心，復(fù)雜數(shù)據(jù)類型允許任意層次的嵌套;案例實操
- 假設(shè)某表有如下一行指郁，我們用
JSON格式來表示其數(shù)據(jù)結(jié)構(gòu)。在Hive下訪問的格式為{ "name": "songsong", "friends": ["bingbing" , "lili"] , //列表Array, "children": { //鍵值Map, "xiao song": 18 , "xiaoxiao song": 19 } "address": { //結(jié)構(gòu)Struct, "street": "hui long guan" , "city": "beijing" } }
- 基于上述數(shù)據(jù)結(jié)構(gòu)拷呆，我們在
Hive里創(chuàng)建對應(yīng)的表闲坎，并導(dǎo)入數(shù)據(jù)。
創(chuàng)建本地測試文件test.txtsongsong,bingbing_lili,xiao song:18_xiaoxiao song:19,hui long guan_beijing yangyang,caicai_susu,xiao yang:18_xiaoxiao yang:19,chao yang_beijing?注意：
MAP茬斧，STRUCT和ARRAY里的元素間關(guān)系都可以用同一個字符表示腰懂，這里用“_”。
Hive上創(chuàng)建測試表testcreate table test( name string, friends array<string>, children map<string, int>, address struct<street:string, city:string> ) row format delimited fields terminated by ',' collection items terminated by '_' map keys terminated by ':' lines terminated by '\n'; 字段解釋： row format delimited fields terminated by ',' -- 列分隔符 collection items terminated by '_' -- MAP STRUCT 和 ARRAY 的分隔符(數(shù)據(jù)分割符號) map keys terminated by ':' -- MAP中的key與value的分隔符 lines terminated by '\n'; -- 行分隔符
- 導(dǎo)入文本數(shù)據(jù)到測試表
load data local inpath ‘/opt/module/datas/test.txt’into table test- 訪問三種集合列里的數(shù)據(jù)项秉，以下分別是
ARRAY绣溜，MAP，STRUCT的訪問方式select friends[1],children['xiao song'],address.city from test where name="songsong"; OK _c0 _c1 city lili 18 beijing Time taken: 0.076 seconds, Fetched: 1 row(s)
3??類型轉(zhuǎn)化
?Hive的原子數(shù)據(jù)類型是可以進行隱式轉(zhuǎn)換的娄蔼，類似于Java的類型轉(zhuǎn)換怖喻，例如某表達(dá)式使用INT類型底哗，TINYINT會自動轉(zhuǎn)換為INT類型，但是Hive不會進行反向轉(zhuǎn)化锚沸，例如跋选，某表達(dá)式使用TINYINT類型，INT不會自動轉(zhuǎn)換為TINYINT類型哗蜈，它會返回錯誤前标，除非使用CAST操作;
1．隱式類型轉(zhuǎn)換規(guī)則如下
（1）任何整數(shù)類型都可以隱式地轉(zhuǎn)換為一個范圍更廣的類型，如TINYINT可以轉(zhuǎn)換成INT距潘，INT可以轉(zhuǎn)換成BIGINT;
（2）所有整數(shù)類型候生、FLOAT和STRING類型都可以隱式地轉(zhuǎn)換成DOUBLE;
（3）TINYINT、SMALLINT绽昼、INT都可以轉(zhuǎn)換為FLOAT;
（4）BOOLEAN類型不可以轉(zhuǎn)換為任何其它的類型;
2．可以使用CAST操作顯示進行數(shù)據(jù)類型轉(zhuǎn)換
?例如CAST('1' AS INT)將把字符串'1'轉(zhuǎn)換成整數(shù)1唯鸭；如果強制類型轉(zhuǎn)換失敗，如執(zhí)行CAST('X' AS INT)硅确，表達(dá)式返回空值NULL目溉。0: jdbc:hive2://hadoop102:10000> select '1'+2, cast('1'as int) + 2; +------+------+--+ | _c0 | _c1 | +------+------+--+ | 3.0 | 3 | +------+------+--+
