一忘渔、初識Hive

1诬烹、Hive簡介

??? (1) 什么是Hive?

Hive是基于Hadoop的一個數(shù)據(jù)倉庫
可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)表溪胶，并提供類SQL查詢功能阔拳，Hive底層是將SQL語句轉(zhuǎn)換為MapReduce任務運行

??? (2)為什么使用Hive壶唤？

• 直接使用Hadoop的問題

（1）人員學習成本高雳灵，寫MapReduce程序時，就得要求學習人員對java有一定的了解视粮，這就多增加了一門課程的學習難度细办。
（2）項目周期要求太短，一般來說蕾殴，項目不是有太多的時間讓你去現(xiàn)學然后再來做笑撞，所以這就增加了初學者的難度。
（3）MapReduce 實現(xiàn)復雜查詢邏輯開發(fā)難度太大

• Hive的優(yōu)勢

（1）操作接口采用類 SQL 的語法钓觉，提供快速開發(fā)的能力
（2）避免寫 MapReduce茴肥，減少開發(fā)人員的學習成本
（3）功能擴展很方便

2、Hive架構(gòu)

對架構(gòu)的解釋
1荡灾、用戶接口

CLI：Shell 終端命令行瓤狐，最常用（學習、調(diào)試批幌、生產(chǎn)）
JDBC/ODBC：是 Hive 的 Java 實現(xiàn)础锐，與傳統(tǒng)數(shù)據(jù)庫 JDBC 類似， 用戶（開發(fā)員荧缘、運維人員） 通過這連接至 Hive Server
Web UI：通過瀏覽器訪問 Hive皆警，方式是ip:9999/hwi?

2、Thrift Server（跨語言服務）
3截粗、Metastore（元數(shù)據(jù)存儲）

1信姓、什么是元數(shù)據(jù)？
通俗的講绸罗，就是存儲在 Hive 中的數(shù)據(jù)的描述信息意推。
2、Hive 的元數(shù)據(jù)包括什么珊蟀？
表的名字菊值、表的列和分區(qū)及其屬性，表的屬性（是否為外部表等），表的數(shù)據(jù)所在目錄等俊性。
3略步、默認存在哪里？
MetaStore 默認存在自帶的 Derby 數(shù)據(jù)庫中
缺點：不適合多用戶操作定页，數(shù)據(jù)存儲目錄不固定趟薄。數(shù)據(jù)庫跟著 Hive 走（也就是說在哪啟動hive，derby數(shù)據(jù)庫就在哪）典徊，極度不方便管理杭煎。
解決方案：通常將其存在我們自己創(chuàng)建的 MySQL 庫中（本地 或 遠程）

4、解析器（驅(qū)動Driver）Hive的核心

組成結(jié)構(gòu)：
??? 編譯器（Compiler）
??? 優(yōu)化器（Optimizer）
??? 執(zhí)行器（Executor）
Driver 組件完成 HQL 查詢語句從詞法分析卒落、語法分析羡铲、編譯启绰、優(yōu)化以及邏輯執(zhí)行計劃的生成啥么。生成的邏輯執(zhí)行計劃存儲在 HDFS 中矛缨，并隨后由 MapReduce 調(diào)用執(zhí)行 扯饶。
執(zhí)行流程：
???輸入一條 HQL 查詢語句（select * from table）
???解析器對這條 HQL 語句進行語法分析
???編譯器對這條 HQL 語句生成 HQL 的執(zhí)行計劃
???優(yōu)化器生成最佳的 HQL 的執(zhí)行計劃
???執(zhí)行器執(zhí)行這條最佳 HQL 語句
HiveQL 通過命令行或者客戶端提交，經(jīng)過 Compiler 編譯器粉怕，運用 MetaStore 中的元數(shù)據(jù)進行類型檢測和語法分析吼句，生成一個邏輯方案(logical plan)根资，然后通過優(yōu)化處理费坊，產(chǎn)生一個 MapReduce 任務倒槐。

3、Hive 與 Hadoop 的關系

Hive的運行流程

Hive 依賴 HDFS 存儲數(shù)據(jù)
利用 MapReduce 查詢數(shù)據(jù)
所以說 Hive 是基于 Hadoop 的一個數(shù)據(jù)倉庫工具附井，實質(zhì)就是一款基于 HDFS 的 MapReduce 計算框架讨越。

4、Hive 和 RDBMS 的對比

總結(jié)：Hive 具有 SQL 數(shù)據(jù)庫的外表永毅，但應用場景完全不同把跨， Hive 適合用來做批量海量數(shù)據(jù)統(tǒng)計分析，也就是數(shù)據(jù)倉庫沼死。

5着逐、Hive 的數(shù)據(jù)存儲

數(shù)據(jù)存儲位置：HDFS
數(shù)據(jù)格式：沒有定義專門的數(shù)據(jù)存儲格式，數(shù)據(jù)格式可由用戶指定漫雕，只需要在創(chuàng)建表的時候指定三個屬性：
?列分隔符：空格、"\t"等
?行分隔符："\n"
?讀取文件數(shù)據(jù)的方法(默認為 TextFile)
??TextFile 為默認格式峰鄙，存儲方式為行存儲浸间。
??SequenceFile 二進制文件，以<key,value>的形式序列化到文件中吟榴，存儲方式為行存儲魁蒜。
??RCFile存儲方式為按行分塊，每塊按照列存儲。
數(shù)據(jù)模型
?db：數(shù)據(jù)庫
???在 HDFS 中表現(xiàn)為 ${hive.metastore.warehouse.dir} 目錄下一個文件夾(默認值為/user/hive/warehouse)
?table：普通表（內(nèi)部表）
???在 HDFS 中表現(xiàn)所屬 db 目錄下一個文件夾
?external table：外部表
???與 table 類似兜看，不過其數(shù)據(jù)存放位置可以在任意指定路徑
?partition：分區(qū)
???在 HDFS 中表現(xiàn)為 table 目錄下的子目錄
?bucket：分桶
???在 HDFS 中表現(xiàn)為同一個表目錄下根據(jù) hash 散列之后的多個文件锥咸，會根據(jù)不同的文件把數(shù)據(jù)放到不同的文件中

二、Hive 環(huán)境搭建

1细移、Hive 三種運行模式

1搏予、內(nèi)嵌模式
??元數(shù)據(jù)保存在本地內(nèi)嵌的 Derby 數(shù)據(jù)庫，這是使用 Hive 最簡單的方式弧轧。
這種方式缺點也比較明顯雪侥，因為一個內(nèi)嵌的 Derby 數(shù)據(jù)庫每次只能訪問一個數(shù)據(jù)文件，這也就意味著它不支持多會話連接精绎。并且數(shù)據(jù)存儲目錄不固定速缨，數(shù)據(jù)庫跟著 Hive 走，極度不方便管理代乃。
2旬牲、本地模式這種方式一般作為公司內(nèi)部同時使用 Hive
??元數(shù)據(jù)保存在本地獨立的數(shù)據(jù)庫中（一般是 MySQL）
??多用戶的模式，允許多個用戶連接到一個數(shù)據(jù)庫
前提：每個用戶必須要有對 MySQL 的訪問權(quán)利搁吓，即用戶需要知道 MySQL 的用戶名和密碼原茅。
3、遠程模式
??此模式應用于 Hive 客戶端較多的情況
??把 MySQL 數(shù)據(jù)庫獨立出來擎浴，將元數(shù)據(jù)保存在遠程獨立的數(shù)據(jù)庫中（一般是 MySQL）避免了在每個客戶端都安裝 MySQL 服務從而造成冗余浪費的情況
??多用戶的模式
好處：無需知道 MySQL 的用戶名和密碼

2员咽、Hive的安裝

?? (1)前期準備

1）保證 Hadoop 集群搭建成功并啟動
Hadoop集群的搭建參考：http://www.reibang.com/p/f9aaeabc4ad4
2）下載 Hive 安裝包并上傳至 Linux 服務器
下載地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/
官網(wǎng)：https://hive.apache.org/
或者在網(wǎng)盤下載：https://pan.baidu.com/s/1oJGOVtpKx1MaUFIe2w8SyA
使用命令上傳下載的文件apache-hive-1.2.1-bin.tar到Linux

我在桌面上建立了一個software目錄，hadoop安裝的時候也放在這里了贮预。這里也將hive上傳并安裝到此目錄贝室。

[cj@hadoop-01 software]$ rz

3）解壓 Hive 安裝包

[cj@hadoop-01 software]$ tar -zxvf apache-hive-1.2.1-bin.tar.gz

解壓后hive包的名字很長，為了方便使用仿吞，我先改個名字滑频，改成hive-1.2.1

[cj@hadoop-01 software]$ mv apache-hive-1.2.1-bin hive-1.2.1

4）配置環(huán)境變量
要配置環(huán)境變量，需要知道hive的家目錄(即解壓在哪里了)唤冈，可以通過以下方式獲得峡迷，進入解壓hive的目錄，再進入hive你虹，然后使用pwd得到的值就是我們配置環(huán)境變量時需要的結(jié)果
注意：每個人的路徑不一樣绘搞，需要根據(jù)自己的Hive的實際解壓路徑來確定，我的是/home/cj/Desktop/software/hive-1.2.1

[cj@hadoop-01 software]$ cd hive-1.2.1/
[cj@hadoop-01 hive-1.2.1]$ pwd
/home/cj/Desktop/software/hive-1.2.1

把自己pwd得到的這個路徑/home/cj/Desktop/software/hive-1.2.1復制下來傅物，以便配置環(huán)境變量對的時候使用

編輯配置文件夯辖，使用命令：

vim  ~/.bash_profile

將將以下內(nèi)容添加到配置文件的底部

export HIVE_HOME=/home/cj/Desktop/software/hive-1.2.1
export PATH=$PATH:$HIVE_HOME/bin

讓配置文件立即生效：

source ~/.bash_profile

驗證 Hive，Hive 沒有提供 hive –version 這種方式查看版本董饰，所以使用如下命令：

hive --help

到此hive的基礎配置完成蒿褂，接下來是三種模式的搭建

??(2)三種運行模式

??1圆米、內(nèi)嵌模式安裝

(1)切換到 HIVE_HOME/conf 目錄下，修改 hive-env.sh 配置文件：

[cj@hadoop-01 ~]$ cd Desktop/software/hive-1.2.1/conf/

會發(fā)現(xiàn)里邊是沒有hive-env.sh娄帖，只有一個hive-env.sh.template，使用cp命令復制一份并命名成hive-env.sh

[cj@hadoop-01 conf]$ cp hive-env.sh.template hive-env.sh

(2)在 hive-env.sh 中添加 Hadoop 安裝目錄：

這個是根據(jù)自己的hadoop的安裝目錄來確定的昙楚，我的是/home/cj/Desktop/software/hadoop-2.6.5
如果不記得hadoop的安裝路徑近速，可以通過下邊的命令來查

[cj@hadoop-01 conf]$ echo $HADOOP_HOME
/home/cj/Desktop/software/hadoop-2.6.5

或者直接查看~/.bash_profile文件，里邊的HADOOP_HOME=后邊的值就是hadoop的安裝路徑桂肌，把這個路徑復制下來数焊。方便配置hive-env.sh的時候使用
把hadoop的安裝目錄添加到hive-env.sh中

[cj@hadoop-01 conf]$ vim hive-env.sh

替換 Hadoop 安裝包中的 jline
?? Hadoop（%HADOOP_HOME%/share/hadoop/yarn/lib）集群的 jline-0.9.94.jar 包版本過低，替換成 %HIVE_HOME%/lib 中的 jline-2.12.jar 包即可崎场。
注意：所有的節(jié)點都得替換佩耳，不是只有安裝 Hive 的節(jié)點

使用如下命令來復制hive中jline到hadoop中

[cj@hadoop-01 lib]$ cd ~/Desktop/software/hive-1.2.1/lib/
[cj@hadoop-01 lib]$ cp jline-2.12.jar ~/Desktop/software/hadoop-2.6.5/share/hadoop/yarn/lib/

然后刪除hadoop中的jline-0.9.94.jar，hadoop集群中的所有機器上都需要刪除jline-0.9.94.jar谭跨，并替換成jline-2.12.jar

[cj@hadoop-01 lib]$ cd ~/Desktop/software/hadoop-2.6.5/share/hadoop/yarn/lib/
[cj@hadoop-01 lib]$ rm -rf jline-0.9.94.jar 

刪除另外兩個節(jié)點上的jline-0.9.94.jar

[cj@hadoop-02 ~]$ cd ~/Desktop/software/hadoop-2.6.5/share/hadoop/yarn/lib/
[cj@hadoop-02 lib]$ rm -rf jline-0.9.94.jar 

[cj@hadoop-03 ~]$ cd ~/Desktop/software/hadoop-2.6.5/share/hadoop/yarn/lib/
[cj@hadoop-03 lib]$ rm -rf jline-0.9.94.jar 

然后再把hive中的jline拷貝到另外兩個節(jié)點的~/Desktop/software/hadoop-2.6.5/share/hadoop/yarn/lib/目錄下

[cj@hadoop-01 lib]$ scp -r jline-2.12.jar cj@hadoop-02:$PWD
[cj@hadoop-01 lib]$ scp -r jline-2.12.jar cj@hadoop-03:$PWD

這里直接使用主機名的前提是配置了hosts文件干厚，如果沒有，就直接用主機的ip螃宙。

使用 Hive 的三種連接方式之一：CLI 啟動 Hive

[cj@hadoop-01 ~]$ hive

使用quit退出hive

hive> quit;

在當前目錄生成一個 derby 文件和一個 metastore_db 目錄，這種存儲方式的弊端是在同一個目錄下同時只能有一個 Hive 客戶端能使用數(shù)據(jù)庫谆扎，否則會提示如下錯誤（這是一個很常見的錯誤）:

這樣挂捅，內(nèi)嵌模式就算是搭建完成了。

??2堂湖、本地模式安裝

??（1）安裝 MySQL

檢查以前是否安裝過 MySQL闲先，若有則卸載：
查找：rpm -qa | grep -i mysql

[cj@hadoop-01 ~]$ rpm -qa | grep -i mysql
mysql-libs-5.1.73-7.el6.x86_64

卸載：rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64
如果直接用普通用戶權(quán)限卸載是會出如下錯誤的。

[cj@hadoop-01 ~]$ rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64
error: can't create transaction lock on /var/lib/rpm/.rpm.lock (Permission denied)

用su命令提升為root權(quán)限,然后再卸載

[root@hadoop-01 cj]# rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64

刪除老版本 MySQL 的開發(fā)頭文件和庫：
??注意：卸載后 /var/lib/mysql（數(shù)據(jù)庫文件的存放目錄） 中的數(shù)據(jù)及 /etc/my.cnf（配置文件） 不會刪除无蜂， 確定沒用后就手工刪除伺糠。

[cj@hadoop-01 ~]$ rm -rf /usr/lib/mysql
[cj@hadoop-01 ~]$ rm -rf /usr/include/mysql
[cj@hadoop-01 ~]$ rm -f /etc/my.cnf
[cj@hadoop-01 ~]$ rm -rf /var/lib/mysql

準備安裝包，上傳至Linux服務器并解壓：
安裝包的下載地址：https://pan.baidu.com/s/1g6cW73kWlfMZBilPTL8tNg
下載好之后就上傳到Linnux斥季，這里還是傳到我的~/Desktop/software里邊的

解壓文件

[cj@hadoop-01 software]$ tar -xvf MySQL-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundle.tar 

安裝服務端Server：
安裝的時候得切到root用戶

[root@hadoop-01 software]# rpm -ivh MySQL-server-5.6.26-1.linux_glibc2.5.x86_64.rpm

完成之后會在打印的信息中有這么一段训桶，里邊指明了初始密碼的所在路徑，記住這個路徑酣倾，后邊用密碼的時候去里邊找

安裝客戶端client：

[root@hadoop-01 software]# rpm -ivh MySQL-client-5.6.26-1.linux_glibc2.5.x86_64.rpm

開啟MySQL服務：root權(quán)限

[root@hadoop-01 software]# service mysql start
Starting MySQL.. SUCCESS! 

登錄MySQL舵揭，初始密碼在/root/.mysql_secret這個文件里：

查看密碼,結(jié)合密碼登錄數(shù)據(jù)庫，使用命令：mysql -u<用戶名> -p<密碼>

[root@hadoop-01 mysql]# cat /root/.mysql_secret 
# The random password set for the root user at Thu Nov 15 19:25:39 2018 (local time): I6ZR7ypIGxvmHmhr
[root@hadoop-01 mysql]# mysql -uroot -pI6ZR7ypIGxvmHmhr

修改登錄密碼躁锡，使用命令：set PASSWORD=PASSWORD('密碼');午绳，命令不區(qū)分大小寫。
修改完成稚铣，退出MySQL箱叁，重新登錄驗證密碼是否修改成功

mysql> set password=password('123456');

增加遠程登錄權(quán)限(主要是允許xx用戶在Hive安裝主機上進行遠程登陸)，執(zhí)行以下三個命令：

mysql> grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
mysql> grant all privileges on *.* to 'root'@'hadoop-01' identified by '123456' with grant option;
mysql> flush privileges;

命令釋義：
grant 權(quán)限1,權(quán)限2,…權(quán)限n on 數(shù)據(jù)庫名稱 . 表名稱 to 用戶名@用戶地址 identified by '密碼';
當權(quán)限1,權(quán)限2,…權(quán)限n 被 all privileges 或者 all 代替惕医，表示賦予用戶全部權(quán)限耕漱。select， insert抬伺， update螟够， delete， create峡钓， drop妓笙， index， alter能岩， grant寞宫，references， reload拉鹃， shutdown辈赋， process， file 等 14 個權(quán)限膏燕。
數(shù)據(jù)庫名稱 . 表名稱：被*.*代替時钥屈，表示賦予用戶操作服務器上所有數(shù)據(jù)庫所有表的權(quán)限。
用戶名@用戶地址 ：用戶地址可以是 localhost坝辫，也可以是 ip 地址篷就、主機名、域名近忙。也可以用%（任何主機）地址連接竭业。'root'@'hadoop01'含義就是允許 root 用戶在 hadoop-01（Hive 安裝主機） 進行遠程登陸，并設置 root 用戶的密碼為 123456银锻。
with grant option：用于對象授權(quán)永品。使用 with grant option，被授權(quán)用戶可將所獲得的權(quán)限再次授予其它用戶或角色击纬。
flush privileges：告訴服務器重新加載授權(quán)表鼎姐。

（2）修改 Hive 配置（切回普通用戶）

1)修改 Hive 配置文件(路徑/home/cj/Desktop/software/hive-1.2.1/conf)，每個人的路徑不一樣更振，根據(jù)實際路徑來炕桨，使用命令：

[cj@hadoop-01 conf]$ vim hive-site.xml

在里邊加入如下的內(nèi)容

<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hadoop-01:3306/hivedb?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
<description>password to use against metastore database</description>
</property>
</configuration>

對各字段的解釋：
javax.jdo.option.ConnectionURL：JDBC連接字符串
javax.jdo.option.ConnectionDriverName：JDBC的driver
javax.jdo.option.ConnectionUserName：登錄數(shù)據(jù)庫的用戶名
javax.jdo.option.ConnectionPassword：登錄數(shù)據(jù)庫的密碼

修改hive-env.sh文件，在里邊把48行的注釋取消肯腕，然后把值改成hadoop的安裝目錄献宫，如圖：

2. 將 MySQL 的驅(qū)動包（mysql-connector-java-5.1.40-bin.jar）放到 %HIVE_HOME%/lib 目錄下,我的是/home/cj/Desktop/software/hive-1.2.1/lib，作用是方便遠程連接mysql实撒。
   下載地址：https://pan.baidu.com/s/1hGGhb6ehf27TflcE5vsg9Q
   準備好jar包后姊途，直接進入這個目錄涉瘾，用rz命令上傳即可。

[cj@hadoop-01 lib]$ rz

啟動mysql服務

[cj@hadoop-01 ~]$ service mysql start

啟動hive

[cj@hadoop-01 ~]$ hive

3贡茅、遠程模式安裝

(1)簡介

這種模式需要使用 HIVE_HOME/bin 目錄下提供的 beeline+hiveserver2 配合使用才可以秘蛇。
其原理就是將 metadata 作為一個單獨的服務進行啟動。各種客戶端通過 beeline 來連接顶考，連接之前無需知道數(shù)據(jù)庫的用戶名和密碼赁还。

(2)安裝步驟：

首先把hadoop-01上的hive的安裝包拷貝到hadoop-03的相同目錄上，我的所有服務器上都在桌面上建了相同的目錄~/Desktop/software,所以就拷貝到這個目錄下驹沿，使用如下命令：

[cj@hadoop-01 software]$ scp -r hive-1.2.1/ cj@hadoop-03:$PWD

等待復制完成艘策，然后可以在hadoop-03上看到hive的目錄hive-1.2.1

(1) 因其連接之前無需知道數(shù)據(jù)庫的用戶名和密碼，所以在/home/cj/Desktop/software/hive-1.2.1/conf下的配置文件 hive-site.xml 中只需要配置以下兩項即可渊季，其他步驟和本地模式一樣：
這里需要注意的是因為我們把hive和mysql都裝在了同一臺服務器上柬焕，所謂遠程連接，我們需要把mysql拷貝一份到其他的服務器梭域，這里是以hadoop-03作為遠程連接的機器斑举。

<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hadoop-01:3306/hivedb?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
</configuration>

(2)配置環(huán)境變量~/.bash_profile，把hive的安裝目錄添加進去病涨，使用pwd獲得全路徑富玷。

[cj@hadoop-03 conf]$ pwd
/home/cj/Desktop/software/hive-1.2.1/conf
[cj@hadoop-03 conf]$ vim ~/.bash_profile 

把以下兩個添加到.bash_profile的后邊

export HIVE_HOME=/home/cj/Desktop/software/hive-1.2.1
export PATH=$PATH:$HIVE_HOME/bin

讓配置文件立即生效

[cj@hadoop-03 conf]$ source ~/.bash_profile 

Hive 啟動 hive thrift 服務端，使用命令：

[cj@hadoop-01 hive-1.2.1]$ hiveserver2 

如圖：這里標明了操作狀態(tài)

啟動后命令行會一直監(jiān)聽不退出既穆，然后我們再創(chuàng)建一個hadoop-01的連接赎懦，使用進程查看命令netstat -natp查看，我們可以看到它監(jiān)聽了10000端口：

然后在hadoop-03中執(zhí)行 beeline 命令（在哪個路徑下執(zhí)行都可以）：

[cj@hadoop-03 conf]$ beeline

默認端口為 10000幻工，可通過 hive.server2.thrift.port 參數(shù)調(diào)整,beeline> !connect jdbc:hive2://hadoop-01:10000励两，這條命令之中，hadoop-01：mysql所在的節(jié)點囊颅，我的是把mysql裝在了hadoop-01上当悔，還有，在這里使用hadoop-01的前提是配置了/etc/hosts里邊配置了地址映射（每臺機器都需要）

看到這樣的結(jié)果就說明遠程模式搭建可以了踢代。

3盲憎、 Hive 的三種連接方式

1、CLI
2胳挎、HiveServer2/beeline
3饼疙、Web UI這種方式相對前兩種來說，用得比較少慕爬，所以這里不做詳細介紹窑眯。這個還需要額外的配置屏积。