hive命令匯總

前臺啟動(dòng)（服務(wù)端）
cd  /export/servers/hive-1.1.0-cdh5.14.0
bin/hive --service hiveserver2


后臺啟動(dòng)（服務(wù)端）
cd  /export/servers/hive-1.1.0-cdh5.14.0
nohup bin/hive --service hiveserver2  &

###    beeline 鏈接 hiveserver2
bin/beeline
beeline> !connect jdbc:hive2://node03.hadoop.com:10000


第三種交互方式（客戶端）
###  使用 –e  參數(shù)來直接執(zhí)行hql的語句
bin/hive -e "use myhive;select * from test;"

###  使用 –f  參數(shù)通過指定文本文件來執(zhí)行hql的語句
vim hive.sql
use myhive;select * from test;

bin/hive -f hive.sql

===============================================================

1、創(chuàng)建數(shù)據(jù)庫

create database if not exists myhive;
use  myhive;

###  說明：hive的表存放位置模式是由hive-site.xml當(dāng)中的一個(gè)屬性指定的
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>

###  創(chuàng)建數(shù)據(jù)庫并指定hdfs存儲位置
create database myhive2 location '/myhive2';

###  修改數(shù)據(jù)庫（可以使用alter  database  命令來修改數(shù)據(jù)庫的一些屬性反璃。但是數(shù)據(jù)庫的元數(shù)據(jù)信息是不可更改的昵慌，包括數(shù)據(jù)庫的名稱以及數(shù)據(jù)庫所在的位置）
alter  database  myhive2  set  dbproperties('createtime'='20180611');

###  查看數(shù)據(jù)庫詳細(xì)信息
desc  database  myhive2;  ## 基本信息
desc database extended  myhive2;  ## 詳細(xì)信息

###  刪除數(shù)據(jù)庫
drop  database  myhive2;    ## 刪除一個(gè)空數(shù)據(jù)庫，如果數(shù)據(jù)庫下面有數(shù)據(jù)表淮蜈，那么就會報(bào)錯(cuò)
drop  database  myhive  cascade;  ## 強(qiáng)制刪除數(shù)據(jù)庫斋攀，包含數(shù)據(jù)庫下面的表一起刪除

2、創(chuàng)建表

##################   總語法   ############
CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
   [(col_name data_type [COMMENT col_comment], ...)]
   [COMMENT table_comment]
   [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]
   [CLUSTERED BY (col_name, col_name, ...)
   [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]
   [ROW FORMAT row_format]
   [STORED AS file_format]
   [LOCATION hdfs_path]

1）內(nèi)部表

# hive表初體驗(yàn)
use myhive;
create table stu(id int,name string);
insert into stu values (1, "zhangsan");
select * from stu;

# 創(chuàng)建表并指定字段之間的分隔符
create  table if not exists stu2(id int ,name string) \
    row format delimited fields terminated by '\t' \
    stored as textfile \
    location '/user/stu2';
    
# 根據(jù)查詢結(jié)果創(chuàng)建表
create table stu3 as select * from stu2;

# 根據(jù)已經(jīng)存在的表結(jié)構(gòu)創(chuàng)建表
create table stu4 like stu2;

# 查詢表的類型
desc formatted stu2;

2) 外部表

# 老師表
create external table techer (t_id string,t_name string) \
    row format delimited fields terminated by '\t';
# 學(xué)生表
create external table student (s_id string,s_name string,s_birth string , s_sex string ) \
    row format delimited fields terminated by '\t';

# 從本地文件系統(tǒng)向表中加載數(shù)據(jù)
load data local inpath '/export/servers/hivedatas/student.csv' \
    into table student;

# 加載并覆蓋已有的數(shù)據(jù)
load data local inpath '/export/servers/hivedatas/student.csv' \
    overwrite  into table student;

# 從hdfs文件系統(tǒng)像表中添加數(shù)據(jù)(需要提前將數(shù)據(jù)上傳到hdfs文件系統(tǒng)梧田，其實(shí)就是一個(gè)移動(dòng)文件的操作)
cd /export/servers/hivedatas
hdfs dfs -mkdir -p /hivedatas
hdfs dfs -put techer.csv /hivedatas/
load data inpath '/hivedatas/techer.csv' into table techer;

###################  【分區(qū)表】   #################
# 創(chuàng)建分區(qū)表的語法
create table score(s_id string,c_id string, s_score int) \
    partitioned by (month string) \
    row format delimited fields terminated by '\t';

# 創(chuàng)建一個(gè)表帶多個(gè)分區(qū)
create table score2 (s_id string,c_id string, s_score int) \
    partitioned by (year string,month string,day string) \
    row format delimited fields terminated by '\t';
    
# 建在數(shù)據(jù)到分區(qū)表中
load data local inpath '/export/servers/hivedatas/score.csv' \
    into table score partition (month='201806');
    
# 加載數(shù)據(jù)到一個(gè)多分區(qū)表中
load data local inpath '/export/servers/hivedatas/score.csv' \
    into table score2 partition(year='2018',month='06',day='01');
    
# 多分區(qū)聯(lián)合查詢使用union  all來實(shí)現(xiàn)
select * from score where month = '201806' \
    union all select * from score where month = '201806';

# 查看分區(qū)的命令
show  partitions  score;

# 添加一個(gè)分區(qū)
alter table score add partition(month='201805');

# 同時(shí)添加多個(gè)分區(qū)
alter table score add partition(month='201804') partition(month = '201803');

# 刪除表分區(qū)
alter table score drop partition(month = '201806');

###############  【分區(qū)表的應(yīng)用】  ############
hdfs dfs -mkdir -p /scoredatas/month=201806
hdfs dfs -put score.csv /scoredatas/month=201806/

create external table score4(s_id string, c_id string,s_score int) \
    partitioned by (month string) \
    row format delimited fields terminated by '\t' \
    location '/scoredatas';

# 進(jìn)行表的修復(fù),說白了就是建立我們表與我們數(shù)據(jù)文件之間的一個(gè)關(guān)系映射
# 修復(fù)成功之后即可看到數(shù)據(jù)已經(jīng)全部加載到表當(dāng)中去了
msck  repair   table  score4;

3) 分桶表

###################  【分桶表】   #################
## 將數(shù)據(jù)按照指定的字段進(jìn)行分成多個(gè)桶中去淳蔼，
## 將數(shù)據(jù)按照字段進(jìn)行劃分，按照字段劃分到多個(gè)文件中去
set hive.enforce.bucketing=true;  # 開啟hive的桶表功能
set mapreduce.job.reduces=3;  # 設(shè)置reduce的個(gè)數(shù)

# 創(chuàng)建桶表,通過insert overwrite
create table course (c_id string,c_name string,t_id string) \
    clustered by(c_id) into 3 buckets \
    row format delimited fields terminated by '\t';
# 創(chuàng)建普通表裁眯，并通過insert  overwrite的方式將普通表的數(shù)據(jù)通過查詢的方式加載到桶表當(dāng)中去
create table course_common (c_id string,c_name string,t_id string) \
    row format delimited fields terminated by '\t';
# 普通表中加載數(shù)據(jù)
load data local inpath '/export/servers/hivedatas/course.csv' \
    into table course_common;
# 通過insert overwrite 給他桶表中加載數(shù)據(jù)
insert overwrite table course \
    select * from course_common cluster by(c_id);

4) 修改表

################# 【表重命名】 ##################
## 基本語法
alter  table  old_table_name  rename  to  new_table_name;

# 把表score4修改成score5
alter table score4 rename to score5;

################# 【增加\修改列信息】 ##################
desc score5;  # 查看表結(jié)構(gòu)
alter table score5 add columns (mycol string, mysco string); ## 添加列
alter table score5 change column mysco mysconew int;  # 更新列

################# 【刪除表】 ##################
drop table score5;

5) hive表中加載數(shù)據(jù)

########### 【直接向分區(qū)表中插入數(shù)據(jù)】 ###########
create table score3 like score;
insert into table score3 partition(month ='201807') values ('001','002','100');

########### 【通過查詢插入數(shù)據(jù)】 ###########
# 通過load方式加載數(shù)據(jù)
load data local inpath '/export/servers/hivedatas/score.csv' \
    overwrite into table score partition(month='201806');
# 通過查詢方式加載數(shù)據(jù)
create table score4 like score;
insert overwrite[a1]  table score4 partition(month = '201806') \
    select s_id,c_id,s_score from score;

########### 【多插入模式】 ###########
# 常用于實(shí)際生產(chǎn)環(huán)境當(dāng)中鹉梨，將一張表拆開成兩部分或者多部分
# 給score表加載數(shù)據(jù)
load data local inpath '/export/servers/hivedatas/score.csv' \
    overwrite into table score partition(month='201806');
# 創(chuàng)建第一部分表
create table score_first( s_id string,c_id  string) \
    partitioned by (month string) \
    row format delimited fields terminated by '\t' ;
# 創(chuàng)建第二部分表
create table score_second(c_id string,s_score int) \
    partitioned by (month string) \
    row format delimited fields terminated by '\t';
# 分別給第一部分與第二部分表加載數(shù)據(jù)
from score \
    insert overwrite table score_first partition(month='201806') select s_id,c_id \
    insert overwrite table score_second partition(month = '201806') select c_id,s_score;  

############ 【查詢語句中創(chuàng)建表并加載數(shù)據(jù)（as select）】#########
# 將查詢的結(jié)果保存到一張表當(dāng)中去
create table score5 as select * from score;

############ 【創(chuàng)建表時(shí)通過location指定加載數(shù)據(jù)路徑】############
# 1）創(chuàng)建表時(shí)通過location指定加載數(shù)據(jù)路徑(主要針對外部表)
create external table score6 (s_id string,c_id string,s_score int) \
    row format delimited fields terminated by '\t' \
    location '/myscore6';
# 2）上傳數(shù)據(jù)到hdfs上
hdfs dfs -mkdir -p /myscore6;
hdfs dfs -put score.csv /myscore6;

########【export導(dǎo)出與import導(dǎo)入hive表數(shù)據(jù)（內(nèi)部表操作）#######
# 都是在hdfs上
create table techer2 like techer;
export table techer to  '/export/techer';
import table techer2 from '/export/techer';

6) hive表中的數(shù)據(jù)導(dǎo)出

##############【insert導(dǎo)出】############
# 1）將查詢的結(jié)果導(dǎo)出到本地
insert overwrite local directory '/export/servers/exporthive' \
    select * from score;
# 2）將查詢的結(jié)果格式化導(dǎo)出到本地
insert overwrite local directory '/export/servers/exporthive' \
    row format delimited fields terminated by '\t' \
    collection items terminated by '#' \
    select * from student;
# 3）將查詢出的結(jié)果導(dǎo)出到HDFS（沒有l(wèi)ocal）
insert overwrite directory '/export/servers/exporthive' \
    row format delimited fields terminated by '\t' \
    collection items terminated by[a1]  '#' \
    select * from score;

##############【hadoop命令導(dǎo)出到本地】############
dfs -get \
    /export/servers/exporthive/000000_0 \
    /export/servers/exporthive/local.txt;

##############【hive shell命令導(dǎo)出】############
# 基本語法
hive -f/-e 執(zhí)行語句或者腳本 > file
bin/hive -e "select * from myhive.score;" \
    > /export/servers/exporthive/score.txt

##############【export導(dǎo)出到HDFS上】############
export table score to '/export/exporthive/score';

7) 清空表數(shù)據(jù)

#### 只能清空內(nèi)部表
truncate table score6;  # 清空外部表會報(bào)錯(cuò)

3、hive函數(shù)

#################【內(nèi)置函數(shù)】#################
show fuctions;
desc function upper;
desc function extended upper;
 
 #################【自定義函數(shù)】#################
 1）UDF（一進(jìn)一出）
 2）UDAF（多進(jìn)一出）
 3）UDTF（一進(jìn)多出）
 編程步驟：
（1）繼承org.apache.hadoop.hive.ql.UDF
（2）需要實(shí)現(xiàn)evaluate函數(shù)未状；evaluate函數(shù)支持重載俯画；
注意事項(xiàng)
（1）UDF必須要有返回類型，可以返回null司草，但是返回類型不能為void艰垂；
（2）UDF中常用Text/LongWritable等類型，不推薦使用java類型埋虹；

###### 第一步  創(chuàng)建maven  java 工程猜憎，導(dǎo)入jar包
<repositories>
    <repository>
        <id>cloudera</id>
 <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
    </repository>
</repositories>
<dependencies>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.6.0-cdh5.14.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hive</groupId>
        <artifactId>hive-exec</artifactId>
        <version>1.1.0-cdh5.14.0</version>
    </dependency>
</dependencies>
<build>
<plugins>
    <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-compiler-plugin</artifactId>
        <version>3.0</version>
        <configuration>
            <source>1.8</source>
            <target>1.8</target>
            <encoding>UTF-8</encoding>
        </configuration>
    </plugin>
     <plugin>
         <groupId>org.apache.maven.plugins</groupId>
         <artifactId>maven-shade-plugin</artifactId>
         <version>2.2</version>
         <executions>
             <execution>
                 <phase>package</phase>
                 <goals>
                     <goal>shade</goal>
                 </goals>
                 <configuration>
                     <filters>
                         <filter>
                             <artifact>*:*</artifact>
                             <excludes>
                                 <exclude>META-INF/*.SF</exclude>
                                 <exclude>META-INF/*.DSA</exclude>
                                 <exclude>META-INF/*/RSA</exclude>
                             </excludes>
                         </filter>
                     </filters>
                 </configuration>
             </execution>
         </executions>
     </plugin>
</plugins>
</build>

###### 第二步  開發(fā)java類繼承UDF，并重載evaluate 方法
public class ItcastUDF extends UDF {
    public Text evaluate(final Text s) {
        if (null == s) {
            return null;
        }
        //返回大寫字母
        return new Text(s.toString().toUpperCase());

    }
}

###### 第三步  將我們的項(xiàng)目打包搔课，并上傳到hive的lib目錄下

###### 第四步  將我們的項(xiàng)目打包胰柑，并上傳到hive的lib目錄下
# 重命名我們的jar包名稱
cd /export/servers/hive-1.1.0-cdh5.14.0/lib
mv original-day_06_hive_udf-1.0-SNAPSHOT.jar udf.jar
# hive的客戶端添加我們的jar包
add jar /export/servers/hive-1.1.0-cdh5.14.0/lib/udf.jar;

###### 第五步  設(shè)置函數(shù)與我們的自定義函數(shù)關(guān)聯(lián)
create temporary function tolowercase as 'cn.itcast.udf.ItcastUDF';

###### 第六步  使用自定義函數(shù)
select tolowercase('abc');

最后編輯于：2019.12.15 12:53:42

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個(gè)濱河市爬泥，隨后出現(xiàn)的幾起案子柬讨，更是在濱河造成了極大的恐慌，老刑警劉巖袍啡，帶你破解...
沈念sama閱讀 206,839評論 6贊 482
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件踩官，死亡現(xiàn)場離奇詭異，居然都是意外死亡境输，警方通過查閱死者的電腦和手機(jī)蔗牡，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 88,543評論 2贊 382
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來嗅剖，“玉大人辩越，你說我怎么就攤上這事⌒帕福” “怎么了黔攒？”我有些...
開封第一講書人閱讀 153,116評論 0贊 344
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長。經(jīng)常有香客問我亏钩，道長莲绰，這世上最難降的妖魔是什么？我笑而不...
開封第一講書人閱讀 55,371評論 1贊 279
?港島之戀（遺憾婚禮）
正文為了忘掉前任姑丑，我火速辦了婚禮蛤签，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘栅哀。我一直安慰自己震肮，他們只是感情好，可當(dāng)我...
茶點(diǎn)故事閱讀 64,384評論 5贊 374
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布留拾。她就那樣靜靜地躺著戳晌，像睡著了一般。火紅的嫁衣襯著肌膚如雪痴柔。梳的紋絲不亂的頭發(fā)上沦偎，一...
開封第一講書人閱讀 49,111評論 1贊 285
城市分裂傳說
那天，我揣著相機(jī)與錄音咳蔚，去河邊找鬼豪嚎。笑死，一個(gè)胖子當(dāng)著我的面吹牛谈火，可吹牛的內(nèi)容都是我干的侈询。我是一名探鬼主播，決...
沈念sama閱讀 38,416評論 3贊 400
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼糯耍，長吁一口氣：“原來是場噩夢啊……” “哼扔字！你這毒婦竟也來了？” 一聲冷哼從身側(cè)響起温技，我...
開封第一講書人閱讀 37,053評論 0贊 259
萬榮殺人案實(shí)錄
序言：老撾萬榮一對情侶失蹤革为，失蹤者是張志新（化名）和其女友劉穎，沒想到半個(gè)月后舵鳞，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體篷角，經(jīng)...
沈念sama閱讀 43,558評論 1贊 300
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 36,007評論 2贊 325
?白月光啟示錄
正文我和宋清朗相戀三年系任，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片虐块。...
茶點(diǎn)故事閱讀 38,117評論 1贊 334
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡俩滥，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出贺奠，到底是詐尸還是另有隱情霜旧，我是刑警寧澤，帶...
沈念sama閱讀 33,756評論 4贊 324
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布，位于F島的核電站挂据，受9級特大地震影響以清，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜崎逃，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 39,324評論 3贊 307
男人毒藥：我在死后第九天來索命
文/蒙蒙一掷倔、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧个绍，春花似錦勒葱、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 30,315評論 0贊 19
一樁弒父案凛虽，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽。三九已至广恢，卻和暖如春凯旋，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背钉迷。一陣腳步聲響...
開封第一講書人閱讀 31,539評論 1贊 262
情欲美人皮
我被黑心中介騙來泰國打工至非，沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留，地道東北人篷牌。一個(gè)月前我還...
沈念sama閱讀 45,578評論 2贊 355
代替公主和親
正文我出身青樓睡蟋，卻偏偏與公主長得像，于是被迫代替她去往敵國和親枷颊。傳聞我的和親對象是個(gè)殘疾皇子戳杀，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 42,877評論 2贊 345

hive命令匯總

1、創(chuàng)建數(shù)據(jù)庫

2、創(chuàng)建表

1）內(nèi)部表

2) 外部表

3) 分桶表

4) 修改表

5) hive表中加載數(shù)據(jù)

6) hive表中的數(shù)據(jù)導(dǎo)出

7) 清空表數(shù)據(jù)

3、hive函數(shù)

推薦閱讀更多精彩內(nèi)容