Hive2:Hive SQL實踐

hive建表語句:
1.建內(nèi)部表
hive (badou)> create table udata(userid int,item_id int,rating int,`timestamp` timestamp)row format delimited fields terminated by ' ';

OK
Time taken: 2.254 seconds

hive (badou)> show tables;

OK
udata

create table  if not exists inner_test (
aisle_id string,                                      
aisle_name string     
)
row format delimited fields terminated by ',' lines terminated by '\n'  
stored as textfile  
location '/data/inner';
2.建外部表
create external table  if not exists ext_test (
aisle_id string,                                      
aisle_name string     
)
row format delimited fields terminated by ',' lines terminated by '\n'  
stored as textfile  
location '/data/ext';
3.建分區(qū)表
create table partition_test(
order_id string,                                      
user_id string,                                      
eval_set string,                                      
order_number string,  
order_hour_of_day string,                                      
days_since_prior_order string
)partitioned by(order_dow string)
row format delimited fields terminated by '\t';
hive導(dǎo)入數(shù)據(jù):
1.從文件導(dǎo)入數(shù)據(jù)到表
hive (badou)> load data local inpath '/home/dongdong/hive/u.data' overwrite into table udata;

Loading data to table badou.udata
OK
Time taken: 2.335 seconds

2.給分區(qū)表插入數(shù)據(jù)
insert overwrite table partition_test partition (order_dow='1')
select order_id,user_id,eval_set,order_number,order_hour_of_day,days_since_prior_order from orders where order_dow='1' limit 10;
Hive刪除表字段
CREATE TABLE test (
creatingTs BIGINT,
a STRING,
b BIGINT,
c STRING,
d STRING,
e BIGINT,
f BIGINT
);

如果需要刪除 column f 列包个,可以使用以下語句:

ALTER TABLE test REPLACE COLUMNS (
creatingTs BIGINT,
a STRING,
b BIGINT,
c STRING,
d STRING,
e BIGINT
);
Hive添加表字段

創(chuàng)建測試表:

use mart_flow_test;
create table if not exists mart_flow_test.detail_flow_test
(
union_id          string    comment '設(shè)備唯一標識'
) comment '測試表'
partitioned by (
    partition_date    string    comment '日志生成日期'
) stored as orc;

(2)新增字段:use mart_flow_test;

alter table detail_flow_test add columns(original_union_id string);

(3)修改注釋:use mart_flow_test;

alter table detail_flow_conversion_base_raw change column original_union_id original_union_id string COMMENT'原始設(shè)備唯一性標識’;
Hive刪除表中數(shù)據(jù)
方式一:僅刪除表中數(shù)據(jù)比吭,保留表結(jié)構(gòu)

truncate table 表名;

(truncate用于刪除所有的行,這個行為在hive元存儲刪除數(shù)據(jù)是不可逆的)
或 delete from 表名 where 1 = 1 ;

(delete用于刪除特定條件下的行掘托,使用where 1=1 刪除所有行 SQL中where 1 = 1 的使用)

truncate 不能刪除外部表练俐!因為外部表里的數(shù)據(jù)并不是存放在Hive Meta store中

方式二:刪除整個表

drop table 表名;
如果要永久性刪除饮潦,不準備再恢復(fù):
drop table 表名 purge;

不用終端的方式執(zhí)行sql:

hive -f create_table.sql

hive實現(xiàn)wordcount的sql語句
select word,count(*)
from (
select 
explode(split(sentence,''))
as word
from article
)t
group by word

hive的udf爆袍,udtf內(nèi)置函數(shù)

udf實踐:

1.java代碼并打包成jar:

2.將jar添加到hive中,并創(chuàng)建臨時函數(shù):

3.使用函數(shù)及結(jié)果:

udtf實踐:

1.編寫java代碼并打包成jar:

2.添加到hive践宴,并創(chuàng)建臨時函數(shù):

3.載入數(shù)據(jù)并創(chuàng)建hive表:

4.使用函數(shù)及結(jié)果:

transform實踐(可用shell語言,python語言開發(fā))
1.shell實踐:

1.編寫awk文件:

2.加入hive

3.使用awk腳本爷怀,及結(jié)果:

2.python實踐:

使用1:

把py文件添加到hive中:

使用及結(jié)果:

wordcount實踐:

1.創(chuàng)建hive表

2.導(dǎo)入數(shù)據(jù):

  1. 創(chuàng)建另一張表(存儲):
  1. 新建map.py阻肩,red.py并add到hive:
  1. 使用及結(jié)果:

把wordcount結(jié)果插入到指定表中:

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市运授,隨后出現(xiàn)的幾起案子烤惊,更是在濱河造成了極大的恐慌,老刑警劉巖吁朦,帶你破解...
    沈念sama閱讀 217,542評論 6 504
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件柒室,死亡現(xiàn)場離奇詭異,居然都是意外死亡逗宜,警方通過查閱死者的電腦和手機雄右,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,822評論 3 394
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來锦溪,“玉大人不脯,你說我怎么就攤上這事】陶铮” “怎么了防楷?”我有些...
    開封第一講書人閱讀 163,912評論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長则涯。 經(jīng)常有香客問我复局,道長,這世上最難降的妖魔是什么粟判? 我笑而不...
    開封第一講書人閱讀 58,449評論 1 293
  • 正文 為了忘掉前任亿昏,我火速辦了婚禮,結(jié)果婚禮上档礁,老公的妹妹穿的比我還像新娘角钩。我一直安慰自己,他們只是感情好呻澜,可當(dāng)我...
    茶點故事閱讀 67,500評論 6 392
  • 文/花漫 我一把揭開白布递礼。 她就那樣靜靜地躺著,像睡著了一般羹幸。 火紅的嫁衣襯著肌膚如雪脊髓。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,370評論 1 302
  • 那天栅受,我揣著相機與錄音将硝,去河邊找鬼恭朗。 笑死,一個胖子當(dāng)著我的面吹牛依疼,可吹牛的內(nèi)容都是我干的痰腮。 我是一名探鬼主播,決...
    沈念sama閱讀 40,193評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼律罢,長吁一口氣:“原來是場噩夢啊……” “哼诽嘉!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起弟翘,我...
    開封第一講書人閱讀 39,074評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎骄酗,沒想到半個月后稀余,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,505評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡趋翻,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,722評論 3 335
  • 正文 我和宋清朗相戀三年睛琳,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片踏烙。...
    茶點故事閱讀 39,841評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡师骗,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出讨惩,到底是詐尸還是另有隱情辟癌,我是刑警寧澤,帶...
    沈念sama閱讀 35,569評論 5 345
  • 正文 年R本政府宣布荐捻,位于F島的核電站黍少,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏处面。R本人自食惡果不足惜厂置,卻給世界環(huán)境...
    茶點故事閱讀 41,168評論 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望魂角。 院中可真熱鬧昵济,春花似錦、人聲如沸野揪。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,783評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽囱挑。三九已至醉顽,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間平挑,已是汗流浹背游添。 一陣腳步聲響...
    開封第一講書人閱讀 32,918評論 1 269
  • 我被黑心中介騙來泰國打工系草, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人唆涝。 一個月前我還...
    沈念sama閱讀 47,962評論 2 370
  • 正文 我出身青樓找都,卻偏偏與公主長得像,于是被迫代替她去往敵國和親廊酣。 傳聞我的和親對象是個殘疾皇子能耻,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,781評論 2 354

推薦閱讀更多精彩內(nèi)容

  • 時間:2017-08-16 19:36:53來源:CSDN Hive 是基于Hadoop 構(gòu)建的一套數(shù)據(jù)倉庫分析系...
    majyer閱讀 1,481評論 0 2
  • Hive 是基于Hadoop 構(gòu)建的一套數(shù)據(jù)倉庫分析系統(tǒng),它提供了豐富的SQL查詢方式來分析存儲在Hadoop 分...
    三萬_chenbing閱讀 12,147評論 0 10
  • pyspark.sql模塊 模塊上下文 Spark SQL和DataFrames的重要類: pyspark.sql...
    mpro閱讀 9,451評論 0 13
  • Hive是基于Hadoop的一個數(shù)據(jù)倉庫工具亡驰,可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表晓猛,并提供類SQL查詢功能。本...
    felix521閱讀 1,307評論 0 0
  • 不知過了多久凡辱,林柯終于松開南落戒职,她感覺腳觸到實感,然后聞到淡淡青草香透乾,鼻尖有蝴蝶的尾翼劃過洪燥,遠處傳來高高低低的牧笛...
    沙羅木頭閱讀 385評論 0 10