Hive的hiveserver2服務(wù)和DML操作

hiveserver2服務(wù)

前面都是使用Hive的命令行客戶端,此處記錄一下hiveserver2服務(wù)啟動(dòng)使用的方法控嗜。

Hadoop的配置文件

首先要修改Hadoop的配置文件:

# vim /usr/hadoop-2.7.7/etc/hadoop/core-site.xml

添加如下配置內(nèi)容:

<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

并將該文件拷貝到Hadoop集群的所有節(jié)點(diǎn)的對(duì)應(yīng)目錄下:


hive服務(wù)01.png

Hive的配置文件

由于配置Hive時(shí)茧彤,配置文件hive-site.xml是復(fù)制的hive-default.xml.template屎勘,所以其中的內(nèi)容有默認(rèn)配置示启,主要是以下兩項(xiàng):

<property>
    <name>hive.server2.thrift.port</name>
    <value>10000</value>
    <description>Port number of HiveServer2 Thrift interface when hive.server2.transport.mode is 'binary'.</description>
</property>
<property>
    <name>hive.server2.thrift.bind.host</name>
    <value/>
    <description>Bind host on which to run the HiveServer2 Thrift service.</description>
</property>

hive.server2.thrift.bind.host的value值湃密,可以配置本機(jī)IP地址巫员,也可以默認(rèn)庶香。

hiveserver2啟動(dòng)

在終端中數(shù)據(jù)如下命令,即可啟動(dòng)hiveserver2服務(wù):

# hiveserver2
hive服務(wù)02.png

此處使用beeline進(jìn)行連接服務(wù)简识,另開(kāi)一個(gè)終端上執(zhí)行如下命令:

# beeline
hive服務(wù)03.png

然后輸入如下信息進(jìn)行連接:

beeline> !connect jdbc:hive2://192.168.44.128:10000

用戶名:root赶掖,密碼:默認(rèn)無(wú),直接回車即可七扰。


hive服務(wù)04.png

連接成功后奢赂,即可進(jìn)行數(shù)據(jù)庫(kù)操作:

0: jdbc:hive2://192.168.44.128:10000>show databases;
hive服務(wù)05.png

DML操作

DML(Data Manipulation Language:數(shù)據(jù)操縱語(yǔ)言)主要是實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)的基本操作。

數(shù)據(jù)導(dǎo)入

裝載數(shù)據(jù)(Load)

Load在前文的《Hive安裝颈走、配置和測(cè)試》中已經(jīng)使用過(guò)膳灶,前文連接:http://www.reibang.com/p/5c5d57dc2084
語(yǔ)法:

hive> load data [local] inpath '/home/test.txt' into | overwrite table testhive.testtable [partition(partcol1=val1...)];
  • load data:加載數(shù)據(jù)立由。
  • local:表示從本地目錄加載數(shù)據(jù)到hive表轧钓;不加local表示從HDFS加載數(shù)據(jù)到hive表。
  • inpath:加載數(shù)據(jù)的目錄锐膜。
  • overwrite:覆蓋表中已有數(shù)據(jù)毕箍,不加overwrite表示追加數(shù)據(jù)到表中。
  • into table:表示數(shù)據(jù)加載到哪張表道盏。
  • testhive.testtable:表示數(shù)據(jù)加載到testhive庫(kù)中的testtable表而柑。
  • partition:表示加載數(shù)據(jù)到指定的分區(qū)中。

實(shí)際操作

此處還是使用Hive客戶端進(jìn)行操作捞奕。

  1. 創(chuàng)建表:
hive (default)> create table test(id int,name string,age int) row format delimited fields terminated by ' ' lines terminated by '\n';
  1. 創(chuàng)建數(shù)據(jù)文件:
    另打開(kāi)一個(gè)終端牺堰,在home目錄下創(chuàng)建test.txt文件:
# vim /home/test.txt

寫入如下內(nèi)容并保存:

1 Dcl_Snow 18
2 Dcl 19
3 Snow 20
hive服務(wù)06.png
  1. 從本地文件加載數(shù)據(jù):
hive (default)> load data local inpath '/home/test.txt' into table default.test;
  1. 從HDFS中加載數(shù)據(jù):
    上傳本地文件到HDFS:
hive (default)> dfs -put /home/test.txt /tmp;

加載HDFS中的數(shù)據(jù):

hive (default)> load data inpath '/tmp/test.txt' into table default.test;
  1. 覆蓋數(shù)據(jù)加載:
    在HDFS中創(chuàng)建/test目錄:
# hdfs dfs -mkdir /test
# hdfs dfs -ls /
hive服務(wù)07.png

上傳本地文件到HDFS,上傳前先在test.txt文件中增加一行內(nèi)容:

4 DclSnow 21
hive服務(wù)08.png
hive (default)> dfs -put /home/test.txt /test;
hive服務(wù)9.png

加載HDFS中的數(shù)據(jù)覆蓋表中原數(shù)據(jù):

hive (default)> load data inpath '/test/test' overwrite into table default.test;
hive服務(wù)10.png
  1. 創(chuàng)建新表存儲(chǔ)查詢結(jié)果:
hive (default)> create table if not exists test1 as select id, name, age from test;
hive服務(wù)11.png

可以看到颅围,是執(zhí)行了MapReduce操作。

  1. export導(dǎo)出:
hive (default)> export table default.test to '/test/test';
hive服務(wù)12.png
  1. import導(dǎo)入:
hive (default)> import table test2 from '/test/test';
hive服務(wù)13.png
  1. insert導(dǎo)出:
    將查詢結(jié)果導(dǎo)出到本地:
hive (default)> insert overwrite local directory '/home/test' select * from test;
hive服務(wù)14.png

hive服務(wù)15.png

hive服務(wù)16.png
  1. Hadoop命令導(dǎo)出到本地:
hive (default)> dfs -get /test/test /home/testha;
hive服務(wù)17.png

hive服務(wù)18.png
  1. Hive Shell命令導(dǎo)出到本地:
    在安裝Hive的虛擬機(jī)終端下執(zhí)行:
# hive -e 'select * from default.test;' >/home/testhi
hive服務(wù)19.png
  1. 清除表中數(shù)據(jù):
hive (default)> truncate table test;

hive服務(wù)20.png


只能清除內(nèi)部表(管理表)中的數(shù)據(jù)恨搓,不能清除外部表中的數(shù)據(jù)院促。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末筏养,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子常拓,更是在濱河造成了極大的恐慌渐溶,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,406評(píng)論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件弄抬,死亡現(xiàn)場(chǎng)離奇詭異茎辐,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)掂恕,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,732評(píng)論 3 393
  • 文/潘曉璐 我一進(jìn)店門拖陆,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人懊亡,你說(shuō)我怎么就攤上這事依啰。” “怎么了店枣?”我有些...
    開(kāi)封第一講書人閱讀 163,711評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵速警,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我鸯两,道長(zhǎng)闷旧,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書人閱讀 58,380評(píng)論 1 293
  • 正文 為了忘掉前任钧唐,我火速辦了婚禮鸠匀,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘逾柿。我一直安慰自己缀棍,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,432評(píng)論 6 392
  • 文/花漫 我一把揭開(kāi)白布机错。 她就那樣靜靜地躺著爬范,像睡著了一般。 火紅的嫁衣襯著肌膚如雪弱匪。 梳的紋絲不亂的頭發(fā)上青瀑,一...
    開(kāi)封第一講書人閱讀 51,301評(píng)論 1 301
  • 那天,我揣著相機(jī)與錄音萧诫,去河邊找鬼斥难。 笑死,一個(gè)胖子當(dāng)著我的面吹牛帘饶,可吹牛的內(nèi)容都是我干的哑诊。 我是一名探鬼主播,決...
    沈念sama閱讀 40,145評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼及刻,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼镀裤!你這毒婦竟也來(lái)了竞阐?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書人閱讀 39,008評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤暑劝,失蹤者是張志新(化名)和其女友劉穎骆莹,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體担猛,經(jīng)...
    沈念sama閱讀 45,443評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡幕垦,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,649評(píng)論 3 334
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了傅联。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片先改。...
    茶點(diǎn)故事閱讀 39,795評(píng)論 1 347
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖纺且,靈堂內(nèi)的尸體忽然破棺而出盏道,到底是詐尸還是另有隱情,我是刑警寧澤载碌,帶...
    沈念sama閱讀 35,501評(píng)論 5 345
  • 正文 年R本政府宣布猜嘱,位于F島的核電站,受9級(jí)特大地震影響嫁艇,放射性物質(zhì)發(fā)生泄漏朗伶。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,119評(píng)論 3 328
  • 文/蒙蒙 一步咪、第九天 我趴在偏房一處隱蔽的房頂上張望论皆。 院中可真熱鬧,春花似錦猾漫、人聲如沸点晴。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 31,731評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)粒督。三九已至,卻和暖如春禽翼,著一層夾襖步出監(jiān)牢的瞬間屠橄,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 32,865評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工闰挡, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留锐墙,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 47,899評(píng)論 2 370
  • 正文 我出身青樓长酗,卻偏偏與公主長(zhǎng)得像溪北,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,724評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容