[一起學(xué)Hive]之七-向Hive表中加載數(shù)據(jù)

在Hive中建好表之后及汉,需要將數(shù)據(jù)加載進(jìn)來钢悲,以便做后續(xù)查詢分析陶缺,本文介紹向Hive表中加載數(shù)據(jù)的幾種方式钾挟。

6.1 建表時候直接指定

如果你的數(shù)據(jù)已經(jīng)在HDFS上存在,已經(jīng)為結(jié)構(gòu)化數(shù)據(jù)饱岸,并且數(shù)據(jù)所在的HDFS路徑不需要維護(hù)掺出,那么可以直接在建表的時候使用location指定數(shù)據(jù)所在的HDFS路徑即可。

比如:

<pre class="prettyprint linenums" style="padding: 8px; color: rgb(68, 68, 68); border-radius: 2px; font-family: Consolas, "Bitstream Vera Sans Mono", "Courier New", Courier, monospace !important; display: block; margin: 0px 0px 20px; font-size: 14px; line-height: 20px; word-break: break-all; word-wrap: break-word; white-space: pre-wrap; background-color: rgb(248, 248, 248); border: 1px solid rgb(238, 238, 238); overflow: hidden; box-shadow: rgb(238, 238, 238) 40px 0px 0px inset, rgb(51, 183, 150) 42px 0px 0px inset; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: left; text-indent: 30px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">

  1. CREATE [EXTERNAL] TABLE t_lxw1234 (
  2. day STRING,
  3. url STRING)
  4. ROW FORMAT DELIMITED
  5. FIELDS TERMINATED BY ' '
  6. stored as textfile
  7. location '/tmp/lxw1234/';

</pre>

這里內(nèi)部表和外部表都可以指定苫费,但需要注意汤锨,如果是內(nèi)部表,那么在DROP該表的時候黍衙,同時會將LOCATION所指定的目錄一起刪除。

6.2 從本地文件系統(tǒng)或者HDFS的一個目錄中加載

如果數(shù)據(jù)在本地荠诬,或者HDFS的某一個目錄下琅翻,需要加載到目標(biāo)中或分區(qū)中,那么使用LOAD DATA命令即可加載數(shù)據(jù):

  • 加載本地文件

LOAD DATA LOCAL INPATH ‘/home/lxw1234/t_lxw1234/’

INTO TABLE t_lxw1234 PARTITION (day = ‘2015-06-15’);

  • 加載HDFS文件

LOAD DATA INPATH ‘/user/lxw1234/t_lxw1234/’

INTO TABLE t_lxw1234 PARTITION (day = ‘2015-06-15’);

6.3 從一個子查詢中加載數(shù)據(jù)

這個比較簡單柑贞,就是將一個查詢結(jié)果插入到目標(biāo)表或分區(qū)中:

INSERT overwrite TABLE t_lxw1234 PARTITION (day = ‘2015-06-15’)

SELECT day,url from source_table;

6.4 導(dǎo)出Hive中的數(shù)據(jù)到文件系統(tǒng)

這里也介紹一下從Hive中導(dǎo)出數(shù)據(jù)到文件系統(tǒng)(HDFS和本地文件系統(tǒng))方椎。

語法為:

<pre class="prettyprint linenums" style="padding: 8px; color: rgb(68, 68, 68); border-radius: 2px; font-family: Consolas, "Bitstream Vera Sans Mono", "Courier New", Courier, monospace !important; display: block; margin: 0px 0px 20px; font-size: 14px; line-height: 20px; word-break: break-all; word-wrap: break-word; white-space: pre-wrap; background-color: rgb(248, 248, 248); border: 1px solid rgb(238, 238, 238); overflow: hidden; box-shadow: rgb(238, 238, 238) 40px 0px 0px inset, rgb(51, 183, 150) 42px 0px 0px inset; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: left; text-indent: 30px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">

  1. INSERT OVERWRITE [LOCAL] DIRECTORY directory1
  2. [ROW FORMAT row_format] [STORED AS file_format]
  3. SELECT ... FROM ...

</pre>

如果指定了LOCAL關(guān)鍵字,則為導(dǎo)出到本地文件系統(tǒng)钧嘶,否則棠众,導(dǎo)出到HDFS。
使用ROW FORMAT關(guān)鍵字可以指定導(dǎo)出的文件分隔符有决,比如:

<pre class="prettyprint linenums" style="padding: 8px; color: rgb(68, 68, 68); border-radius: 2px; font-family: Consolas, "Bitstream Vera Sans Mono", "Courier New", Courier, monospace !important; display: block; margin: 0px 0px 20px; font-size: 14px; line-height: 20px; word-break: break-all; word-wrap: break-word; white-space: pre-wrap; background-color: rgb(248, 248, 248); border: 1px solid rgb(238, 238, 238); overflow: hidden; box-shadow: rgb(238, 238, 238) 40px 0px 0px inset, rgb(51, 183, 150) 42px 0px 0px inset; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: left; text-indent: 30px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">

  1. INSERT OVERWRITE LOCAL DIRECTORY '/tmp/lxw1234/'
  2. ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
  3. SELECT * FROM t_lxw1234;

</pre>

該語句將t_lxw1234表的所有數(shù)據(jù)導(dǎo)出到本地文件系統(tǒng)/tmp/lxw1234/目錄闸拿,字段間的分隔符為逗號。

cat /tmp/lxw1234/000000_0
2015-05-10,url1
2015-05-10,url2
2015-06-14,url1
2015-06-14,url2
2015-06-15,url1
2015-06-15,url2

更多關(guān)于Hive數(shù)據(jù)加載和導(dǎo)出的介紹书幕,請參考官方文檔:
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-Loadingfilesintotables

Hive相關(guān)文章(持續(xù)更新)

一起學(xué)Hive系列

—-Hive概述新荤,Hive是什么

—-Hive函數(shù)大全-完整版

—-Hive中的數(shù)據(jù)庫(Database)和表(Table)

—-Hive的安裝配置

—-Hive的視圖和分區(qū)

—-Hive的動態(tài)分區(qū)

Hive分析函數(shù)系列

Hive索引

hive優(yōu)化之——控制hive任務(wù)中的map數(shù)和reduce數(shù)

如果覺得本博客對您有幫助,請 贊助作者 台汇。

轉(zhuǎn)載請注明:lxw的大數(shù)據(jù)田地 ? [一起學(xué)Hive]之七-向Hive表中加載數(shù)據(jù)

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末苛骨,一起剝皮案震驚了整個濱河市篱瞎,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌痒芝,老刑警劉巖俐筋,帶你破解...
    沈念sama閱讀 216,496評論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異严衬,居然都是意外死亡澄者,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,407評論 3 392
  • 文/潘曉璐 我一進(jìn)店門瞳步,熙熙樓的掌柜王于貴愁眉苦臉地迎上來闷哆,“玉大人,你說我怎么就攤上這事单起”д” “怎么了?”我有些...
    開封第一講書人閱讀 162,632評論 0 353
  • 文/不壞的土叔 我叫張陵嘀倒,是天一觀的道長屈留。 經(jīng)常有香客問我,道長测蘑,這世上最難降的妖魔是什么灌危? 我笑而不...
    開封第一講書人閱讀 58,180評論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮碳胳,結(jié)果婚禮上勇蝙,老公的妹妹穿的比我還像新娘。我一直安慰自己挨约,他們只是感情好味混,可當(dāng)我...
    茶點故事閱讀 67,198評論 6 388
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著诫惭,像睡著了一般翁锡。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上夕土,一...
    開封第一講書人閱讀 51,165評論 1 299
  • 那天馆衔,我揣著相機(jī)與錄音,去河邊找鬼怨绣。 笑死角溃,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的篮撑。 我是一名探鬼主播开镣,決...
    沈念sama閱讀 40,052評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼咽扇!你這毒婦竟也來了邪财?” 一聲冷哼從身側(cè)響起陕壹,我...
    開封第一講書人閱讀 38,910評論 0 274
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎树埠,沒想到半個月后糠馆,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,324評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡怎憋,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,542評論 2 332
  • 正文 我和宋清朗相戀三年又碌,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片绊袋。...
    茶點故事閱讀 39,711評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡毕匀,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出癌别,到底是詐尸還是另有隱情皂岔,我是刑警寧澤,帶...
    沈念sama閱讀 35,424評論 5 343
  • 正文 年R本政府宣布展姐,位于F島的核電站躁垛,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏圾笨。R本人自食惡果不足惜教馆,卻給世界環(huán)境...
    茶點故事閱讀 41,017評論 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望擂达。 院中可真熱鬧土铺,春花似錦、人聲如沸板鬓。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,668評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽穗熬。三九已至镀迂,卻和暖如春丁溅,著一層夾襖步出監(jiān)牢的瞬間唤蔗,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,823評論 1 269
  • 我被黑心中介騙來泰國打工窟赏, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留妓柜,地道東北人。 一個月前我還...
    沈念sama閱讀 47,722評論 2 368
  • 正文 我出身青樓涯穷,卻偏偏與公主長得像棍掐,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子拷况,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,611評論 2 353

推薦閱讀更多精彩內(nèi)容