HIVE:解析json數(shù)據(jù)的三種方法

主要有3種方法:

前兩種內(nèi)置方法稚机,第三種是UDF幕帆,利用python腳本解析

  • 1、get_json_object
  • 2赖条、json_tuple
  • 3失乾、python transform

具體的:

  • 1、get_json_object() 接受兩個參數(shù)纬乍,第一個參數(shù)是json對象變量碱茁;第二個參數(shù)用$來表示json對象變量,用.和[]

來讀取對象或數(shù)組仿贬;

eg1:

select get_json_object('{"shop":{"book":[{"price":43.3,"type":"art"},{"price":30,"type":"technology"}],"clothes":{"price":19.951,"type":"shirt"}},"name":"jane","age":"23"}', '$.shop.book[0].type')

執(zhí)行結果:
art
如果json比較簡單:

eg2:

select get_json_object('{"name":"jack","server":"www.qq.com"}','$.server')

執(zhí)行結果:

www.qq.com

但是存在一個問題纽竣,一個get_json_object只能解析一個字段,如果要解析多個字段茧泪,則需要使用多個get_json_object來讀取退个,比較麻煩

  • 2、json_tuple

可以同時解析一個json中的多個字段

eg:

select json_tuple('{"name":"jack","server":"www.qq.com"}','server','name')

執(zhí)行結果:

www.qq.com jack

但是存在的問題是调炬,只能解析簡單的json语盈,不能使用.和[]的符號解析復雜json格式

  • 3、python腳本解析(hive表中)
add file file_name;
insert overwrite table to_table
select
transform(col1,col2,col3)// from_table
using 'python file_name'
as
(uid,mid)//to_table
from from_table

python腳本中使用

import json
map = json.loads(line.strip())
uid = map.get('uid')
最后編輯于
?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末缰泡,一起剝皮案震驚了整個濱河市刀荒,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌棘钞,老刑警劉巖缠借,帶你破解...
    沈念sama閱讀 218,284評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異宜猜,居然都是意外死亡泼返,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,115評論 3 395
  • 文/潘曉璐 我一進店門姨拥,熙熙樓的掌柜王于貴愁眉苦臉地迎上來绅喉,“玉大人渠鸽,你說我怎么就攤上這事〔窆蓿” “怎么了徽缚?”我有些...
    開封第一講書人閱讀 164,614評論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長革屠。 經(jīng)常有香客問我凿试,道長,這世上最難降的妖魔是什么似芝? 我笑而不...
    開封第一講書人閱讀 58,671評論 1 293
  • 正文 為了忘掉前任那婉,我火速辦了婚禮,結果婚禮上党瓮,老公的妹妹穿的比我還像新娘吧恃。我一直安慰自己,他們只是感情好麻诀,可當我...
    茶點故事閱讀 67,699評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著傲醉,像睡著了一般蝇闭。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上硬毕,一...
    開封第一講書人閱讀 51,562評論 1 305
  • 那天呻引,我揣著相機與錄音,去河邊找鬼吐咳。 笑死逻悠,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的韭脊。 我是一名探鬼主播童谒,決...
    沈念sama閱讀 40,309評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼沪羔!你這毒婦竟也來了饥伊?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 39,223評論 0 276
  • 序言:老撾萬榮一對情侶失蹤蔫饰,失蹤者是張志新(化名)和其女友劉穎琅豆,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體篓吁,經(jīng)...
    沈念sama閱讀 45,668評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡茫因,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,859評論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了杖剪。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片冻押。...
    茶點故事閱讀 39,981評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡驰贷,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出翼雀,到底是詐尸還是另有隱情饱苟,我是刑警寧澤,帶...
    沈念sama閱讀 35,705評論 5 347
  • 正文 年R本政府宣布狼渊,位于F島的核電站箱熬,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏狈邑。R本人自食惡果不足惜城须,卻給世界環(huán)境...
    茶點故事閱讀 41,310評論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望米苹。 院中可真熱鬧糕伐,春花似錦、人聲如沸蘸嘶。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,904評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春阻荒,著一層夾襖步出監(jiān)牢的瞬間劣纲,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,023評論 1 270
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 48,146評論 3 370
  • 正文 我出身青樓歧强,卻偏偏與公主長得像,于是被迫代替她去往敵國和親为肮。 傳聞我的和親對象是個殘疾皇子摊册,可洞房花燭夜當晚...
    茶點故事閱讀 44,933評論 2 355