Hive基礎(chǔ)筆記(架構(gòu)输瓜、運(yùn)行過程、元數(shù)據(jù)芬萍、數(shù)據(jù)類型)

接著上次的hive安裝配置http://www.reibang.com/p/2f284bd01344前痘,這次記錄別的。

那Hive到底能干啥担忧?芹缔?

基于Hadoop的數(shù)據(jù)倉庫,可以把結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張表瓶盛,然后提供類SQL的查詢功能最欠、
本質(zhì)是把HQL轉(zhuǎn)化為MR程序,當(dāng)然這個MR可以被Spark或者Flink代替惩猫。

Hive架構(gòu)

hive架構(gòu)

這個Metadata配置存在mysql里面芝硬,其實(shí)客戶端是先找了MetaData,然后再根據(jù)定位去HDFS里訪問DataNode轧房。
然后里面有好幾個器拌阴,這個是Hive主要做的事,順序:解析器->編譯器->優(yōu)化器->執(zhí)行器
1.解析器看SQL語法奶镶,語法通過了去編譯器迟赃。
2.編譯器負(fù)責(zé)翻譯,把HQL翻譯成MR任務(wù)厂镇,然后交給優(yōu)化器纤壁。
3.優(yōu)化器對MR任務(wù)進(jìn)行優(yōu)化。
4.最后交給執(zhí)行器執(zhí)行任務(wù)捺信。

Hive運(yùn)行過程

寫:
用戶創(chuàng)建一個Table酌媒,通過映射關(guān)系在HDFS中創(chuàng)建數(shù)據(jù)文件,MetaData中記錄對應(yīng)文件的path,根據(jù)這個秒咨,記錄到Hive的元數(shù)據(jù)中喇辽。

讀:
用戶寫SQL,然后這邊其實(shí)是先訪問元數(shù)據(jù)雨席,找到HDFS文件位置茵臭。整個過程如上面架構(gòu)中寫的。

元數(shù)據(jù)Metadata

Hive對應(yīng)Mysql元數(shù)據(jù)的位置是一個默認(rèn)叫做metastore的數(shù)據(jù)庫舅世。
這里面比較重要的表:DBS旦委、TBLS、PARTITONS雏亚、PARTITONS_*
DBS記錄的是庫缨硝,TBLS記錄的是表,另外那幾個是分區(qū)信息罢低。

測一下遠(yuǎn)程連接
在hive的bin目錄下有一個beeline查辩,他是在linux系統(tǒng)里啟動一個hive的jdbc的連接客戶端。
在啟動它之前网持,我們要先啟動一下hiveserver2

 nohup hive --service hiveserver2 2>&1 &

啟動beelin之后可以測一下遠(yuǎn)程連接宜岛,不過想要遠(yuǎn)程連接hadoop需要在hadoop的core-site.xml配置一下:

<property>
  <name>hadoop.proxyuser.hadoop.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.hadoop.groups</name>
 <value>*</value>
</property>

由于我linux用戶是hadoop,所以name那里功舀,proxyuser寫的就是hadoop了萍倡,這么配好之后,就可以遠(yuǎn)程了辟汰,否則會報(bào)錯列敲。
啟動beeline。然后執(zhí)行:

> !connect jdbc:hive2://Master:10000

會讓我們輸入密碼帖汞,這個時候輸入就行了戴而,我用戶hadoop,密碼沒設(shè)置翩蘸。

然后提示我們成功了所意!默認(rèn)的事務(wù)隔離級別是重復(fù)讀〈呤祝可以看一下數(shù)據(jù)庫:

> show databases;

基本數(shù)據(jù)類型

基本數(shù)據(jù)類型

String類型相當(dāng)于varchar扶踊,理論上它能存2G的字符數(shù)。

集合數(shù)據(jù)類型

集合類型

啊翅帜,這個就是你想象中的姻檀,Array和Map就是你腦海里java里面的Array和Map,Struct就是C里面的Struct

類型轉(zhuǎn)換

Hive不能反向轉(zhuǎn)化涝滴。
隱式類型轉(zhuǎn)化規(guī)則:
1.tinyint能轉(zhuǎn)成int,int能轉(zhuǎn)成bigint
2.整數(shù)類型,包括純數(shù)字的string能隱式轉(zhuǎn)成double
3.tinyint歼疮、smallint杂抽、int能轉(zhuǎn)為float
4.boolean類型不能轉(zhuǎn)化為任何類型

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市韩脏,隨后出現(xiàn)的幾起案子缩麸,更是在濱河造成了極大的恐慌,老刑警劉巖赡矢,帶你破解...
    沈念sama閱讀 212,816評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件杭朱,死亡現(xiàn)場離奇詭異,居然都是意外死亡吹散,警方通過查閱死者的電腦和手機(jī)弧械,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,729評論 3 385
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來空民,“玉大人刃唐,你說我怎么就攤上這事〗缧” “怎么了画饥?”我有些...
    開封第一講書人閱讀 158,300評論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長浊猾。 經(jīng)常有香客問我抖甘,道長,這世上最難降的妖魔是什么葫慎? 我笑而不...
    開封第一講書人閱讀 56,780評論 1 285
  • 正文 為了忘掉前任单山,我火速辦了婚禮,結(jié)果婚禮上幅疼,老公的妹妹穿的比我還像新娘米奸。我一直安慰自己,他們只是感情好爽篷,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,890評論 6 385
  • 文/花漫 我一把揭開白布悴晰。 她就那樣靜靜地躺著,像睡著了一般逐工。 火紅的嫁衣襯著肌膚如雪铡溪。 梳的紋絲不亂的頭發(fā)上辆影,一...
    開封第一講書人閱讀 50,084評論 1 291
  • 那天锄码,我揣著相機(jī)與錄音三幻,去河邊找鬼极舔。 笑死饰序,一個胖子當(dāng)著我的面吹牛吞琐,可吹牛的內(nèi)容都是我干的瘸洛。 我是一名探鬼主播玻募,決...
    沈念sama閱讀 39,151評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼滑肉!你這毒婦竟也來了包各?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,912評論 0 268
  • 序言:老撾萬榮一對情侶失蹤靶庙,失蹤者是張志新(化名)和其女友劉穎问畅,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體六荒,經(jīng)...
    沈念sama閱讀 44,355評論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡护姆,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,666評論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了掏击。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片卵皂。...
    茶點(diǎn)故事閱讀 38,809評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖铐料,靈堂內(nèi)的尸體忽然破棺而出渐裂,到底是詐尸還是另有隱情,我是刑警寧澤钠惩,帶...
    沈念sama閱讀 34,504評論 4 334
  • 正文 年R本政府宣布柒凉,位于F島的核電站,受9級特大地震影響篓跛,放射性物質(zhì)發(fā)生泄漏膝捞。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,150評論 3 317
  • 文/蒙蒙 一愧沟、第九天 我趴在偏房一處隱蔽的房頂上張望蔬咬。 院中可真熱鬧,春花似錦沐寺、人聲如沸林艘。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,882評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽狐援。三九已至,卻和暖如春究孕,著一層夾襖步出監(jiān)牢的瞬間啥酱,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,121評論 1 267
  • 我被黑心中介騙來泰國打工厨诸, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留镶殷,地道東北人。 一個月前我還...
    沈念sama閱讀 46,628評論 2 362
  • 正文 我出身青樓微酬,卻偏偏與公主長得像绘趋,于是被迫代替她去往敵國和親颤陶。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,724評論 2 351

推薦閱讀更多精彩內(nèi)容

  • 一埋心、初識Hive 1指郁、Hive簡介 ??? (1) 什么是Hive? Hive是基于Hadoop的一個數(shù)據(jù)倉庫可以...
    這個太難了閱讀 2,453評論 0 1
  • 【什么是大數(shù)據(jù)忙上、大數(shù)據(jù)技術(shù)】 大數(shù)據(jù)拷呆,又稱巨量資料,指的是所涉及的數(shù)據(jù)資料量規(guī)模巨大到無法在合理時間內(nèi)通過傳統(tǒng)的應(yīng)...
    kimibob閱讀 2,736評論 0 51
  • Zookeeper用于集群主備切換疫粥。 YARN讓集群具備更好的擴(kuò)展性茬斧。 Spark沒有存儲能力。 Spark的Ma...
    Yobhel閱讀 7,258評論 0 34
  • 本文是對Hive組件的學(xué)習(xí)的一個初步總結(jié)梗逮,包括如下章節(jié)的內(nèi)容: Hive是什么 Hive安裝 快速上手 Hive元...
    我是老薛閱讀 1,917評論 1 23
  • Hive是什么? Hive是一種基于Hadoop的數(shù)據(jù)庫技術(shù)并提供完整的sql查詢功能, . HIVE能做什么? ...
    日出卡爾閱讀 2,685評論 0 0