Hive入門學習

前言

  • 好久沒有整理筆記了乱灵,都不記得上次更新簡書是什么時候了泡躯,是時候整理下最近接觸的技能了岛宦;
  • 這篇文章是為了以后個人方便復習和查閱抵皱;
  • 人不知不覺就會變得懶散,只能這樣逼迫自己再學習點東西缚柏;
  • 工作中在前輩的指導下摸索著一知半解的使用著苹熏,自己還是太菜啊,不懂的東西太多

1.Hive是什么币喧?

其實柜裸,我也不知道hive到底是什么,查找資料粱锐,總結就下面幾點:

Apache Hive數(shù)據(jù)倉庫軟件提供對存儲在分布式中的大型數(shù)據(jù)集的查詢和管理疙挺,它本身是建立在Apache Hadoop之上,主要提供以下功能: 
(1)它提供了一系列的工具怜浅,可用來對數(shù)據(jù)進行提取/轉化/加載(ETL)铐然; 
(2)是一種可以存儲、查詢和分析存儲在HDFS(或者HBase)中的大規(guī)模數(shù)據(jù)的機制恶座; 
(3)查詢是通過MapReduce來完成的(并不是所有的查詢都需要MapReduce來完成搀暑,比如select * from XXX就不需要; 
(4)在Hive0.11對類似select a,b from XXX的查詢通過配置也可以不通過MapReduce來完成

總結下就是

hive是基于hadoop的數(shù)據(jù)倉庫跨琳。

Hive安裝指導
HIVE完全分布式集群安裝過程(元數(shù)據(jù)庫: MySQL)
有一點需要說明下自点,Hive默認元數(shù)據(jù)庫不是Mysql存在局限,所以最好使用mysql

允許我盜個圖

Hadoop家族

2.Hive基本操作

Hive sql 語法和sql語法非常相似脉让,我們先看看Hql的基本語法吧
下面是網上大牛整理的資料
Hadoop Hive sql語法詳解1-認識hive及DDL操作
Hadoop Hive sql語法詳解2-修改表結構
Hadoop Hive sql語法詳解3--DML 操作:元數(shù)據(jù)存儲
Hadoop Hive sql語法詳解4--DQL 操作:數(shù)據(jù)查詢SQL
Hadoop Hive sql語法詳解5--HiveQL與SQL區(qū)別
復雜操作
Hive快捷查詢:不啟用Mapreduce job啟用Fetch task三種方式介紹
Hive如何執(zhí)行文件中的sql語句
Hive四種數(shù)據(jù)導入方式介紹
Hive中的三種不同的數(shù)據(jù)導出方式介紹
Hive如何創(chuàng)建索引

3.高級進階(2017/08/13 更新)

(1) hive與hadoop的關系


hive與hadoop的關系圖解

(2) hive與傳統(tǒng)數(shù)據(jù)庫作對比

方面 Hive RDBMS
查詢語言 HQL SQL
數(shù)據(jù)存儲 HDFS Raw Device or Local FS
數(shù)據(jù)格式 用戶定義 系統(tǒng)決定
數(shù)據(jù)更新 不支持 支持
執(zhí)行 MapReduce Excutor
執(zhí)行延遲
可擴展性
處理數(shù)據(jù)規(guī)模
索引 0.8版本后加入位圖索引 有復雜索引

(3) 需要全面了解Hive還是需要大牛的總結--全面了解Hive


方便查閱

hive 配置參數(shù)說明(收藏版)
支持sql大全(收藏版)
hive 創(chuàng)建/刪除/截斷 表


hive如何結合hadoop,hbase發(fā)揮作用桂敛,該如何發(fā)揮它的實際意義?
我們來看看下面的問題:
hive為什么與hbase整合
Hive與HBase整合完整指導
hadoop、hbase溅潜、hive版本對應關系

上面是與hbase結合使用术唬,那么我們該如何與編程語言向結合,可以參考下面內容:
通過JDBC驅動連接Hive操作實例
Hive:用Java代碼通過JDBC連接Hiveserver介紹


4.Hive實戰(zhàn)分析(更新于2017-08-20)

從 MapReduce 到 Hive 實戰(zhàn)分析
Hive實戰(zhàn)開發(fā)

你可能會遇到的問題:
hive找不到創(chuàng)建的表了

Hive on Spark解析
hive面試題目:表大概有2T左右滚澜,對表數(shù)據(jù)轉換

在使用Hive的過程中粗仓,難免會遇到各種錯誤,這個時候设捐,學會定位錯誤就顯得至關重要了:
hive如何通過設置日志定位錯誤

大牛分享:hive在騰訊分布式數(shù)據(jù)庫實踐分享


最近輸出太多借浊,是時候讀點書了!

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末萝招,一起剝皮案震驚了整個濱河市蚂斤,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌即寒,老刑警劉巖橡淆,帶你破解...
    沈念sama閱讀 218,284評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異母赵,居然都是意外死亡逸爵,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,115評論 3 395
  • 文/潘曉璐 我一進店門凹嘲,熙熙樓的掌柜王于貴愁眉苦臉地迎上來师倔,“玉大人,你說我怎么就攤上這事周蹭∏魉遥” “怎么了?”我有些...
    開封第一講書人閱讀 164,614評論 0 354
  • 文/不壞的土叔 我叫張陵凶朗,是天一觀的道長瓷胧。 經常有香客問我,道長棚愤,這世上最難降的妖魔是什么搓萧? 我笑而不...
    開封第一講書人閱讀 58,671評論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮宛畦,結果婚禮上瘸洛,老公的妹妹穿的比我還像新娘。我一直安慰自己次和,他們只是感情好反肋,可當我...
    茶點故事閱讀 67,699評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著踏施,像睡著了一般石蔗。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上畅形,一...
    開封第一講書人閱讀 51,562評論 1 305
  • 那天抓督,我揣著相機與錄音,去河邊找鬼束亏。 笑死铃在,一個胖子當著我的面吹牛,可吹牛的內容都是我干的碍遍。 我是一名探鬼主播定铜,決...
    沈念sama閱讀 40,309評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼怕敬!你這毒婦竟也來了揣炕?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 39,223評論 0 276
  • 序言:老撾萬榮一對情侶失蹤东跪,失蹤者是張志新(化名)和其女友劉穎畸陡,沒想到半個月后鹰溜,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經...
    沈念sama閱讀 45,668評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡丁恭,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,859評論 3 336
  • 正文 我和宋清朗相戀三年曹动,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片牲览。...
    茶點故事閱讀 39,981評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡墓陈,死狀恐怖,靈堂內的尸體忽然破棺而出第献,到底是詐尸還是另有隱情贡必,我是刑警寧澤,帶...
    沈念sama閱讀 35,705評論 5 347
  • 正文 年R本政府宣布庸毫,位于F島的核電站仔拟,受9級特大地震影響,放射性物質發(fā)生泄漏飒赃。R本人自食惡果不足惜理逊,卻給世界環(huán)境...
    茶點故事閱讀 41,310評論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望盒揉。 院中可真熱鬧晋被,春花似錦、人聲如沸刚盈。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,904評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽藕漱。三九已至欲侮,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間肋联,已是汗流浹背威蕉。 一陣腳步聲響...
    開封第一講書人閱讀 33,023評論 1 270
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留橄仍,地道東北人韧涨。 一個月前我還...
    沈念sama閱讀 48,146評論 3 370
  • 正文 我出身青樓,卻偏偏與公主長得像侮繁,于是被迫代替她去往敵國和親虑粥。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,933評論 2 355

推薦閱讀更多精彩內容