13篇文章 · 12136字 · 1人關(guān)注
-
大數(shù)據(jù)hive11-數(shù)據(jù)倉庫訂單表拉鏈表的設(shè)計(jì)一、拉鏈表介紹 1.什么是拉鏈表 拉鏈表：記錄每條信息的生命周期，一旦一條記錄的生命周期結(jié)束，就重新開始一條新的記錄驱显，并把當(dāng)前日期放入生效開始日...
-
大數(shù)據(jù)hive10-hivesql進(jìn)行數(shù)據(jù)列轉(zhuǎn)行一、需求背景 將電影分類中的數(shù)組數(shù)據(jù)展開放接。結(jié)果如下： 二刺啦、建表 三、插入數(shù)據(jù) 四纠脾、按需求查詢數(shù)據(jù) 五玛瘸、輸出結(jié)果 六、總結(jié) 1．函數(shù)說明EXPLO...
-
大數(shù)據(jù)hive09-hivesql進(jìn)行數(shù)據(jù)行轉(zhuǎn)列一苟蹈、需求背景 需要把星座和血型一樣的人歸類到一起糊渊，如下： 二、建表 三慧脱、插入數(shù)據(jù) 四渺绒、按需求查詢數(shù)據(jù) 五、輸出結(jié)果 六菱鸥、總結(jié) （1）CONCAT...
-
大數(shù)據(jù)hive08-hivesql窗口函數(shù)案例一宗兼、窗口函數(shù) 1．相關(guān)函數(shù)說明OVER()：指定分析函數(shù)工作的數(shù)據(jù)窗口大小，這個(gè)數(shù)據(jù)窗口大小可能會(huì)隨著行的變而變化 CURRENT ROW：當(dāng)前...
-
大數(shù)據(jù)hive07-Hive性能優(yōu)化整理總結(jié)大全一氮采、介紹 首先殷绍，我們來看看Hadoop的計(jì)算框架特性，在此特性下會(huì)衍生哪些問題鹊漠？ （1）數(shù)據(jù)量大不是問題主到，數(shù)據(jù)傾斜是個(gè)問題。（2）jobs數(shù)比較...
-
大數(shù)據(jù)之hive06-Hive中使用 with as 優(yōu)化SQL一躯概、背景： 當(dāng)我們書寫一些結(jié)構(gòu)相對(duì)復(fù)雜的SQL語句時(shí)登钥，可能某個(gè)子查詢?cè)诙鄠€(gè)層級(jí)多個(gè)地方存在重復(fù)使用的情況，這個(gè)時(shí)候我們可以使用 with as ...
-
大數(shù)據(jù)之hive05-Hive常用日期函數(shù)整理1楞陷、to_date：日期時(shí)間轉(zhuǎn)日期函數(shù) select to_date('2015-04-02 13:34:12');輸出：2015-04-02 ...
-
大數(shù)據(jù)之hive04-HIVE SQL中怎么取最后一條記錄需求 HIVE中怎么取最后一條記錄怔鳖？ 解決方案 使用函數(shù)：row_number() over([partition_by_clause] ord...
-
大數(shù)據(jù)之Hive03-分區(qū)partition詳解（靜態(tài)分區(qū)，動(dòng)態(tài)分區(qū)）一、前言 Hive分區(qū)是為了方便數(shù)據(jù)管理Hive的分區(qū)方式：由于Hive實(shí)際是存儲(chǔ)在HDFS上的抽象结执，Hive的一個(gè)分區(qū)名對(duì)應(yīng)一個(gè)目錄名度陆，子分區(qū)...
