發(fā)簡信
IP屬地：上海
-
Hive調(diào)優(yōu)之?dāng)?shù)據(jù)篇
數(shù)據(jù)文件的性能優(yōu)化包含文件格式阳仔、壓縮方式以及數(shù)據(jù)存儲等三個方面岖圈。 文件格式Hive 支持TEXT FILE, SEQUENCE FILE, AV...
-
Hive調(diào)優(yōu)之設(shè)計篇
從設(shè)計上來考慮HQL的優(yōu)化盾计，會涉及到表設(shè)計、數(shù)據(jù)格式以及Job任務(wù)優(yōu)化等脊髓。 分區(qū)表設(shè)計Hive 分區(qū)是最有效的優(yōu)化查詢性能的方法之一辫愉。使用分區(qū)過...
-
Hive調(diào)優(yōu)之工具篇
HQL提供EXPLAIN和ANALYZE語句，用于檢查和確定查詢性能将硝。另外Hive日志包含有足夠詳細(xì)的信息用于性能調(diào)查和問題確認(rèn)恭朗。 EXPLAI...
-
HQL之抽樣篇
由于數(shù)據(jù)量本身通常過于浩大屏镊，我們需要一部分?jǐn)?shù)據(jù)來加速數(shù)據(jù)分析過程。我們就需要運(yùn)用抽樣技術(shù)來發(fā)現(xiàn)整個數(shù)據(jù)集的模式和趨勢痰腮。HQL中有三種抽樣技術(shù)：隨...
-
HQL聚集計算之窗口篇自Hive 0.11.0之后而芥，窗口函數(shù)，作為一組可以以掃描多個輸入行作為輸入來計算和生成每一個返回值的特殊函數(shù)膀值，正式進(jìn)入HQL大家族棍丐。該組函數(shù)的...
-
HQL聚集計算之條件篇
自Hive 0.70之后，HAVING 子句可以用于對聚集結(jié)果進(jìn)行條件過濾沧踏。該用法和SQL中類似歌逢，這樣我們就不需要把聚集語句作為子查詢來過濾相關(guān)...
-
HQL聚集計算之進(jìn)階篇
HQL聚集函數(shù)可以使用GROUPING SETS, CUBE, 和ROLLUP等關(guān)鍵詞。 GROUPING SETS該子句等同于GROUP BY...
-
HQL聚集計算之基本篇
基本內(nèi)置聚集函數(shù)通常需要和GROUP BY子句一起使用悦冀。如果沒有使用GROUP BY子句趋翻，聚集函數(shù)會缺省按照整行所有列來進(jìn)行聚集。 無GROUP...
-
HQL之函數(shù)使用
在HQL中盒蟆，我們可以使用關(guān)系操作符、數(shù)學(xué)操作符师骗、邏輯操作符历等、復(fù)合類型操作符以及復(fù)合類型構(gòu)建器。其中辟癌，關(guān)系操作符寒屯、數(shù)學(xué)操作符和邏輯操作符這三個操作...