發(fā)簡信
IP屬地：浙江
-
Spark原理 | V3.0 新特性一螟碎、AQE特性 自適應(yīng)查詢執(zhí)行（AQE）是Spark SQL中的一種優(yōu)化技術(shù)眉菱，它利用運(yùn)行時(shí)統(tǒng)計(jì)信息來選擇最有效的查詢執(zhí)行計(jì)劃，也就是說可以根據(jù)執(zhí)...
-
Spark原理 | Shuffle詳解一掉分、Shuffle流程 1俭缓、Shuffle定義 Spark之所以出現(xiàn)Shuffle，主要是因?yàn)榫哂心撤N共同特征的一類數(shù)據(jù)需要最終匯聚到一個(gè)計(jì)算節(jié)...
-
Spark原理 | 內(nèi)存管理Spark作為一個(gè)基于內(nèi)存的分布式計(jì)算引擎酥郭，其內(nèi)存管理模塊在整個(gè)系統(tǒng)中扮演著非常重要的角色华坦。 在執(zhí)行Spark的應(yīng)用程序時(shí)，Spark集群會(huì)啟動(dòng)...
-
Spark原理 | 任務(wù)執(zhí)行流程Spark任務(wù)從提交到執(zhí)行完成有很多步驟褥民，整體上可以劃分為三個(gè)階段： 應(yīng)用的提交季春； 執(zhí)行環(huán)境的準(zhǔn)備； 任務(wù)的調(diào)度和執(zhí)行消返。 一载弄、執(zhí)行流程概述 Sp...
-
Hive應(yīng)用 | 高階函數(shù)1耘拇、窗口函數(shù) 常用到的Hive窗口函數(shù)具體有：row_number()、rank()宇攻、dense_rank() 這三個(gè)窗口函數(shù)惫叛，具體區(qū)別主要有：...
-
HBase應(yīng)用 | HBase性能優(yōu)化
一、Rowkey設(shè)計(jì) 1逞刷、Rowkey長度原則 Rowkey是一個(gè)二進(jìn)制碼流嘉涌，Rowkey的長度建議設(shè)計(jì)在10-100個(gè)字節(jié)，最好不要超過16個(gè)...
-
Hive應(yīng)用 | Hive性能調(diào)優(yōu)Hive作為大數(shù)據(jù)領(lǐng)域常見的數(shù)據(jù)倉庫組件夸浅，在設(shè)計(jì)和開發(fā)階段需要注意效率仑最。影響Hive效率的不僅僅是數(shù)據(jù)量過大、數(shù)據(jù)傾斜帆喇、job（小文件過多）或者...
-
Spark應(yīng)用 | Hive On Spark性能調(diào)優(yōu)一警医、基礎(chǔ)配置 我們公司yarn node節(jié)點(diǎn)的可用資源配置為：單臺(tái)node節(jié)點(diǎn)可用資源數(shù)：核數(shù)33cores、內(nèi)存110G坯钦。Hive on Sp...