一缆蝉、AQE特性 自適應查詢執(zhí)行（AQE）是Spark SQL中的一種優(yōu)化技術本涕，它利用運行時統(tǒng)計信息來選擇最有效的查詢執(zhí)行計劃公黑，也就是說可以根據(jù)執(zhí)...

一钮呀、Shuffle流程 1翅帜、Shuffle定義 Spark之所以出現(xiàn)Shuffle荣德，主要是因為具有某種共同特征的一類數(shù)據(jù)需要最終匯聚到一個計算節(jié)...

Spark作為一個基于內(nèi)存的分布式計算引擎闷煤，其內(nèi)存管理模塊在整個系統(tǒng)中扮演著非常重要的角色。 在執(zhí)行Spark的應用程序時涮瞻，Spark集群會啟動...

Spark任務從提交到執(zhí)行完成有很多步驟鲤拿，整體上可以劃分為三個階段： 應用的提交； 執(zhí)行環(huán)境的準備署咽； 任務的調(diào)度和執(zhí)行近顷。 一、執(zhí)行流程概述 Sp...

1宁否、窗口函數(shù) 常用到的Hive窗口函數(shù)具體有：row_number()窒升、rank()、dense_rank() 這三個窗口函數(shù)慕匠，具體區(qū)別主要有：...

Hive作為大數(shù)據(jù)領域常見的數(shù)據(jù)倉庫組件，在設計和開發(fā)階段需要注意效率锅铅。影響Hive效率的不僅僅是數(shù)據(jù)量過大酪呻、數(shù)據(jù)傾斜、job（小文件過多）或者...

一盐须、基礎配置 我們公司yarn node節(jié)點的可用資源配置為：單臺node節(jié)點可用資源數(shù)：核數(shù)33cores号杠、內(nèi)存110G。Hive on Sp...