一原叮、如何選取到 broadcast join Join 具有 hint 的情況會(huì)調(diào)用 createBroadcastHashJoin(onlyLookingAtHint = ...
IP屬地：湖北
-
Spark Join 源碼剖析② - BroadcastHashJoinExec & ShuffledHashJoinExec -
Calcite CBO ② - VolcanoPlanner 之 IterativeRuleDriver一侠畔、IterativeRuleQueue 該算法不斷的從 RuleQueue 中取出 Rule 并執(zhí)行甥温，該過(guò)程有兩個(gè)退出條件： RuleQueue 空了：沒(méi)有 Rule 需要...
-
Calcite CBO ① - 核心流程一冻记、問(wèn)題 & 目標(biāo) 數(shù)據(jù)庫(kù)/大數(shù)據(jù)引擎主要由三部分組成秦忿，分別是解析器弟疆、優(yōu)化器和執(zhí)行引擎捶惜，如下圖所示： 其中盒揉，優(yōu)化器在很大程度上決定了性能晋被，其作用好比找到兩點(diǎn)之間的最短路徑。優(yōu)...
-
Flink 作業(yè)生成①：生成 StreamGraph一刚盈、作業(yè)生成及提交整體流程 上圖為一個(gè) Flink 作業(yè)的提交流程羡洛，主要可以分為以下幾個(gè)步驟： Client 將作業(yè) code 生成 StreamGraph（在 Batch ...
-
Calcite - 看懂 Parser.jj 中的 SqlSelectjavacc 會(huì)根據(jù) parser.jj 中定義的相互穿插的 Token、Java 代碼來(lái)自動(dòng)生成 org.apache.calcite.sql.parser.impl.Sq...
-
費(fèi)曼技巧-四步學(xué)習(xí)法
第一步：選擇一個(gè)你想要理解的概念藕漱，然后拿出一張白紙欲侮，把這個(gè)概念寫(xiě)在白紙的最上邊 第二步：假象你正要向別人傳授這個(gè)概念，然后在白紙上寫(xiě)下你對(duì)這個(gè)概念的解釋肋联，就像你在教一位新接觸...
-
Spark Aggregations execution
一威蕉、Distinct aggregation 算法 包含 distinct 關(guān)鍵字的 aggregation 由 4 個(gè)物理執(zhí)行步驟組成。我們使用以下 query 來(lái)介紹： ...
-
Spring AOP之使用注解創(chuàng)建切面
上節(jié)中我們已經(jīng)定義了Performance接口橄仍，他是切面中的切點(diǎn)的一個(gè)目標(biāo)對(duì)象韧涨。那么現(xiàn)在就讓我們使用AspectJ注解來(lái)定義切面吧牍戚。 1.定義切面 下面我們就來(lái)定義一場(chǎng)舞臺(tái)劇...
-
Spark 核心 RDD 剖析（上）
本文將通過(guò)描述 Spark RDD 的五大核心要素來(lái)描述 RDD，若希望更全面了解 RDD 的知識(shí)虑粥，請(qǐng)移步 RDD 論文：RDD：基于內(nèi)存的集群計(jì)算容錯(cuò)抽象 Spark 的五...
