操作場(chǎng)景
SQL語句轉(zhuǎn)化為具體執(zhí)行計(jì)劃是由SQL查詢編譯器決定的楔敌，同一個(gè)SQL語句可以轉(zhuǎn)化成多種物理執(zhí)行計(jì)劃啤挎，如何指導(dǎo)編譯器選擇效率最高的執(zhí)行計(jì)劃，這就是優(yōu)化器的主要作用卵凑。傳統(tǒng)數(shù)據(jù)庫(kù)（例如Oracle）的優(yōu)化器有兩種：基于規(guī)則的優(yōu)化器(Rule-Based?Optimization,RBO)和基于代價(jià)的優(yōu)化器(Cost-Based Optimization,CBO)庆聘。
● RBO
RBO使用的規(guī)則是根據(jù)經(jīng)驗(yàn)形成的，只要按照這個(gè)規(guī)則去寫SQL語句勺卢，無論數(shù)據(jù)表中的內(nèi)容怎樣伙判、數(shù)據(jù)分布如何，都不會(huì)影響到執(zhí)行計(jì)劃黑忱。
● CBO
CBO是根據(jù)實(shí)際數(shù)據(jù)分布和組織情況宴抚，評(píng)估每個(gè)計(jì)劃的執(zhí)行代價(jià)勒魔，從而選擇代價(jià)最小的執(zhí)行計(jì)劃。
目前Spark的優(yōu)化器都是基于RBO的菇曲，已經(jīng)有數(shù)十條優(yōu)化規(guī)則冠绢，例如謂詞下推、常量折疊常潮、投影裁剪等弟胀，這些規(guī)則是有效的，但是它對(duì)數(shù)據(jù)是不敏感的蕊玷。導(dǎo)致的一個(gè)問題就是數(shù)據(jù)表中數(shù)據(jù)分布發(fā)生變化時(shí)邮利，RBO是不感知的，基于RBO生成的執(zhí)行計(jì)劃不能確保是最優(yōu)的垃帅。而CBO的重要作用就是能夠根據(jù)實(shí)際數(shù)據(jù)分布估算出SQL語句延届，生成一組可能被使用的執(zhí)行計(jì)劃中代價(jià)最小的執(zhí)行計(jì)劃，從而提升性能贸诚。
目前CBO主要的優(yōu)化點(diǎn)是Join算法選擇方庭。舉個(gè)簡(jiǎn)單例子，當(dāng)兩個(gè)表做Join操作酱固，如果其中一張?jiān)竞艽蟮谋斫?jīng)過Filter操作之后結(jié)果集小于BroadCast的閾值械念，在沒有CBO情況下是無法感知大表過濾后變小的情況，采用的是SortMergeJoin算法运悲，涉及到大量Shuffle操作龄减，很耗費(fèi)性能；在有CBO的情況下是可以感知到結(jié)果集的變化班眯，采用的是BroadcastHashJoin算法希停，會(huì)將過濾后的小表BroadCast到每個(gè)節(jié)點(diǎn)，轉(zhuǎn)變?yōu)榉荢huffle操作署隘，從而大大提高性能宠能。
操作步驟
Spark CBO的設(shè)計(jì)思路是，基于表和列的統(tǒng)計(jì)信息磁餐，對(duì)各個(gè)操作算子（Operator）產(chǎn)生的中間結(jié)果集大小進(jìn)行估算违崇，最后根據(jù)估算的結(jié)果來選擇最優(yōu)的執(zhí)行計(jì)劃。
1. 設(shè)置配置項(xiàng)诊霹。
● 在“spark-defaults.conf”配置文件中增加配置項(xiàng)“spark.sql.cbo”羞延，將其設(shè)置為true，默認(rèn)為false脾还。?
● 在客戶端執(zhí)行SQL語句set spark.sql.cbo=true進(jìn)行配置肴楷。
2. 執(zhí)行統(tǒng)計(jì)信息生成命令，得到統(tǒng)計(jì)信息荠呐。
注意 ： 此步驟只需在運(yùn)行所有SQL前執(zhí)行一次赛蔫。如果數(shù)據(jù)集發(fā)生了變化（插入砂客、更新或刪除），為保證CBO的優(yōu)化效果呵恢，需要對(duì)有變化的表或者列再次執(zhí)行統(tǒng)計(jì)信息生成命令重新生成統(tǒng)計(jì)信息鞠值，以得到最新的數(shù)據(jù)分布情況。
● 表：執(zhí)行COMPUTE STATS FOR TABLE src命令計(jì)算表的統(tǒng)計(jì)信息渗钉，統(tǒng)計(jì)信息包括記錄條數(shù)彤恶、文件數(shù)和物理存儲(chǔ)總大小。
● 列：
? ■? 執(zhí)行COMPUTE STATS FOR TABLE src ON COLUMNS命令計(jì)算所有列的統(tǒng)計(jì)信息鳄橘。
? ■? 執(zhí)行COMPUTE STATS FOR TABLE src ON COLUMNS?name,age命令計(jì)算表中name和age兩個(gè)字段的統(tǒng)計(jì)信息声离。當(dāng)前列的統(tǒng)計(jì)信息支持四種類型：數(shù)值類型、日期類型瘫怜、時(shí)間類型和字符串類型术徊。對(duì)于數(shù)值類型、日期類型和時(shí)間類型鲸湃，統(tǒng)計(jì)信息包括：Max赠涮、Min、不同值個(gè)數(shù)(Number?of Distinct Value,NDV)暗挑、空值個(gè)數(shù)(Number of?Null)和Histogram（支持等寬笋除、等高直方圖）；對(duì)于字符串類型炸裆，統(tǒng)計(jì)信息包括：Max垃它、Min、Max Length烹看、Average?Length嗤瞎、不同值個(gè)數(shù)(Number of Distinct Value,NDV)、空值個(gè)數(shù)(Number of?Null)和Histogram（支持等寬直方圖）听系。
3. CBO調(diào)優(yōu)
● 自動(dòng)優(yōu)化：用戶根據(jù)自己的業(yè)務(wù)場(chǎng)景，輸入SQL語句查詢虹菲，程序會(huì)自動(dòng)去判斷輸入的SQL語句是否符合優(yōu)化的場(chǎng)景靠胜，從而自動(dòng)選擇Join優(yōu)化算法。
● 手動(dòng)優(yōu)化：用戶可以通過DESC FORMATTED src命令查看統(tǒng)計(jì)信息毕源，根據(jù)統(tǒng)計(jì)信息的分布浪漠，人工優(yōu)化SQL語句。
