原創(chuàng)文章，謝絕轉(zhuǎn)載
Spark 2.x自2.0.0發(fā)布到目前的2.2.0已經(jīng)有一年多的時(shí)間了洽胶，2.x宣稱有諸多的性能改進(jìn)，相信不少使用Spark的同學(xué)還停留在1.6.x或者更低的版本上裆馒，沒有升級(jí)到2.x或許是由于1.6相對(duì)而言很穩(wěn)定姊氓，或許是升級(jí)后處處踩坑被迫放棄。
Spark SQL是Spark中最重要的模塊之一喷好，基本上Spark每個(gè)版本發(fā)布SQL模塊都有不少的改動(dòng)翔横，而且官網(wǎng)還會(huì)附帶一個(gè)Migration Guide幫忙大家升級(jí)。問題在于Migration Guide并沒有詳盡的列出所有變動(dòng)梗搅，本文以SQL模塊為主禾唁，扒一扒Spark升級(jí)2.x過程中可能會(huì)踩到的坑。
計(jì)算準(zhǔn)確性
那些升級(jí)后无切，讓你感到心中有千萬(wàn)只草泥馬奔騰而過的問題
-
SELECT '0.1' = 0返回的是true荡短！Spark 2.2中，0.1會(huì)被轉(zhuǎn)換為int哆键，如果你的數(shù)據(jù)類型全部是文本類型掘托，做數(shù)值計(jì)算時(shí)，結(jié)果極有可能不正確籍嘹。之前的版本中0.1會(huì)被轉(zhuǎn)換為double類型絕大多數(shù)場(chǎng)景下這樣的處理是正確的闪盔。目前為止弯院，社區(qū)還沒有很好的處理這個(gè)問題，針對(duì)這個(gè)問題泪掀，我給社區(qū)提交過一個(gè)PR听绳，想要自己解決這個(gè)問題的同學(xué)，可以手動(dòng)合并下：https://github.com/apache/spark/pull/18986 - 過于復(fù)雜的SQL語(yǔ)句執(zhí)行可能會(huì)出現(xiàn)64KB字節(jié)碼編譯限制的問題族淮，這算是個(gè)老問題了辫红，Spark自從上了Tungsten基本上一直存在這個(gè)問題，也算是受到了JVM的限制祝辣，遇到此類問題贴妻，建議大家找找PR：https://github.com/apache/spark/search?utf8=%E2%9C%93&q=64KB&type=Issues
- 數(shù)據(jù)計(jì)算精度有問題，
SELECT 1 > 0.0001會(huì)報(bào)錯(cuò)蝙斜，這個(gè)問題已在2.1.2及2.2.0中修復(fù)：https://issues.apache.org/jira/browse/SPARK-20211 - 2.1.0版本中
INNER JOIN涉及到常量計(jì)算結(jié)果不正確名惩，后續(xù)版本已修復(fù)：https://issues.apache.org/jira/browse/SPARK-19766 - 2.1.0中，執(zhí)行
GROUPING SET(col)孕荠，如果col列數(shù)據(jù)為null娩鹉，會(huì)報(bào)空指針異常，后續(xù)版本已修復(fù)：https://issues.apache.org/jira/browse/SPARK-19509 - 2.1.0中稚伍，嵌套的CASE WHEN語(yǔ)句執(zhí)行有可能出錯(cuò)弯予，后續(xù)版本已修復(fù)：https://issues.apache.org/jira/browse/SPARK-19472
行為變化
那些不算太致命，改改代碼或配置就可以兼容的問題个曙。
- Spark 2.2的UDAF實(shí)現(xiàn)有所變動(dòng)锈嫩，如果你的Hive UDAF沒有嚴(yán)格按照標(biāo)準(zhǔn)實(shí)現(xiàn)，有可能會(huì)計(jì)算報(bào)錯(cuò)或數(shù)據(jù)不正確垦搬，建議將邏輯遷移到Spark AF呼寸，同時(shí)也能獲得更好的性能
- Spark 2.x限制了Hive表中
spark.sql.*相關(guān)屬性的操作，明明存在的屬性猴贰，使用SHOW TBLPROPERTIES tb("spark.sql.sources.schema.numParts")無(wú)法獲取到对雪，同理也無(wú)法執(zhí)行ALTER TABLE tb SET TBLPROPERTIES ('spark.sql.test' = 'test')進(jìn)行修改 - 無(wú)法修改外部表的屬性
ALTER TABLE tb SET TBLPROPERTIES ('test' = 'test')這里假設(shè)tb是EXTERNAL類型的表 - DROP VIEW IF EXISTS tb，如果這里的tb是個(gè)TABLE而非VIEW米绕，執(zhí)行會(huì)報(bào)錯(cuò)
AnalysisException: Cannot drop a table with DROP VIEW瑟捣，在2.x以下不會(huì)報(bào)錯(cuò)，由于我們指定了IF EXISTS關(guān)鍵字栅干，這里的報(bào)錯(cuò)顯然不合理蝶柿，需要做異常處理。 - 如果你訪問的表不存在非驮，異常信息在Spark2.x里由之前的
Table not found變成了Table or view not found交汤，如果你的代碼里依賴這個(gè)異常信息，就需要注意調(diào)整了。 - EXPLAIN語(yǔ)句的返回格式變掉了芙扎，在1.6里是多行文本星岗，2.x中是一行，而且內(nèi)容格式也有稍微的變化戒洼，相比Spark1.6俏橘，少了Tungsten關(guān)鍵字；EXPLAIN中顯示的HDFS路徑過長(zhǎng)的話圈浇，在Spark 2.x中會(huì)被省略為...
- 2.x中默認(rèn)不支持笛卡爾積操作寥掐，需要通過參數(shù)
spark.sql.crossJoin.enabled開啟 - OLAP分析中常用的
GROUPING__ID函數(shù)在2.x變成了GROUPING_ID() - 如果你有一個(gè)基于Hive的UDF名為abc，有3個(gè)參數(shù)磷蜀，然后又基于Spark的UDF實(shí)現(xiàn)了一個(gè)2個(gè)參數(shù)的abc召耘，在2.x中，2個(gè)參數(shù)的abc會(huì)覆蓋掉Hive中3個(gè)參數(shù)的abc函數(shù)褐隆，1.6則不會(huì)有這個(gè)問題
- 執(zhí)行類似
SELECT 1 FROM tb GROUP BY 1的語(yǔ)句會(huì)報(bào)錯(cuò)污它，需要單獨(dú)設(shè)置spark.sql.groupByOrdinal false類似的參數(shù)還有spark.sql.orderByOrdinal false - CREATE DATABASE默認(rèn)路徑發(fā)生了變化，不在從hive-site.xml讀取
hive.metastore.warehouse.dir衫贬，需要通過Spark的spark.sql.warehouse.dir配置指定數(shù)據(jù)庫(kù)的默認(rèn)存儲(chǔ)路徑。 - CAST一個(gè)不存在的日期返回null歇攻，如：year('2015-03-40')固惯，在1.6中返回2015
- Spark 2.x不允許在VIEW中使用臨時(shí)函數(shù)（temp function）https://issues.apache.org/jira/browse/SPARK-18209
- Spark 2.1以后，窗口函數(shù)ROW_NUMBER()必須要在OVER內(nèi)添加ORDER BY缴守，以前的
ROW_NUMBER() OVER()執(zhí)行會(huì)報(bào)錯(cuò) - Spark 2.1以后缝呕，
SIZE(null)返回-1，之前的版本返回null - Parquet文件的默認(rèn)壓縮算法由gzip變成了snappy斧散，據(jù)官方說法是snappy有更好的查詢性能，大家需要自己驗(yàn)證性能的變化
- DESC FORMATTED tb返回的內(nèi)容有所變化摊聋，1.6的格式和Hive比較貼近鸡捐，2.x中分兩列顯示
- 異常信息的變化，未定義的函數(shù)麻裁，Spark 2.x:
org.apache.spark.sql.AnalysisException: Undefined function: 'xxx’., Spark 1.6:AnalysisException: undefined function xxx箍镜，參數(shù)格式錯(cuò)誤：Spark 2.x:Invalid number of arguments, Spark 1.6:No handler for Hive udf class org.apache.hadoop.hive.ql.udf.generic.GenericUDAFXXX because: Exactly one argument is expected.. - Spark Standalone的WebUI中已經(jīng)沒有這個(gè)API了：
/api/v1/applications：https://issues.apache.org/jira/browse/SPARK-12299，https://issues.apache.org/jira/browse/SPARK-18683
版本回退
那些升級(jí)到2.x后煎源，發(fā)現(xiàn)有問題回退后色迂，讓你欲哭無(wú)淚的問題。
- Spark 2.0開始手销，SQL創(chuàng)建的分區(qū)表兼容Hive了歇僧，Spark會(huì)將分區(qū)信息保存到HiveMetastore中，也就是我們可以通過SHOW PARTITIONS查詢分區(qū)，Hive也能正常查詢這些分區(qū)表了诈悍。如果將Spark切換到低版本祸轮，在更新分區(qū)表，HiveMetastore中的分區(qū)信息并不會(huì)更新侥钳，需要執(zhí)行
MSCK REPAIR TABLE進(jìn)行修復(fù)适袜，否則再次升級(jí)會(huì)出現(xiàn)缺數(shù)據(jù)的現(xiàn)象。 - Spark 2.0 ~ 2.1創(chuàng)建的VIEW并不會(huì)把創(chuàng)建VIEW的原始SQL更新到HiveMetastore舷夺，而是解析后的SQL苦酱，如果這個(gè)SQL包含復(fù)雜的子查詢，那么切換到1.6后给猾，就有可能無(wú)法使用這個(gè)VIEW表了（1.6對(duì)SQL的支持不如2.x）
其他
從2.2.0開始疫萤，Spark不在支持Hadoop 2.5及更早的版本，同時(shí)也不支持Java 7 了耙册，所以给僵，如果你用的版本比較老，還是盡快升級(jí)的比較好详拙。
2.x中對(duì)于ThriftServer或JobServer這樣的長(zhǎng)時(shí)間運(yùn)行的服務(wù)帝际，穩(wěn)定性不如1.6，如果您的計(jì)算業(yè)務(wù)復(fù)雜饶辙、SQL計(jì)算任務(wù)繁多蹲诀、頻繁的更新數(shù)據(jù)、處理數(shù)據(jù)量較大弃揽，穩(wěn)定性的問題更加凸顯脯爪。穩(wěn)定性問題主要集中在內(nèi)存方面，Executor經(jīng)常出現(xiàn)堆外內(nèi)存嚴(yán)重超出矿微、OOM導(dǎo)致進(jìn)程異常退出等問題痕慢。Executor進(jìn)程OOM異常退出后相關(guān)的block-mgr目錄（也就是SPARK_LOCAL_DIRS）并不會(huì)被清理，這就導(dǎo)致Spark Application長(zhǎng)時(shí)間運(yùn)行很容易出現(xiàn)磁盤被寫滿的情況涌矢。
總結(jié)
Spark 2.x中為了性能掖举，SQL模塊的改動(dòng)相當(dāng)大，這也導(dǎo)致Bug變多娜庇，穩(wěn)定性變差塔次。當(dāng)然，隨著Spark的不斷改進(jìn)迭代名秀，這些問題也在逐步緩解励负。
對(duì)于一個(gè)計(jì)算服務(wù)，相比性能匕得，數(shù)據(jù)計(jì)算的正確性及穩(wěn)定性更加重要继榆。建議尚未升級(jí)到2.x的同學(xué)，最好使用最新的Spark版本做升級(jí)；升級(jí)前裕照，務(wù)必結(jié)合自己的業(yè)務(wù)場(chǎng)景做好充分的測(cè)試攒发，避免踩坑。
本文同步更新到微信公眾號(hào)晋南，歡迎掃碼關(guān)注惠猿。
