sharding-jdbc 執(zhí)行流程源碼分析-sql 解析

上一篇分析了 sharding-jdbc 的初始化流程，從本篇開始分析執(zhí)行流程，執(zhí)行流程包括
（1）sql 解析
（2）sql 提取
（3）sql 路由
（4）sql 替換
（5）sql 執(zhí)行
本篇主要分析 sql 解析,基于 4.0.1 ，Sharding jdbc 在 1.5.0.M1 正式發(fā)布時，將 SQL 解析引擎從 Druid 替換成了自研的绵跷，自研的引擎僅解析分片上下文，對于 SQL 采用"半理解"理念成福，進一步提升性能和兼容性碾局，同時降低了代碼復雜度, 而在 4.0.1 中 sql 解析引擎是 antlr4, 的優(yōu)勢是通用型較好，更加易于擴展闷叉。在 Sharding jdbc 發(fā)型版本中 sql 解析部分改動是頻繁的擦俐，但都朝著，兼容性握侧、擴展性方向發(fā)展蚯瞧。

因為本篇第一次講執(zhí)行，所以要先看一下執(zhí)行階段的入口

1品擎、執(zhí)行階段一般用 orm 框架作為數據庫操作的發(fā)起方埋合，無論jdbc或 orm，第一步都是獲取數據庫連接 Connection萄传，然后根據 Connection 創(chuàng)建 Statement 然后用 Statement.execute 執(zhí)行 sql 語句

@Getter
public class ShardingDataSource extends AbstractDataSourceAdapter {
    ...略
    //執(zhí)行階段
    @Override
    public final ShardingConnection getConnection() {
        return new ShardingConnection(getDataSourceMap(), runtimeContext, TransactionTypeHolder.get());
    }
}
//根據 Connection 創(chuàng)建 Statement
@Getter
public final class ShardingConnection extends AbstractConnectionAdapter {
    @Override
    public PreparedStatement prepareStatement(final String sql, final int resultSetType, final int resultSetConcurrency) throws SQLException {
        return new ShardingPreparedStatement(this, sql, resultSetType, resultSetConcurrency);
    }
}

承接 orm甚颂，執(zhí)行 sql 的入口

1、清除上一次執(zhí)行時候的緩存秀菱，這里有點疑惑振诬，因為orm每次執(zhí)行的時候都會創(chuàng)建一個新的 PreparedStatement 為啥這邊還要有緩存呢？
2衍菱、解析 sql 并且生成新的sql：包括sql 解析赶么、sql 提取、sql 路由脊串、sql 改寫辫呻。
3清钥、初始化執(zhí)行器，將 sql 分組執(zhí)行放闺，并行或串行執(zhí)行祟昭。

   //ShardingPreparedStatement
   // 承接 orm ，執(zhí)行sql 的入口
    @Override
    public boolean execute() throws SQLException {
        try {
            //清除上一次執(zhí)行時候的緩存
            clearPrevious();
            //解析 sql 并且生成新的sql
            shard();
            //初始化執(zhí)行器怖侦，將 sql 分組執(zhí)行
            initPreparedStatementExecutor();
            //執(zhí)行 sql 并行或串行篡悟，如果是本地鏈接(非分布式事務) 那么如果不是自動提交那么，那么并行執(zhí)行
            return preparedStatementExecutor.execute();
        } finally {
            clearBatch();
        }
    }

解析 sql 并且生成新的sql：包括sql 解析础钠、sql 提取恰力、sql 路由叉谜、sql 改寫旗吁。

1、獲取 sql 執(zhí)行時候的參數
2停局、sql 解析很钓、sql 提取、sql 路由
3董栽、sql 改寫
4码倦、打印 sql 日志

    //ShardingPreparedStatement.java
    private void shard() {
        sqlRouteResult = shardingEngine.shard(sql, getParameters());
    }
    //BaseShardingEngine.java
    public SQLRouteResult shard(final String sql, final List<Object> parameters) {
        List<Object> clonedParameters = cloneParameters(parameters);
        //詞法分析解析 sql 并且根據分片策略，找到真實表
        SQLRouteResult result = executeRoute(sql, clonedParameters);
        //改寫sql 锭碳，如果是 Hint 僅僅是分庫那么不需要改寫sql
        result.getRouteUnits().addAll(HintManager.isDatabaseShardingOnly() ? convert(sql, clonedParameters, result) : rewriteAndConvert(sql, clonedParameters, result));
        boolean showSQL = shardingProperties.getValue(ShardingPropertiesConstant.SQL_SHOW);
        if (showSQL) {
            boolean showSimple = shardingProperties.getValue(ShardingPropertiesConstant.SQL_SIMPLE);
            SQLLogger.logSQL(sql, showSimple, result.getSqlStatementContext(), result.getRouteUnits());
        }
        return result;
    }

獲取 sql 執(zhí)行時候的參數

ShardingPreparedStatement 的父類 AbstractShardingPreparedStatementAdapter 覆蓋了 Statement 的設置參數的方法袁稽，所以可以通過 getParameters() 獲得參數列表

    //AbstractShardingPreparedStatementAdapter  覆蓋了 Statement 的設置參數的方法
    @Override
    public final void setByte(final int parameterIndex, final byte x) {
        setParameter(parameterIndex, x);
    }
    //將參數保存到 parameters 集合中
    private void setParameter(final int parameterIndex, final Object value) {
        if (parameters.size() == parameterIndex - 1) {
            parameters.add(value);
            return;
        }
        for (int i = parameters.size(); i <= parameterIndex - 1; i++) {
            parameters.add(null);
        }
        parameters.set(parameterIndex - 1, value);
    }

sql 解析、sql 提取擒抛、sql 路由

   //PreparedStatementRoutingEngine.java
   public SQLRouteResult route(final List<Object> parameters) {
        if (null == sqlStatement) {
            //解析 sql 并且根據 sql 語句的類型返回對應的 Statement
            sqlStatement = shardingRouter.parse(logicSQL, true);
        }
        //路由
        return masterSlaveRouter.route(shardingRouter.route(logicSQL, parameters, sqlStatement));
    }

然后再看一下執(zhí)行階段所涉及到的類的 uml 圖

image.png

sql 解析的入口是在路由階段獲取 sqlStatement 的時候調用的

   //ShardingRouter.java
   public SQLStatement parse(final String sql, final boolean useCache) {
        ParsingHook parsingHook = new SPIParsingHook();
        parsingHook.start(sql);
        try {
            //用 antlr 詞法分析解析 sql
            SQLStatement result = parse0(sql, useCache);
            parsingHook.finishSuccess(result);
            return result;
            // CHECKSTYLE:OFF
        } catch (final Exception ex) {
            // CHECKSTYLE:ON
            parsingHook.finishFailure(ex);
            throw ex;
        }
    }
   //ShardingRouter.java
   private SQLStatement parse0(final String sql, final boolean useCache) {
        //是否用緩存中已解析好的結果
        if (useCache) {
            Optional<SQLStatement> cachedSQLStatement = cache.getSQLStatement(sql);
            if (cachedSQLStatement.isPresent()) {
                return cachedSQLStatement.get();
            }
        }
        // ParseRuleRegistry.getInstance() 獲取定的一些規(guī)范推汽，和配置信息
        SQLStatement result = new SQLParseKernel(ParseRuleRegistry.getInstance(), databaseTypeName, sql).parse();
        if (useCache) {
            cache.put(sql, result);
        }
        return result;
    }

第一次解析 sql 的時候需要初始化 sql 解析規(guī)則、提取規(guī)則歧沪，這個在上一章講過了歹撒。
SQLParseKernel.parse() 方法進行 sql 解析

1、解析 sql 封裝成抽象語法數
2诊胞、根據抽象語法樹提取封裝成 SQLSegment 這步就是所謂的 sql 提取暖夭，下節(jié)將

    public SQLStatement parse() {
        //獲取數據庫解析工具,并且執(zhí)行解析生成語法樹
        SQLAST ast = parserEngine.parse();
        //根據語法樹提可以提取的部分
        Collection<SQLSegment> sqlSegments = extractorEngine.extract(ast);
        Map<ParserRuleContext, Integer> parameterMarkerIndexes = ast.getParameterMarkerIndexes();
        return fillerEngine.fill(sqlSegments, parameterMarkerIndexes.size(), ast.getSqlStatementRule());
    }

1、解析 sql 封裝成抽象語法數

1撵孤、根據數據庫類型獲取對應的 sql 語法分析器迈着，此處在第一次執(zhí)行sql 語句的時候已經根據 java spi 機制，拿到了SQLParserEntry.class 集合
2邪码、執(zhí)行解析并且獲取根節(jié)點
3裕菠、如果遇到了沒能匹配任何規(guī)則,無法轉換為 token （sql 沒有按照定義的規(guī)則來），那么進行忽略不符合規(guī)則的后邊的字符霞扬。
4糕韧、parseTree.getClass().getSimpleName 名字是在 DMLStatement.g4 文件中定義的規(guī)則名字加 Context ,查找 sql-statement-rule-definition.xml 定義的 SelectStatement

    public SQLAST parse() {
        SQLParser sqlParser = SQLParserFactory.newInstance(databaseTypeName, sql);
        ParseTree parseTree;
        try {
            ((Parser) sqlParser).setErrorHandler(new BailErrorStrategy());
            ((Parser) sqlParser).getInterpreter().setPredictionMode(PredictionMode.SLL);
            parseTree = sqlParser.execute().getChild(0);
        } catch (final ParseCancellationException ex) {
            //不符合規(guī)則的 sql 處理
            ((Parser) sqlParser).reset();
            ((Parser) sqlParser).setErrorHandler(new DefaultErrorStrategy());
            ((Parser) sqlParser).getInterpreter().setPredictionMode(PredictionMode.LL);
            parseTree = sqlParser.execute().getChild(0);
        }
        if (parseTree instanceof ErrorNode) {
            throw new SQLParsingException(String.format("Unsupported SQL of `%s`", sql));
        }
        SQLStatementRule rule = parseRuleRegistry.getSQLStatementRule(databaseTypeName, parseTree.getClass().getSimpleName());
        if (null == rule) {
            throw new SQLParsingException(String.format("Unsupported SQL of `%s`", sql));
        }
        return new SQLAST((ParserRuleContext) parseTree, getParameterMarkerIndexes((ParserRuleContext) parseTree), rule);
    }

根據數據庫類型獲取 SQLParser sql 語法解析器 SQLParserFactory.newInstance

    public static SQLParser newInstance(final String databaseTypeName, final String sql) {
        for (SQLParserEntry each : NewInstanceServiceLoader.newServiceInstances(SQLParserEntry.class)) {
            if (each.getDatabaseTypeName().equals(databaseTypeName)) {
                return createSQLParser(sql, each);
            }
        }
        throw new UnsupportedOperationException(String.format("Cannot support database type '%s'", databaseTypeName));
    }
    //antlr 相關的類
    @SneakyThrows
    private static SQLParser createSQLParser(final String sql, final SQLParserEntry parserEntry) {
        //根據 sql 創(chuàng)建詞法分析器
        Lexer lexer = parserEntry.getLexerClass().getConstructor(CharStream.class).newInstance(CharStreams.fromString(sql));
        return parserEntry.getParserClass().getConstructor(TokenStream.class).newInstance(new CommonTokenStream(lexer));
    }

antlr ParseTree 的數據結構