Sharding-JDBC 數(shù)據(jù)源分片：Java 配置實現(xiàn)基于原生 JDBC 的范圍分片方案

本文介紹 Sharding-JDBC 數(shù)據(jù)源分片之使用 Java 配置實現(xiàn)基于原生 JDBC 的范圍分片方案频轿。

注意：請先閱讀 【Sharding-JDBC 數(shù)據(jù)源分片：Java 配置實現(xiàn)基于原生 JDBC 的精確分片方案】疟丙，本文示例代碼在此基礎(chǔ)上增量添加奠滑。

目錄

  • 開發(fā)環(huán)境
  • 基礎(chǔ)示例
  • 總結(jié)

開發(fā)環(huán)境

  • Oracle JDK 1.8.0_201
  • Apache Maven 3.6.0
  • IntelliJ IDEA (Version 2018.3.3)
  • MySQL 5.6.38

基礎(chǔ)示例

  1. 定義精確分片算法接口 PreciseShardingAlgorithm 實現(xiàn)。
package tutorial.shardingsphere.jdbc.algorithm;

import org.apache.shardingsphere.api.sharding.standard.PreciseShardingAlgorithm;
import org.apache.shardingsphere.api.sharding.standard.PreciseShardingValue;

import java.util.Collection;

public final class PreciseModuloShardingDatabaseAlgorithm implements PreciseShardingAlgorithm<Long> {

    @Override
    public String doSharding(Collection<String> dataSourceNames, PreciseShardingValue<Long> preciseShardingValue) {
        for (String dataSourceName : dataSourceNames) {
            if (dataSourceName.endsWith(preciseShardingValue.getValue() % 2 + "")) {
                return dataSourceName;
            }
        }
        throw new UnsupportedOperationException();
    }
}
  1. 定義范圍分片算法接口 RangeShardingAlgorithm 實現(xiàn)室抽。
package tutorial.shardingsphere.jdbc.algorithm;

import com.google.common.collect.Range;
import org.apache.shardingsphere.api.sharding.standard.RangeShardingAlgorithm;
import org.apache.shardingsphere.api.sharding.standard.RangeShardingValue;

import java.util.Collection;
import java.util.LinkedHashSet;
import java.util.Set;

public final class RangeModuloShardingDatabaseAlgorithm implements RangeShardingAlgorithm<Integer> {

    @Override
    public Collection<String> doSharding(Collection<String> dataSourceNames, RangeShardingValue<Integer> rangeShardingValue) {
        Set<String> result = new LinkedHashSet<>();
        if (Range.closed(1, 5).encloses(rangeShardingValue.getValueRange())) {
            for (String dataSourceName : dataSourceNames) {
                if (dataSourceName.endsWith("0")) {
                    result.add(dataSourceName);
                }
            }
        } else if (Range.closed(6, 10).encloses(rangeShardingValue.getValueRange())) {
            for (String dataSourceName : dataSourceNames) {
                if (dataSourceName.endsWith("1")) {
                    result.add(dataSourceName);
                }
            }
        } else if (Range.closed(1, 10).encloses(rangeShardingValue.getValueRange())) {
            result.addAll(dataSourceNames);
        } else {
            throw new UnsupportedOperationException();
        }
        return result;
    }
}
  1. 定義獲取數(shù)據(jù)源的工廠類搪哪。
package tutorial.shardingsphere.jdbc.util;

import org.apache.shardingsphere.api.config.sharding.KeyGeneratorConfiguration;
import org.apache.shardingsphere.api.config.sharding.ShardingRuleConfiguration;
import org.apache.shardingsphere.api.config.sharding.TableRuleConfiguration;
import org.apache.shardingsphere.api.config.sharding.strategy.StandardShardingStrategyConfiguration;
import org.apache.shardingsphere.shardingjdbc.api.ShardingDataSourceFactory;
import tutorial.shardingsphere.jdbc.algorithm.PreciseModuloShardingDatabaseAlgorithm;
import tutorial.shardingsphere.jdbc.algorithm.RangeModuloShardingDatabaseAlgorithm;

import javax.sql.DataSource;
import java.sql.SQLException;
import java.util.HashMap;
import java.util.Map;
import java.util.Properties;

public class RangeDataSourceFactory {

    /**
     * 配置數(shù)據(jù)源映射
     */
    private static Map<String, DataSource> createDataSourceMap() {
        Map<String, DataSource> result = new HashMap<>();
        result.put("ds_0", DataSourceUtils.createDataSource("ds_0"));
        result.put("ds_1", DataSourceUtils.createDataSource("ds_1"));
        return result;
    }

    public static DataSource getDataSource() throws SQLException {
        // 配置數(shù)據(jù)源映射
        Map<String, DataSource> dataSourceMap = createDataSourceMap();
        // 配置表規(guī)則
        TableRuleConfiguration tableRuleConfiguration = new TableRuleConfiguration("t_order");
        tableRuleConfiguration.setKeyGeneratorConfig(new KeyGeneratorConfiguration("SNOWFLAKE", "order_id"));
        // 配置分片規(guī)則
        ShardingRuleConfiguration shardingRuleConfiguration = new ShardingRuleConfiguration();
        shardingRuleConfiguration.getTableRuleConfigs().add(tableRuleConfiguration);
        // 配置默認(rèn)分庫策略
        shardingRuleConfiguration.setDefaultDatabaseShardingStrategyConfig(
                new StandardShardingStrategyConfiguration("user_id",
                        new PreciseModuloShardingDatabaseAlgorithm(),
                        new RangeModuloShardingDatabaseAlgorithm())
        );
        // 獲取數(shù)據(jù)源對象
        return ShardingDataSourceFactory.createDataSource(dataSourceMap, shardingRuleConfiguration, new Properties());
    }
}

與【Sharding-JDBC 數(shù)據(jù)源分片：Java 配置實現(xiàn)基于原生 JDBC 的精確分片方案】 中定義的 DataSourceFactory 唯一區(qū)別在于配置的默認(rèn)分庫策略不同，請注意 StandardShardingStrategyConfiguration 構(gòu)造方法坪圾。

  1. 定義新的 Order（訂單）數(shù)據(jù)訪問實現(xiàn)晓折，繼承 OrderDaoImpl，重寫 select 方法兽泄。
package tutorial.shardingsphere.jdbc.dao.impl;

import tutorial.shardingsphere.jdbc.bean.Order;

import javax.sql.DataSource;
import java.util.List;

public class RangeOrderDaoImpl extends OrderDaoImpl {

    public RangeOrderDaoImpl(DataSource dataSource) {
        super(dataSource);
    }

    @Override
    public List<Order> select() {
        String sql = "SELECT * FROM t_order WHERE user_id BETWEEN 1 AND 5";
        return listOrders(sql);
    }
}
  1. 編寫單元測試漓概。
package tutorial.shardingsphere.jdbc;

import org.junit.Assert;
import org.junit.BeforeClass;
import org.junit.Test;
import tutorial.shardingsphere.jdbc.bean.Order;
import tutorial.shardingsphere.jdbc.dao.IOrderDao;
import tutorial.shardingsphere.jdbc.dao.impl.RangeOrderDaoImpl;
import tutorial.shardingsphere.jdbc.util.RangeDataSourceFactory;

import javax.sql.DataSource;
import java.sql.SQLException;
import java.util.List;

public class JdbcConfigRangeShardingDatabaseTest {

    private static IOrderDao orderDao;

    @BeforeClass
    public static void init() throws SQLException {
        DataSource dataSource = RangeDataSourceFactory.getDataSource();
        orderDao = new RangeOrderDaoImpl(dataSource);
    }

    @Test
    public void test() {
        orderDao.createTableIfNotExists();
        orderDao.truncateTable();
        Assert.assertEquals(0, orderDao.select().size());
        for (long i = 1; i <= 10; i++) {
            Order order = new Order(i, "Order " + i);
            orderDao.insert(order);
        }
        List<Order> result = orderDao.select();
        result.forEach(System.out::println);
    }
}

測試結(jié)果：

Order{orderId=350292866448228352, userId=2, details='Order 2'}
Order{orderId=350292866498560000, userId=4, details='Order 4'}

說明：使用 t_order 表中 user_id 字段作為單一分片鍵，使用 user_id 值對 2 做取模運算病梢，余 0 的存儲在 ds_0 中胃珍，余 1 的存儲在 ds_1 中，因此以上測試中第 1蜓陌、3觅彰、5、7护奈、9 個訂單會存儲在 ds_1 中缔莲，第 2、4霉旗、6痴奏、8、10 個訂單會存儲在 ds_0 中厌秒。按照定義的范圍分片算法邏輯读拆，當(dāng) BETWEEN AND 數(shù)據(jù)范圍在 1-5 之間時只會在 ds_0 中查找，數(shù)據(jù)范圍在 6-10 之間時只會在 ds_1 中查找鸵闪。覆蓋后的 DAO 查詢條件是 BETWEEN 1 AND 5檐晕，因此只會在 ds_0 中查找，只能找到第 2 個和第 4 個訂單蚌讼。

將 RangeOrderDaoImpl 的 select 方法查詢條件修改為 BETWEEN 1 AND 10辟灰，重新執(zhí)行單元測試可以查詢到已插入的所有訂單信息，測試結(jié)果略篡石。

如果查詢范圍超過 1-10芥喇，如 BETWEEN 1 AND 11，則執(zhí)行查詢會報以下異常凰萨。

java.lang.UnsupportedOperationException
    at tutorial.shardingsphere.jdbc.algorithm.RangeModuloShardingDatabaseAlgorithm.doSharding(RangeModuloShardingDatabaseAlgorithm.java:31)
    at org.apache.shardingsphere.core.strategy.route.standard.StandardShardingStrategy.doSharding(StandardShardingStrategy.java:71)
    at org.apache.shardingsphere.core.strategy.route.standard.StandardShardingStrategy.doSharding(StandardShardingStrategy.java:60)
    at org.apache.shardingsphere.core.route.type.standard.StandardRoutingEngine.routeDataSources(StandardRoutingEngine.java:191)
    at org.apache.shardingsphere.core.route.type.standard.StandardRoutingEngine.route(StandardRoutingEngine.java:178)
    at org.apache.shardingsphere.core.route.type.standard.StandardRoutingEngine.routeByShardingConditionsWithCondition(StandardRoutingEngine.java:108)
    at org.apache.shardingsphere.core.route.type.standard.StandardRoutingEngine.routeByShardingConditions(StandardRoutingEngine.java:102)
    at org.apache.shardingsphere.core.route.type.standard.StandardRoutingEngine.getDataNodes(StandardRoutingEngine.java:87)
    at org.apache.shardingsphere.core.route.type.standard.StandardRoutingEngine.route(StandardRoutingEngine.java:69)
    at org.apache.shardingsphere.core.route.router.sharding.ParsingSQLRouter.route(ParsingSQLRouter.java:106)
    at org.apache.shardingsphere.core.route.PreparedStatementRoutingEngine.route(PreparedStatementRoutingEngine.java:66)
    at org.apache.shardingsphere.core.PreparedQueryShardingEngine.route(PreparedQueryShardingEngine.java:60)
    at org.apache.shardingsphere.core.BaseShardingEngine.shard(BaseShardingEngine.java:64)
    at org.apache.shardingsphere.shardingjdbc.jdbc.core.statement.ShardingPreparedStatement.shard(ShardingPreparedStatement.java:224)
    at org.apache.shardingsphere.shardingjdbc.jdbc.core.statement.ShardingPreparedStatement.executeQuery(ShardingPreparedStatement.java:109)
    at tutorial.shardingsphere.jdbc.dao.impl.OrderDaoImpl.listOrders(OrderDaoImpl.java:82)
    at tutorial.shardingsphere.jdbc.dao.impl.RangeOrderDaoImpl.select(RangeOrderDaoImpl.java:17)
    at tutorial.shardingsphere.jdbc.RangeShardingDatabaseTest.test(RangeShardingDatabaseTest.java:29)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.junit.runners.model.FrameworkMethod$1.runReflectiveCall(FrameworkMethod.java:50)
    at org.junit.internal.runners.model.ReflectiveCallable.run(ReflectiveCallable.java:12)
    at org.junit.runners.model.FrameworkMethod.invokeExplosively(FrameworkMethod.java:47)
    at org.junit.internal.runners.statements.InvokeMethod.evaluate(InvokeMethod.java:17)
    at org.junit.runners.ParentRunner.runLeaf(ParentRunner.java:325)
    at org.junit.runners.BlockJUnit4ClassRunner.runChild(BlockJUnit4ClassRunner.java:78)
    at org.junit.runners.BlockJUnit4ClassRunner.runChild(BlockJUnit4ClassRunner.java:57)
    at org.junit.runners.ParentRunner$3.run(ParentRunner.java:290)
    at org.junit.runners.ParentRunner$1.schedule(ParentRunner.java:71)
    at org.junit.runners.ParentRunner.runChildren(ParentRunner.java:288)
    at org.junit.runners.ParentRunner.access$000(ParentRunner.java:58)
    at org.junit.runners.ParentRunner$2.evaluate(ParentRunner.java:268)
    at org.junit.internal.runners.statements.RunBefores.evaluate(RunBefores.java:26)
    at org.junit.runners.ParentRunner.run(ParentRunner.java:363)
    at org.junit.runner.JUnitCore.run(JUnitCore.java:137)
    at com.intellij.junit4.JUnit4IdeaTestRunner.startRunnerWithArgs(JUnit4IdeaTestRunner.java:68)
    at com.intellij.rt.execution.junit.IdeaTestRunner$Repeater.startRunnerWithArgs(IdeaTestRunner.java:47)
    at com.intellij.rt.execution.junit.JUnitStarter.prepareStreamsAndStart(JUnitStarter.java:242)
    at com.intellij.rt.execution.junit.JUnitStarter.main(JUnitStarter.java:70)

總結(jié)

  • 分片算法支持通過 =继控、IN、BETWEEN 進(jìn)行數(shù)據(jù)分片胖眷，需要自定義實現(xiàn)武通。
  • 精確分片算法 PreciseShardingAlgorithm 用于處理使用單一鍵作為分片鍵的 = 和 IN 進(jìn)行分片的場景，需要配合 StandardShardingStrategy 使用珊搀。
  • 范圍分片算法 RangeShardingAlgorithm 用于處理使用單一鍵作為分片鍵的 BETWEEN AND 進(jìn)行分片的場景冶忱，需要配合 StandardShardingStrategy 使用。
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 人面猴
    序言：七十年代末境析，一起剝皮案震驚了整個濱河市囚枪，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌簿晓，老刑警劉巖眶拉，帶你破解...
    沈念sama閱讀 219,589評論 6贊 508
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場離奇詭異憔儿，居然都是意外死亡忆植，警方通過查閱死者的電腦和手機(jī)，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,615評論 3贊 396
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進(jìn)店門谒臼，熙熙樓的掌柜王于貴愁眉苦臉地迎上來朝刊，“玉大人，你說我怎么就攤上這事蜈缤∈懊ィ” “怎么了？”我有些...
    開封第一講書人閱讀 165,933評論 0贊 356
  • 道士緝兇錄：失蹤的賣姜人
    文/不壞的土叔 我叫張陵底哥，是天一觀的道長咙鞍。 經(jīng)常有香客問我房官，道長，這世上最難降的妖魔是什么续滋？ 我笑而不...
    開封第一講書人閱讀 58,976評論 1贊 295
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任翰守，我火速辦了婚禮，結(jié)果婚禮上疲酌，老公的妹妹穿的比我還像新娘蜡峰。我一直安慰自己，他們只是感情好朗恳，可當(dāng)我...
    茶點故事閱讀 67,999評論 6贊 393
  • 惡毒庶女頂嫁案：這布局不是一般人想出來的
    文/花漫 我一把揭開白布湿颅。 她就那樣靜靜地躺著，像睡著了一般粥诫。 火紅的嫁衣襯著肌膚如雪油航。 梳的紋絲不亂的頭發(fā)上，一...
    開封第一講書人閱讀 51,775評論 1贊 307
  • 城市分裂傳說
    那天臀脏，我揣著相機(jī)與錄音劝堪，去河邊找鬼。 笑死揉稚，一個胖子當(dāng)著我的面吹牛秒啦，可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播搀玖，決...
    沈念sama閱讀 40,474評論 3贊 420
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開眼余境，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了灌诅？” 一聲冷哼從身側(cè)響起芳来，我...
    開封第一講書人閱讀 39,359評論 0贊 276
  • 萬榮殺人案實錄
    序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎猜拾，沒想到半個月后即舌，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
    沈念sama閱讀 45,854評論 1贊 317
  • ?護(hù)林員之死
    正文 獨居荒郊野嶺守林人離奇死亡挎袜，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,007評論 3贊 338
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年顽聂，在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片盯仪。...
    茶點故事閱讀 40,146評論 1贊 351
  • 活死人
    序言：一個原本活蹦亂跳的男人離奇死亡紊搪，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出全景，到底是詐尸還是另有隱情耀石，我是刑警寧澤，帶...
    沈念sama閱讀 35,826評論 5贊 346
  • ?日本核電站爆炸內(nèi)幕
    正文 年R本政府宣布爸黄，位于F島的核電站滞伟，受9級特大地震影響揭鳞，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜诗良，卻給世界環(huán)境...
    茶點故事閱讀 41,484評論 3贊 331
  • 男人毒藥：我在死后第九天來索命
    文/蒙蒙 一汹桦、第九天 我趴在偏房一處隱蔽的房頂上張望鲁驶。 院中可真熱鬧鉴裹，春花似錦、人聲如沸钥弯。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,029評論 0贊 22
  • 一樁弒父案，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽脆霎。三九已至总处，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間睛蛛，已是汗流浹背鹦马。 一陣腳步聲響...
    開封第一講書人閱讀 33,153評論 1贊 272
  • 情欲美人皮
    我被黑心中介騙來泰國打工， 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留忆肾，地道東北人荸频。 一個月前我還...
    沈念sama閱讀 48,420評論 3贊 373
  • 代替公主和親
    正文 我出身青樓，卻偏偏與公主長得像客冈，于是被迫代替她去往敵國和親旭从。 傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,107評論 2贊 356