背景
得不到的東西讓你徹夜難眠表箭，沒(méi)有嘗試過(guò)的技術(shù)讓我躍躍欲試。
本著殺雞焉用牛刀的準(zhǔn)則钮莲，我們倡導(dǎo)夠用就行燃逻，不跟風(fēng)，不盲從臂痕。
所以伯襟，結(jié)果就是我們一直沒(méi)有真正使用分庫(kù)分表。曾經(jīng)好幾次握童，感覺(jué)沒(méi)有分庫(kù)分表（起碼要分表）姆怪，項(xiàng)目就做不下去了，但是由于跨部門澡绩、工具約束稽揭、項(xiàng)目被砍等各種原因最終都偃旗息鼓，乖乖的搞單表加索引去了肥卡。
應(yīng)該是沒(méi)有及時(shí)同步公司內(nèi)部知識(shí)庫(kù)的原因溪掀，過(guò)去的幾次分庫(kù)分表的嘗試也是讓人哭笑不得。公司內(nèi)部流傳著一件上古神器步鉴，可以解決分表問(wèn)題揪胃。
既然是上古神器，那么使用的流程肯定也是非常原始氛琢。沒(méi)錯(cuò)喊递，因?yàn)槭腔趙indows系統(tǒng)寫的一個(gè)桌面程序，所以必須到windows平臺(tái)安裝執(zhí)行阳似，而公司絕大多數(shù)已經(jīng)不用windows系統(tǒng)了骚勘。針對(duì)這個(gè)問(wèn)題，有兩個(gè)解決方式，一種是找臺(tái)式機(jī)俏讹，一種是安裝虛擬機(jī)当宴。
我選擇了后者，畢竟自己安裝泽疆，獨(dú)立自主即供，可以隨心所欲的操作。好了于微，環(huán)境算是有了逗嫡，這時(shí)候肯定要有個(gè)教程，畢竟口口相傳這種模式會(huì)隨著時(shí)間的推移慢慢變得不好使了株依，尤其是使用場(chǎng)景不多的情況下驱证。
打開(kāi)教程的那一刻，仿佛拿到的是易筋經(jīng)這樣的武功秘籍恋腕，里面只有幾張內(nèi)功心法似的截圖抹锄，要想?yún)⑼福孔约侯I(lǐng)悟荠藤。
睜大眼睛伙单，在放大縮小拖拽各種操作中，領(lǐng)會(huì)截圖的真正含義哈肖，生怕出現(xiàn)像漏看“欲練此功吻育，必先自宮”的下半句“如不自宮，也能成功”帶來(lái)的慘痛教訓(xùn)經(jīng)歷淤井。
每一步都很小心布疼，然后點(diǎn)擊相應(yīng)的神奇按鈕。一通操作币狠，Duang游两，分表就完成了，而且連相應(yīng)的ibatis文件都生成好了漩绵。你需要做的就是在代碼里面調(diào)用相應(yīng)接口就好了贱案。
可以想見(jiàn)，作為上古神器止吐，自有其光芒的地方宝踪，但是可能因?yàn)槟昃檬蓿岳斫馍蠒?huì)有些難度祟印。雖然一通操作猛如虎肴沫，但是回頭讓你再詳述下具體的流程可能已經(jīng)忘得差不多了粟害。
后來(lái)蕴忆，在部門內(nèi)部是有小伙伴專門研究過(guò)并做了分享，但是鑒于使用場(chǎng)景不多悲幅，所以沒(méi)有引起大家過(guò)多的關(guān)注套鹅。公司內(nèi)部也有其他部門引進(jìn)或者自研出了更好的工具站蝠，但是沒(méi)有參加分享，所以也是一度擱置卓鹿。
這次的項(xiàng)目按照老大一貫擴(kuò)展性的做法菱魔，應(yīng)該是要做分表的了，沒(méi)成想吟孙，初步過(guò)方案的時(shí)候說(shuō)分啥表澜倦，現(xiàn)在的量級(jí)單表完全夠用。好吧杰妓，雖然表沒(méi)分成藻治，但是接觸到了分表利器sharding-sphere。
sharding-sphere
簡(jiǎn)介
Sharding-Sphere是一套開(kāi)源的分布式數(shù)據(jù)庫(kù)中間件解決方案組成的生態(tài)圈巷挥，它由Sharding-JDBC桩卵、Sharding-Proxy和Sharding-Sidecar這3款相互獨(dú)立的產(chǎn)品組成。他們均提供標(biāo)準(zhǔn)化的數(shù)據(jù)分片倍宾、讀寫分離雏节、柔性事務(wù)和數(shù)據(jù)治理功能，可適用于如Java同構(gòu)高职、異構(gòu)語(yǔ)言钩乍、容器、云原生等各種多樣化的應(yīng)用場(chǎng)景怔锌。
官網(wǎng)
Github
https://github.com/sharding-sphere
三大核心模塊分別是Sharding-JDBC件蚕、Sharding-Proxy和Sharding-Sidecar。
Sharding-JDBC
定位為輕量級(jí)Java框架产禾，在Java的JDBC層提供的額外服務(wù)排作。 它使用客戶端直連數(shù)據(jù)庫(kù)，以jar包形式提供服務(wù)亚情，無(wú)需額外部署和依賴妄痪，可理解為增強(qiáng)版的JDBC驅(qū)動(dòng)，完全兼容JDBC和各種ORM框架楞件。
Sharding-Proxy
定位為透明化的數(shù)據(jù)庫(kù)代理端衫生，提供封裝了數(shù)據(jù)庫(kù)二進(jìn)制協(xié)議的服務(wù)端版本，用于完成對(duì)異構(gòu)語(yǔ)言的支持土浸。 目前先提供MySQL版本罪针，它可以使用任何兼容MySQL協(xié)議的訪問(wèn)客戶端(如：MySQL Command Client, MySQL Workbench等)操作數(shù)據(jù)，對(duì)DBA更加友好黄伊。
Sharding-Sidecar
定位為Kubernetes或Mesos的云原生數(shù)據(jù)庫(kù)代理泪酱，以DaemonSet的形式代理所有對(duì)數(shù)據(jù)庫(kù)的訪問(wèn)。 通過(guò)無(wú)中心、零侵入的方案提供與數(shù)據(jù)庫(kù)交互的的嚙合層墓阀，即Database Mesh毡惜，又可稱數(shù)據(jù)網(wǎng)格。
sharding-sphere-example
在Github上分別有三個(gè)項(xiàng)目斯撮，分別是sharding-sphere经伙、sharding-sphere-doc和sharding-sphere-example。從字面就可以看出每個(gè)項(xiàng)目是做什么的勿锅。
既然是要入門帕膜，那就clone下sharding-sphere-example這個(gè)項(xiàng)目。
1溢十、克隆項(xiàng)目
在命令行執(zhí)行git clone https://github.com/sharding-sphere/sharding-sphere-example.git
完成后泳叠，就可以看到sharding-sphere-example項(xiàng)目，導(dǎo)入intellij idea中茶宵。
2危纫、編譯項(xiàng)目
進(jìn)入項(xiàng)目根目錄下，編譯項(xiàng)目乌庶。
我這邊下載的項(xiàng)目sharding-sphere.version是3.0.0.M2-SNAPSHOT种蝶，編譯的時(shí)候一直報(bào)該版本找不到，無(wú)法下載瞒大，去中央倉(cāng)庫(kù)也沒(méi)有找到螃征。
想著可能要本地編譯打包，所以就換成了3.0.0.M1版本透敌，編譯通過(guò)盯滚。
3、配置數(shù)據(jù)源
因?yàn)槭潜緳C(jī)測(cè)試酗电，所以在本地配置mysql數(shù)據(jù)庫(kù)魄藕。
4、編寫數(shù)據(jù)分片代碼
sharding-sphere-example項(xiàng)目中有基于不同場(chǎng)景包括spring-boot撵术、jpa背率、mybatis的具體分庫(kù)分表的實(shí)例代碼。
本文主要結(jié)合sharding-sphere官方文檔給出的數(shù)據(jù)分片代碼講解如何實(shí)現(xiàn)分庫(kù)分表的嫩与。
測(cè)試類ShardingDataSource（自建測(cè)試類寝姿，來(lái)源http://shardingsphere.io/document/current/cn/manual/sharding-jdbc/usage/sharding/）
package practice;
import io.shardingsphere.core.api.ShardingDataSourceFactory;
import io.shardingsphere.core.api.config.ShardingRuleConfiguration;
import io.shardingsphere.core.api.config.TableRuleConfiguration;
import io.shardingsphere.core.api.config.strategy.InlineShardingStrategyConfiguration;
import io.shardingsphere.example.jdbc.fixture.DataRepository;
import org.apache.commons.dbcp.BasicDataSource;
import javax.sql.DataSource;
import java.sql.SQLException;
import java.util.HashMap;
import java.util.Map;
import java.util.Properties;
import java.util.concurrent.ConcurrentHashMap;
public class ShardingDataSource {
public static void main(String[] args)throws SQLException {
ShardingDataSource shardingDataSource =new ShardingDataSource();
DataSource dataSource = shardingDataSource.sharding();
new DataRepository(dataSource).demo();
}
public DataSource sharding()throws SQLException {
// 配置真實(shí)數(shù)據(jù)源
Map dataSourceMap =new HashMap<>();
// 配置第一個(gè)數(shù)據(jù)源
BasicDataSource dataSource1 =new BasicDataSource();
dataSource1.setDriverClassName("com.mysql.jdbc.Driver");
dataSource1.setUrl("jdbc:mysql://127.0.0.1:3306/ds0");
dataSource1.setUsername("root");
dataSource1.setPassword("root");
dataSourceMap.put("ds0", dataSource1);
// 配置第二個(gè)數(shù)據(jù)源
BasicDataSource dataSource2 =new BasicDataSource();
dataSource2.setDriverClassName("com.mysql.jdbc.Driver");
dataSource2.setUrl("jdbc:mysql://127.0.0.1:3306/ds1");
dataSource2.setUsername("root");
dataSource2.setPassword("root");
dataSourceMap.put("ds1", dataSource2);
// 配置Order表規(guī)則
TableRuleConfiguration orderTableRuleConfig =new TableRuleConfiguration();
orderTableRuleConfig.setLogicTable("t_order");
orderTableRuleConfig.setActualDataNodes("ds${0..1}.t_order${0..1}");
// 配置分庫(kù) + 分表策略
orderTableRuleConfig.setDatabaseShardingStrategyConfig(new InlineShardingStrategyConfiguration("user_id","ds${user_id % 2}"));
orderTableRuleConfig.setTableShardingStrategyConfig(new InlineShardingStrategyConfiguration("order_id","t_order${order_id % 2}"));
orderTableRuleConfig.setTableShardingStrategyConfig(new InlineShardingStrategyConfiguration("order_item_id","t_order_item${order_item_id % 2}"));
// 配置分片規(guī)則
ShardingRuleConfiguration shardingRuleConfig =new ShardingRuleConfiguration();
shardingRuleConfig.getTableRuleConfigs().add(orderTableRuleConfig);
// 配置order_item表規(guī)則...
TableRuleConfiguration orderItemTableRuleConfig =new TableRuleConfiguration();
orderItemTableRuleConfig.setLogicTable("t_order_item");
orderItemTableRuleConfig.setActualDataNodes("ds${0..1}.t_order_item${0..1}");
shardingRuleConfig.getTableRuleConfigs().add(orderItemTableRuleConfig);
// 獲取數(shù)據(jù)源對(duì)象
return ShardingDataSourceFactory.createDataSource(dataSourceMap, shardingRuleConfig,new ConcurrentHashMap(),new Properties());
}
}
注意
1、代碼中類似"ds{0..1}.t_order{0..1}"成為行表達(dá)式划滋，形如"{ expression }或->{ expression }"饵筑。該表達(dá)式可用于配置數(shù)據(jù)節(jié)點(diǎn)和配置分片算法。
${begin..end}表示范圍區(qū)間处坪，即表示從begin到end個(gè)
${[unit1, unit2, unit_x]}表示枚舉值
2根资、orderTableRuleConfig.setActualDataNodes("ds{0..1}.t_order{0..1}");
這里表示的是使用行表達(dá)式配置數(shù)據(jù)節(jié)點(diǎn)即數(shù)據(jù)庫(kù)分別是ds0架专、ds1,表分別是t_order0、t_order1嫂冻。
該表達(dá)的等價(jià)組合是：ds0.t_order0, ds0.t_order1, ds1.t_order0, ds1.t_order1胶征。
3塞椎、orderTableRuleConfig.setTableShardingStrategyConfig(new InlineShardingStrategyConfiguration("order_id", "t_order${order_id % 2}"));
這里表示的是使用行表達(dá)式配置分片算法桨仿。該行表示針對(duì)t_order表中的元素按照order_id模2將不同的元素放進(jìn)不同的表中。
比如order_id=5案狠，5%2=1服傍，則放入t_order1中
order_id=6, 6%2=0, 則放入t_order0中
4、除此以外還要一些類似"邏輯表"這樣的概念骂铁，可以到官方文檔自行查詢吹零。
工具類DataRespository(該類來(lái)源sharding-sphere-example項(xiàng)目)
/*
* Copyright 2016-2018 shardingsphere.io.
*
* Licensed under the Apache License, Version 2.0 (the "License");
* you may not use this file except in compliance with the License.
* You may obtain a copy of the License at
*
* http://www.apache.org/licenses/LICENSE-2.0
*
* Unless required by applicable law or agreed to in writing, software
* distributed under the License is distributed on an "AS IS" BASIS,
* WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
* See the License for the specific language governing permissions and
* limitations under the License.
*
*/
package io.shardingsphere.example.jdbc.fixture;
import io.shardingsphere.core.api.HintManager;
import javax.sql.DataSource;
import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
public class DataRepository {
private final DataSourcedataSource;
public DataRepository(final DataSource dataSource) {
this.dataSource = dataSource;
}
public void demo()throws SQLException {
createTable();
insertData();
System.out.println("1.Query with EQUAL--------------");
queryWithEqual();
System.out.println("2.Query with IN--------------");
queryWithIn();
System.out.println("3.Query with Hint--------------");
queryWithHint();
System.out.println("4.Drop tables--------------");
dropTable();
System.out.println("5.All done-----------");
}
private void createTable()throws SQLException {
execute("CREATE TABLE IF NOT EXISTS t_order (order_id BIGINT NOT NULL AUTO_INCREMENT, user_id INT NOT NULL, status VARCHAR(50), PRIMARY KEY (order_id))");
execute("CREATE TABLE IF NOT EXISTS t_order_item (order_item_id BIGINT NOT NULL AUTO_INCREMENT, order_id BIGINT NOT NULL, user_id INT NOT NULL, PRIMARY KEY (order_item_id))");
}
private void insertData()throws SQLException {
for (int i =1; i <10; i++) {
long orderId = insertAndGetGeneratedKey("INSERT INTO t_order (user_id, status) VALUES (10, 'INIT')");
execute(String.format("INSERT INTO t_order_item (order_id, user_id) VALUES (%d, 10)", orderId));
orderId = insertAndGetGeneratedKey("INSERT INTO t_order (user_id, status) VALUES (11, 'INIT')");
execute(String.format("INSERT INTO t_order_item (order_id, user_id) VALUES (%d, 11)", orderId));
}
}
private long insertAndGetGeneratedKey(final String sql)throws SQLException {
long result = -1;
try (
Connection connection =dataSource.getConnection();
Statement statement = connection.createStatement()) {
statement.executeUpdate(sql, Statement.RETURN_GENERATED_KEYS);
try (ResultSet resultSet = statement.getGeneratedKeys()) {
if (resultSet.next()) {
result = resultSet.getLong(1);
}
}
}
return result;
}
private void queryWithEqual()throws SQLException {
String sql ="SELECT i.* FROM t_order o JOIN t_order_item i ON o.order_id=i.order_id WHERE o.user_id=?";
try (
Connection connection =dataSource.getConnection();
PreparedStatement preparedStatement = connection.prepareStatement(sql)) {
preparedStatement.setInt(1,10);
printQuery(preparedStatement);
}
}
private void queryWithIn()throws SQLException {
String sql ="SELECT i.* FROM t_order o JOIN t_order_item i ON o.order_id=i.order_id WHERE o.user_id IN (?, ?)";
try (
Connection connection =dataSource.getConnection();
PreparedStatement preparedStatement = connection.prepareStatement(sql)) {
preparedStatement.setInt(1,10);
preparedStatement.setInt(2,11);
printQuery(preparedStatement);
}
}
private void queryWithHint()throws SQLException {
String sql ="SELECT i.* FROM t_order o JOIN t_order_item i ON o.order_id=i.order_id";
try (
HintManager hintManager = HintManager.getInstance();
Connection connection =dataSource.getConnection();
PreparedStatement preparedStatement = connection.prepareStatement(sql)) {
hintManager.addDatabaseShardingValue("t_order","user_id",11);
printQuery(preparedStatement);
}
}
private void printQuery(final PreparedStatement preparedStatement)throws SQLException {
try (ResultSet resultSet = preparedStatement.executeQuery()) {
while (resultSet.next()) {
System.out.print("order_item_id:" + resultSet.getLong(1) +", ");
System.out.print("order_id:" + resultSet.getLong(2) +", ");
System.out.print("user_id:" + resultSet.getInt(3));
System.out.println();
}
}
}
private void dropTable()throws SQLException {
execute("DROP TABLE t_order_item");
execute("DROP TABLE t_order");
}
private void execute(final String sql)throws SQLException {
try (
Connection connection =dataSource.getConnection();
Statement statement = connection.createStatement()) {
statement.execute(sql);
}
}
}
注意
1、createTable
該方法會(huì)根據(jù)配置的數(shù)據(jù)節(jié)點(diǎn)表達(dá)式創(chuàng)建分表拉庵。這里分別創(chuàng)建t_order和t_order_item兩張邏輯表灿椅。
2、insertData
該方法同樣根據(jù)配置的數(shù)據(jù)分片表達(dá)書創(chuàng)建數(shù)據(jù)
3钞支、queryWithEqual等方法
這些方法是不同的查詢場(chǎng)景茫蛹，有精確查詢也有范圍查詢
4、queryWithHint
該方法比較特殊烁挟。
通過(guò)解析SQL語(yǔ)句提取分片鍵列與值并進(jìn)行分片是Sharding-Sphere對(duì)SQL零侵入的實(shí)現(xiàn)方式婴洼。若SQL語(yǔ)句中沒(méi)有分片條件，則無(wú)法進(jìn)行分片撼嗓，需要全路由柬采。
好比queryWithHint這個(gè)方法中的"String sql = "SELECT i.* FROM t_order o JOIN t_order_item i ON o.order_id=i.order_id";"就沒(méi)有包含路由信息，即where
條件語(yǔ)句中沒(méi)有order_id和user_id的信息且警。
所以該方法中通過(guò)強(qiáng)制指定路由信息進(jìn)行路由粉捻。"hintManager.addDatabaseShardingValue("t_order", "user_id", 11);"這里執(zhí)行user_id為11的條件，通過(guò)這個(gè)條件也可以推測(cè)出是只會(huì)路由到ds1庫(kù)中（11%2=1）斑芜。
5杀迹、dropTable
該方法用于清理現(xiàn)場(chǎng)，將所有表和表數(shù)據(jù)清除押搪。
5树酪、執(zhí)行結(jié)果
執(zhí)行完代碼，控制臺(tái)打印
1.Query with EQUAL--------------
2.Query with IN--------------
3.Query with Hint--------------
4.Drop tables--------------
5.All done-----------
執(zhí)行代碼前大州，只有兩個(gè)數(shù)據(jù)庫(kù)ds0续语，ds1，執(zhí)行代碼后得到結(jié)果如下圖所示
小結(jié)
sharding-sphere是一天非常強(qiáng)大的分布式數(shù)據(jù)庫(kù)中間件解決方法厦画。
有簡(jiǎn)單易懂的行表達(dá)式用于配置數(shù)據(jù)節(jié)點(diǎn)和數(shù)據(jù)分片算法疮茄。
有自己的諸多大殺器滥朱，比如強(qiáng)制路由等。
官方文檔齊全力试，實(shí)例代碼項(xiàng)目case較全徙邻，能夠在較短時(shí)間完成分庫(kù)分表。
本篇通過(guò)一個(gè)簡(jiǎn)單的demo代碼畸裳，大致了解了sharding-sphere（主要是sharding-jdbc）的基本玩法缰犁，后續(xù)有時(shí)間可以學(xué)習(xí)下底層的設(shè)計(jì)和實(shí)現(xiàn)原理。
