分庫(kù)分表后,測(cè)試小姐姐都哭了

歡迎關(guān)注筆者的公眾號(hào):【阿飛的博客】堂氯,首發(fā)都在這里V囟丁!祖灰!

什么钟沛?你們的測(cè)試是小哥哥?那就不要往下看了局扶,讓他怎么難怎么來(lái)恨统。

建議

根據(jù)你的業(yè)務(wù)特點(diǎn)叁扫,單表 > 分區(qū) > 單庫(kù)分表 > 分庫(kù)分表,在滿(mǎn)足業(yè)務(wù)前提下畜埋,優(yōu)先級(jí)從左到右莫绣,不接受任何反駁。嘿嘿

背景

做過(guò)分表的(單庫(kù)分表或者分庫(kù)分表)都知道悠鞍,在你沒(méi)有依賴(lài)任何中間件之前对室,使用Navicat或者其他類(lèi)似工具操作MySQL,那將是災(zāi)難咖祭,如下圖所示:


sharding table view

如果是類(lèi)似取模這類(lèi)簡(jiǎn)單算法分表還好說(shuō)掩宜,能一眼根據(jù)分片鍵知道分表結(jié),比如根據(jù)用戶(hù)ID對(duì)128取模分表么翰,那么用戶(hù)ID為128的用戶(hù)數(shù)據(jù)就在表tb_user_0中牺汤。但是如果是采用類(lèi)似一致性hash算法或者更復(fù)雜的分表算法,那么我們首先需要利用程序根據(jù)分片鍵算出分表結(jié)果浩嫌,然后再到Navicat中對(duì)該表進(jìn)行CRUD檐迟。開(kāi)發(fā)尚且如此困難,測(cè)試小姐姐估計(jì)要崩潰了哈码耐。哪里有困難追迟,哪里就有機(jī)會(huì)。所以骚腥,這就是你和測(cè)試小姐姐拉近機(jī)會(huì)敦间、表現(xiàn)自己的時(shí)候。

本文要介紹的桦沉,能解決這個(gè)問(wèn)題的工具就是sharding-proxy(MyCAT也有類(lèi)似工具每瞒,只是易用性簡(jiǎn)直就是渣渣),看看部署sharding-proxy后使用Navicat訪問(wèn)MySQL的效果圖纯露,開(kāi)不開(kāi)森剿骨,激不激動(dòng):


image.png

所以,sharding-proxy能帶來(lái)什么呢埠褪?先說(shuō)優(yōu)點(diǎn)吧:

  1. 完全屏蔽sharding細(xì)節(jié)浓利,把它當(dāng)做一張普通的表增刪改查即可(分表算法集成在sharding-proxy的配置文件中,用戶(hù)不需要care)
  2. 打開(kāi)數(shù)據(jù)庫(kù)后钞速,不再是看到滿(mǎn)屏的表贷掖,而是只有幾張簡(jiǎn)單的表(如上圖左側(cè)所示)。
  3. 一個(gè)sharding-proxy可以代理多個(gè)數(shù)據(jù)源渴语,測(cè)試只需要對(duì)接一個(gè)sharding-proxy即可苹威。

再說(shuō)缺點(diǎn):

  1. 無(wú)法操作"設(shè)計(jì)表",即不能看到DDL驾凶。但是可以通過(guò)F6快捷鍵后show create table table_name查看表結(jié)果(以Navicat為例)牙甫;
  2. sharding-sphere不支持的語(yǔ)法(非常有限)掷酗,也不能在Navicate上操作。

是不是感覺(jué)很厲害的樣子窟哺,OK泻轰,讓我們花10分鐘給測(cè)試小姐姐一個(gè)驚喜吧(部署sharding-proxy)。

sharding-proxy

部署sharding-proxy非常簡(jiǎn)單且轨,只需如下幾個(gè)簡(jiǎn)單的步驟浮声。另外,本次部署以sharding-proxy-3.0.0版本為例旋奢。

下載

下載地址:https://github.com/sharding-sphere/sharding-sphere-doc/raw/master/dist/sharding-proxy-3.0.0.tar.gz

下載后解壓泳挥,我們看到只有簡(jiǎn)單的三個(gè)目錄:lib目錄就是sharding-proxy核心代碼,以及依賴(lài)的JAR包黄绩;bin目錄就是存放啟停腳本的羡洁;conf目錄就是存放所有配置文件玷过,包括sharding-proxy服務(wù)的配置文件爽丹、數(shù)據(jù)源以及sharding規(guī)則配置文件和項(xiàng)目日志配置文件。

lib目錄沒(méi)什么好說(shuō)的辛蚊,就是sharding-proxy項(xiàng)目以及依賴(lài)的jar包粤蝎。bin目錄里面就是window或者Linux環(huán)境啟停腳本。sharding-proxy啟動(dòng)的默認(rèn)端口是3307袋马,如果要自定義端口(以3308)初澎,執(zhí)行sh start.sh 3308即可(window環(huán)境修改start.bat即可)。所有重要的配置都在conf目錄下虑凛。

配置

  • logback.xml

首先就是最簡(jiǎn)單的日志配置文件logback.xml碑宴,筆者對(duì)其簡(jiǎn)單的修改了一下,你可以任意自定義桑谍,這個(gè)沒(méi)什么好說(shuō)的延柠,非常簡(jiǎn)單。

  • server.xml

接下來(lái)就是與sharding-proxy服務(wù)相關(guān)的配置文件server.yaml锣披,筆者的配置文件如下所示:

orchestration:
  name: orchestration_afei
  overwrite: true
  registry:
    # zk地址贞间,建議集群
    serverLists: 127.0.0.1:2181
    namespace: orchestration_afei

# 用戶(hù)通過(guò)Navicat訪問(wèn)sharding-proxy的用戶(hù)名密碼
authentication:
  username: afei
  password: afei

# sharding-proxy相關(guān)配置,建議sql.show設(shè)置為true雹仿,方便定位問(wèn)題
props:
  max.connections.size.per.query: 1
  acceptor.size: 16 
  executor.size: 16 
  proxy.transaction.enabled: false
  proxy.opentracing.enabled: false
  sql.show: true
  • config.xml

接下來(lái)就是最重要的數(shù)據(jù)源以及sharding規(guī)則配置文件config-.xml了增热。需要說(shuō)明的是,一個(gè)sharding-proxy實(shí)例能支持多個(gè)數(shù)據(jù)源*胧辽。

配置參考

schemaName: afei

dataSources:
  afei:
    url: jdbc:mysql://172.0.0.1:3306/afei?serverTimezone=UTC&useSSL=false
    username: afei
    password: afei
    autoCommit: true
    connectionTimeout: 10000
    idleTimeout: 60000
    maxLifetime: 1800000
    maximumPoolSize: 50

shardingRule:
  tables:
    # tb_afei的分表算法是根據(jù)trade_id對(duì)128取模
    tb_afei:
      actualDataNodes: afeidb.tb_afei_${0..127}
      tableStrategy:
        inline:
          shardingColumn: trade_id
          algorithmExpression: tb_afei_${trade_id % 128}    
    # afei_fenbiao的分表算法是在AfeiFenbiaoShardingAlgorithm中自定義     
    afei_fenbiao:
      actualDataNodes: afeidb.afei_fenbiao_${1..127}
      tableStrategy:
        standard:
          shardingColumn: id
          preciseAlgorithmClassName: com.afei.sjdbc.proxy.AfeiFenbiaoShardingAlgorithm
  bindingTables:
    
  # 默認(rèn)數(shù)據(jù)庫(kù)沒(méi)有分的策略
  defaultDatabaseStrategy:
    none:
  # 默認(rèn)表沒(méi)有分的策略
  defaultTableStrategy:
    none:
  defaultKeyGeneratorClassName: io.shardingsphere.core.keygen.DefaultKeyGenerator

對(duì)應(yīng)自定義分表算法峻仇,只需要將對(duì)應(yīng)算法編譯后的class文件放到conf目錄下即可,參考目錄結(jié)構(gòu):

com
  ├── afei/sjdbc/proxy/AfeiFenbiaoShardingAlgorithm.class
config-pay.yaml
config-account.yaml
logback.xml
server.yaml

其源碼只需要參考io.shardingsphere.core.routing.strategy.ShardingAlgorithm.java的實(shí)現(xiàn)類(lèi)即可邑商,例如PreciseOrderShardingAlgorithm.java摄咆。

  • Navicat

接下來(lái)只需要讓測(cè)試小姐姐用Navicat連接上sharding-proxy即可帆调,至于分庫(kù)分表這些細(xì)節(jié)本來(lái)就應(yīng)該對(duì)用戶(hù)是屏蔽的,是不是測(cè)試小姐姐會(huì)感覺(jué)你棒棒噠:


Navicat connect sharding proxy
我的微信公眾號(hào)
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末豆同,一起剝皮案震驚了整個(gè)濱河市番刊,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌影锈,老刑警劉巖芹务,帶你破解...
    沈念sama閱讀 216,402評(píng)論 6 499
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異鸭廷,居然都是意外死亡枣抱,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,377評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門(mén)辆床,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)佳晶,“玉大人,你說(shuō)我怎么就攤上這事讼载〗窝恚” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 162,483評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵咨堤,是天一觀的道長(zhǎng)菇篡。 經(jīng)常有香客問(wèn)我,道長(zhǎng)一喘,這世上最難降的妖魔是什么驱还? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,165評(píng)論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮凸克,結(jié)果婚禮上议蟆,老公的妹妹穿的比我還像新娘。我一直安慰自己萎战,他們只是感情好咐容,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,176評(píng)論 6 388
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著撞鹉,像睡著了一般疟丙。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上鸟雏,一...
    開(kāi)封第一講書(shū)人閱讀 51,146評(píng)論 1 297
  • 那天享郊,我揣著相機(jī)與錄音,去河邊找鬼孝鹊。 笑死炊琉,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播苔咪,決...
    沈念sama閱讀 40,032評(píng)論 3 417
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼锰悼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了团赏?” 一聲冷哼從身側(cè)響起箕般,我...
    開(kāi)封第一講書(shū)人閱讀 38,896評(píng)論 0 274
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎舔清,沒(méi)想到半個(gè)月后丝里,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,311評(píng)論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡体谒,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,536評(píng)論 2 332
  • 正文 我和宋清朗相戀三年杯聚,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片抒痒。...
    茶點(diǎn)故事閱讀 39,696評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡幌绍,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出故响,到底是詐尸還是另有隱情傀广,我是刑警寧澤,帶...
    沈念sama閱讀 35,413評(píng)論 5 343
  • 正文 年R本政府宣布被去,位于F島的核電站主儡,受9級(jí)特大地震影響奖唯,放射性物質(zhì)發(fā)生泄漏惨缆。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,008評(píng)論 3 325
  • 文/蒙蒙 一槽卫、第九天 我趴在偏房一處隱蔽的房頂上張望惫霸。 院中可真熱鬧使套,春花似錦、人聲如沸捣染。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 31,659評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)耍攘。三九已至,卻和暖如春畔勤,著一層夾襖步出監(jiān)牢的瞬間蕾各,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 32,815評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工庆揪, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留式曲,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 47,698評(píng)論 2 368
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像吝羞,于是被迫代替她去往敵國(guó)和親兰伤。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,592評(píng)論 2 353