基于Mycat的MySQL水平分庫分表

分庫分表
分庫分表分為垂直切分和水平切分:
垂直分庫:把整個(gè)系統(tǒng)劃分為不同的業(yè)務(wù)模塊疾渣,根據(jù)業(yè)務(wù)模塊把數(shù)據(jù)庫系統(tǒng)劃分為不同的數(shù)據(jù)庫。這種方式可以突破單機(jī)單庫的性能瓶頸甘苍,也可以針對不同的業(yè)務(wù)數(shù)據(jù)進(jìn)行分級的管理伴榔、維護(hù)和擴(kuò)展礁击。

垂直分表:大表拆小表,基于關(guān)系數(shù)據(jù)庫的列進(jìn)行拆分驳棱,把列比較多的表拆分成多個(gè)表批什,表之間有從屬關(guān)系。這種拆分一般在數(shù)據(jù)庫的設(shè)計(jì)階段就完成社搅,否則系統(tǒng)的改動(dòng)會比較大驻债。這種拆分方式便于維護(hù)乳规,也能避免數(shù)據(jù)跨頁問題。

水平分表:將表中不同的數(shù)據(jù)行按照某種規(guī)則將數(shù)據(jù)分布到同庫的不同表中合呐,降低單表的數(shù)據(jù)量暮的,提高數(shù)據(jù)的更改和查詢性能。這種方式一般很少使用淌实,因?yàn)槭褂玫倪€是同一個(gè)庫冻辩,在庫級別還是存在著連接數(shù)、IO拆祈、CPU等性能瓶頸恨闪。

水平分庫分表:與水平分表類似,只是數(shù)據(jù)分布到不同庫的表中放坏×剩可以緩解單機(jī)單庫的性能瓶頸。這種方式使用比較普遍轻姿。

下面以水平分庫分表來進(jìn)行實(shí)踐犁珠。

MySQL準(zhǔn)備工作
分別在兩臺不同的MySQL服務(wù)器創(chuàng)建數(shù)據(jù)庫PART_DB,創(chuàng)建用戶part1互亮,并授權(quán)part1用戶使用數(shù)據(jù)庫PART_DB:
GRANT ALL PRIVILEGES ON PART_DB.* TO 'part1'@'%' IDENTIFIED BY '123456';
FLUSH PRIVILEGES;

登錄part1用戶犁享,并創(chuàng)建表test_tab1,字段有:id豹休、name炊昆、type、hostname威根,id不使用自動(dòng)增長凤巨,由客戶端指定;type為varchar類型洛搀,取值范圍為0001和0002(用于測試以下提到的枚舉分片)敢茁。

Mycat分片配置
1.配置訪問Mycat的用戶名密碼
在Mycat目錄的conf/server.xml中添加訪問用戶和使用的邏輯數(shù)據(jù)庫:
<user name="mycat">
<property name="password">123456</property>

<property name="schemas">TESTDB</property>
</user>

2.選擇分片算法
在本例子中,我們使用固定分片hash算法留美,該算法是取分片字段的二進(jìn)制低10位進(jìn)行求模運(yùn)算彰檬。在Mycat目錄的conf/rule.xml中已經(jīng)配置好該規(guī)則(rule1和rule2),我們只需要對其中的一個(gè)規(guī)則做相應(yīng)的修改就可以使用谎砾。
<tableRule name="rule1">
<rule>
<columns>id</columns>
<algorithm>func1</algorithm>
</rule>
</tableRule>
<function name="func1" class="io.mycat.route.function.PartitionByLong">
<property name="partitionCount">2</property>
<property name="partitionLength">512</property>
</function>
columns:分片字段
algorithm:分片函數(shù)
partitionCount:分片個(gè)數(shù)列表(我們使用了兩臺MySQL服務(wù)器)
partitionLength:分片范圍列表
以上配置表示兩臺MySQL服務(wù)器平均分布數(shù)據(jù)逢倍,partitionCount*partitionLength=1024
參考《Mycat權(quán)威指南》

3.配置schema.xml文件
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">

<table name="test_tab1" primaryKey="id" dataNode="part_db_1,part_db_2" rule="rule1" />
</schema>
<dataNode name="part_db_1" dataHost="15host" database="part_db" />
<dataNode name="part_db_2" dataHost="94host" database="part_db" />
<dataHost name="15host" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native">
<heartbeat>select user()</heartbeat>
<writeHost host="hostM1" url="XX.XX.XX.15:3306" user="part1" password="123456" />
</dataHost>
<dataHost name="94host" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native">
<heartbeat>select user()</heartbeat>
<writeHost host="hostM" url="XX.XX.XX.94:3307" user="part1" password="123456" />
</dataHost>

注意:心跳檢測語句select user(),需要給part1用戶授權(quán)

4.測試
寫一個(gè)簡單的JDBC程序連接Mycat(和連接mysql一樣)景图,批量插入超過1024條數(shù)據(jù)较雕,再分別到兩臺MySQL服務(wù)器查詢數(shù)據(jù)的分布情況。

MySQL服務(wù)器1.png
MySQL服務(wù)器2.png

其它常用分片算法
1.枚舉分片
2.范圍分片
3.取模分片
4.日期分片
5.取模范圍分片
6.一致性hash分片
7.冷熱數(shù)據(jù)分片
8.按月分片

具體可參考《Mycat權(quán)威指南》挚币。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末亮蒋,一起剝皮案震驚了整個(gè)濱河市扣典,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌宛蚓,老刑警劉巖激捏,帶你破解...
    沈念sama閱讀 217,185評論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異凄吏,居然都是意外死亡远舅,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,652評論 3 393
  • 文/潘曉璐 我一進(jìn)店門痕钢,熙熙樓的掌柜王于貴愁眉苦臉地迎上來图柏,“玉大人,你說我怎么就攤上這事任连≡榇担” “怎么了?”我有些...
    開封第一講書人閱讀 163,524評論 0 353
  • 文/不壞的土叔 我叫張陵随抠,是天一觀的道長裁着。 經(jīng)常有香客問我,道長拱她,這世上最難降的妖魔是什么二驰? 我笑而不...
    開封第一講書人閱讀 58,339評論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮秉沼,結(jié)果婚禮上桶雀,老公的妹妹穿的比我還像新娘。我一直安慰自己唬复,他們只是感情好矗积,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,387評論 6 391
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著敞咧,像睡著了一般棘捣。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上休建,一...
    開封第一講書人閱讀 51,287評論 1 301
  • 那天乍恐,我揣著相機(jī)與錄音,去河邊找鬼丰包。 笑死,一個(gè)胖子當(dāng)著我的面吹牛壤巷,可吹牛的內(nèi)容都是我干的邑彪。 我是一名探鬼主播,決...
    沈念sama閱讀 40,130評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼胧华,長吁一口氣:“原來是場噩夢啊……” “哼寄症!你這毒婦竟也來了宙彪?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,985評論 0 275
  • 序言:老撾萬榮一對情侶失蹤有巧,失蹤者是張志新(化名)和其女友劉穎释漆,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體篮迎,經(jīng)...
    沈念sama閱讀 45,420評論 1 313
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡男图,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,617評論 3 334
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了甜橱。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片逊笆。...
    茶點(diǎn)故事閱讀 39,779評論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖岂傲,靈堂內(nèi)的尸體忽然破棺而出难裆,到底是詐尸還是另有隱情,我是刑警寧澤镊掖,帶...
    沈念sama閱讀 35,477評論 5 345
  • 正文 年R本政府宣布乃戈,位于F島的核電站,受9級特大地震影響亩进,放射性物質(zhì)發(fā)生泄漏症虑。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,088評論 3 328
  • 文/蒙蒙 一镐侯、第九天 我趴在偏房一處隱蔽的房頂上張望侦讨。 院中可真熱鬧,春花似錦苟翻、人聲如沸韵卤。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,716評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽沈条。三九已至,卻和暖如春诅炉,著一層夾襖步出監(jiān)牢的瞬間蜡歹,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,857評論 1 269
  • 我被黑心中介騙來泰國打工涕烧, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留月而,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 47,876評論 2 370
  • 正文 我出身青樓议纯,卻偏偏與公主長得像父款,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,700評論 2 354

推薦閱讀更多精彩內(nèi)容