分庫分表
分庫分表分為垂直切分和水平切分:
垂直分庫:把整個(gè)系統(tǒng)劃分為不同的業(yè)務(wù)模塊疾渣,根據(jù)業(yè)務(wù)模塊把數(shù)據(jù)庫系統(tǒng)劃分為不同的數(shù)據(jù)庫。這種方式可以突破單機(jī)單庫的性能瓶頸甘苍,也可以針對不同的業(yè)務(wù)數(shù)據(jù)進(jìn)行分級的管理伴榔、維護(hù)和擴(kuò)展礁击。
垂直分表:大表拆小表,基于關(guān)系數(shù)據(jù)庫的列進(jìn)行拆分驳棱,把列比較多的表拆分成多個(gè)表批什,表之間有從屬關(guān)系。這種拆分一般在數(shù)據(jù)庫的設(shè)計(jì)階段就完成社搅,否則系統(tǒng)的改動(dòng)會比較大驻债。這種拆分方式便于維護(hù)乳规,也能避免數(shù)據(jù)跨頁問題。
水平分表:將表中不同的數(shù)據(jù)行按照某種規(guī)則將數(shù)據(jù)分布到同庫的不同表中合呐,降低單表的數(shù)據(jù)量暮的,提高數(shù)據(jù)的更改和查詢性能。這種方式一般很少使用淌实,因?yàn)槭褂玫倪€是同一個(gè)庫冻辩,在庫級別還是存在著連接數(shù)、IO拆祈、CPU等性能瓶頸恨闪。
水平分庫分表:與水平分表類似,只是數(shù)據(jù)分布到不同庫的表中放坏×剩可以緩解單機(jī)單庫的性能瓶頸。這種方式使用比較普遍轻姿。
下面以水平分庫分表來進(jìn)行實(shí)踐犁珠。
MySQL準(zhǔn)備工作
分別在兩臺不同的MySQL服務(wù)器創(chuàng)建數(shù)據(jù)庫PART_DB,創(chuàng)建用戶part1互亮,并授權(quán)part1用戶使用數(shù)據(jù)庫PART_DB:
GRANT ALL PRIVILEGES ON PART_DB.* TO 'part1'@'%' IDENTIFIED BY '123456';
FLUSH PRIVILEGES;
登錄part1用戶犁享,并創(chuàng)建表test_tab1,字段有:id豹休、name炊昆、type、hostname威根,id不使用自動(dòng)增長凤巨,由客戶端指定;type為varchar類型洛搀,取值范圍為0001和0002(用于測試以下提到的枚舉分片)敢茁。
Mycat分片配置
1.配置訪問Mycat的用戶名密碼
在Mycat目錄的conf/server.xml中添加訪問用戶和使用的邏輯數(shù)據(jù)庫:
<user name="mycat">
<property name="password">123456</property>
<property name="schemas">TESTDB</property>
</user>
2.選擇分片算法
在本例子中,我們使用固定分片hash算法留美,該算法是取分片字段的二進(jìn)制低10位進(jìn)行求模運(yùn)算彰檬。在Mycat目錄的conf/rule.xml中已經(jīng)配置好該規(guī)則(rule1和rule2),我們只需要對其中的一個(gè)規(guī)則做相應(yīng)的修改就可以使用谎砾。
<tableRule name="rule1">
<rule>
<columns>id</columns>
<algorithm>func1</algorithm>
</rule>
</tableRule>
<function name="func1" class="io.mycat.route.function.PartitionByLong">
<property name="partitionCount">2</property>
<property name="partitionLength">512</property>
</function>
columns:分片字段
algorithm:分片函數(shù)
partitionCount:分片個(gè)數(shù)列表(我們使用了兩臺MySQL服務(wù)器)
partitionLength:分片范圍列表
以上配置表示兩臺MySQL服務(wù)器平均分布數(shù)據(jù)逢倍,partitionCount*partitionLength=1024
參考《Mycat權(quán)威指南》
3.配置schema.xml文件
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
<table name="test_tab1" primaryKey="id" dataNode="part_db_1,part_db_2" rule="rule1" />
</schema>
<dataNode name="part_db_1" dataHost="15host" database="part_db" />
<dataNode name="part_db_2" dataHost="94host" database="part_db" />
<dataHost name="15host" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native">
<heartbeat>select user()</heartbeat>
<writeHost host="hostM1" url="XX.XX.XX.15:3306" user="part1" password="123456" />
</dataHost>
<dataHost name="94host" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native">
<heartbeat>select user()</heartbeat>
<writeHost host="hostM" url="XX.XX.XX.94:3307" user="part1" password="123456" />
</dataHost>
注意:心跳檢測語句select user(),需要給part1用戶授權(quán)
4.測試
寫一個(gè)簡單的JDBC程序連接Mycat(和連接mysql一樣)景图,批量插入超過1024條數(shù)據(jù)较雕,再分別到兩臺MySQL服務(wù)器查詢數(shù)據(jù)的分布情況。
其它常用分片算法
1.枚舉分片
2.范圍分片
3.取模分片
4.日期分片
5.取模范圍分片
6.一致性hash分片
7.冷熱數(shù)據(jù)分片
8.按月分片
具體可參考《Mycat權(quán)威指南》挚币。