一,什么是數(shù)據(jù)庫分區(qū)
前段時(shí)間寫過一篇關(guān)于mysql分表的的文章,下面來說一下什么是數(shù)據(jù)庫分區(qū)捐友,以mysql為例。mysql數(shù)據(jù)庫中的數(shù)據(jù)是以文件的形勢(shì)存在磁盤上的溃槐,默認(rèn)放在/mysql/data下面(可以通過my.cnf中的datadir來查看)匣砖,一張表主要對(duì)應(yīng)著三個(gè)文件,一個(gè)是frm存放表結(jié)構(gòu)的昏滴,一個(gè)是myd存放表數(shù)據(jù)的猴鲫,一個(gè)是myi存表索引的。如果一張表的數(shù)據(jù)量太大的話影涉,那么myd,myi就會(huì)變的很大变隔,查找數(shù)據(jù)就會(huì)變的很慢,這個(gè)時(shí)候我們可以利用mysql的分區(qū)功能蟹倾,在物理上將這一張表對(duì)應(yīng)的三個(gè)文件匣缘,分割成許多個(gè)小塊,這樣呢鲜棠,我們查找一條數(shù)據(jù)時(shí)肌厨,就不用全部查找了,只要知道這條數(shù)據(jù)在哪一塊豁陆,然后在那一塊找就行了柑爸。如果表的數(shù)據(jù)太大,可能一個(gè)磁盤放不下盒音,這個(gè)時(shí)候表鳍,我們可以把數(shù)據(jù)分配到不同的磁盤里面去。分區(qū)的二種方式
1祥诽,橫向分區(qū)
什么是橫向分區(qū)呢譬圣?就是橫著來分區(qū)了,舉例來說明一下雄坪,假如有100W條數(shù)據(jù)厘熟,分成十份,前10W條數(shù)據(jù)放到第一個(gè)分區(qū)维哈,第二個(gè)10W條數(shù)據(jù)放到第二個(gè)分區(qū)绳姨,依此類推。也就是把表分成了十分阔挠,根用merge來分表飘庄,有點(diǎn)像哦。取出一條數(shù)據(jù)的時(shí)候谒亦,這條數(shù)據(jù)包含了表結(jié)構(gòu)中的所有字段竭宰,也就是說橫向分區(qū)空郊,并沒有改變表的結(jié)構(gòu)。
2切揭,縱向分區(qū)
什么是縱向分區(qū)呢狞甚?就是豎來分區(qū)了,舉例來說明廓旬,在設(shè)計(jì)用戶表的時(shí)候哼审,開始的時(shí)候沒有考慮好,而把個(gè)人的所有信息都放到了一張表里面去孕豹,這樣這個(gè)表里面就會(huì)有比較大的字段涩盾,如個(gè)人簡(jiǎn)介,而這些簡(jiǎn)介呢励背,也許不會(huì)有好多人去看春霍,所以等到有人要看的時(shí)候,在去查找叶眉,分表的時(shí)候址儒,可以把這樣的大字段,分開來衅疙。
感覺數(shù)據(jù)庫的分區(qū)好像是切蘋果莲趣,到底是橫著切呢,還是豎著切饱溢,根據(jù)個(gè)人喜好了喧伞,mysql提供的分區(qū)屬于第一種,橫向分區(qū)绩郎,并且細(xì)分成很多種方式潘鲫。下面將舉例說明一下。
二肋杖,mysql的分區(qū)
我覺著吧次舌,mysql的分區(qū)只有一種方式,只不過運(yùn)用不同的算法兽愤,規(guī)則將數(shù)據(jù)分配到不同的區(qū)塊中而已。
1挪圾,mysql5.1及以上支持分區(qū)功能
安裝安裝的時(shí)候浅萧,我們就可以查看一下
查看復(fù)制打印?
[root@BlackGhost mysql-5.1.50]# ./configure --help |grep -A 3 Partition
=== Partition Support ===
Plugin Name: partition
Description: MySQL Partitioning Support
Supports build: static
Configurations: max, max-no-ndb
查看一下,如果發(fā)現(xiàn)有上面這個(gè)東西哲思,說明他是支持分區(qū)的洼畅,默認(rèn)是打開的。如果你已經(jīng)安裝過了mysql的話
查看復(fù)制打印?
mysql> show variables like "%part%";
+-------------------+-------+
| Variable_name | Value |
+-------------------+-------+
| have_partitioning | YES |
+-------------------+-------+
1 row in set (0.00 sec)
查看一下變量棚赔,如果支持的話帝簇,會(huì)有上面的提示的徘郭。
2,range分區(qū)
按照RANGE分區(qū)的表是通過如下一種方式進(jìn)行分區(qū)的丧肴,每個(gè)分區(qū)包含那些分區(qū)表達(dá)式的值位于一個(gè)給定的連續(xù)區(qū)間內(nèi)的行
查看復(fù)制打印?
//創(chuàng)建range分區(qū)表
mysql> CREATE TABLE IF NOT EXISTS user
(
-> id
int(11) NOT NULL AUTO_INCREMENT COMMENT '用戶ID',
-> name
varchar(50) NOT NULL DEFAULT '' COMMENT '名稱',
-> sex
int(1) NOT NULL DEFAULT '0' COMMENT '0為男残揉,1為女',
-> PRIMARY KEY (id
)
-> ) ENGINE=MyISAM DEFAULT CHARSET=utf8 AUTO_INCREMENT=1
-> PARTITION BY RANGE (id) (
-> PARTITION p0 VALUES LESS THAN (3),
-> PARTITION p1 VALUES LESS THAN (6),
-> PARTITION p2 VALUES LESS THAN (9),
-> PARTITION p3 VALUES LESS THAN (12),
-> PARTITION p4 VALUES LESS THAN MAXVALUE
-> );
Query OK, 0 rows affected (0.13 sec)
//插入一些數(shù)據(jù)
mysql> INSERT INTO test
.user
(name
,sex
)VALUES ('tank', '0')
-> ,('zhang',1),('ying',1),('張',1),('映',0),('test1',1),('tank2',1)
-> ,('tank1',1),('test2',1),('test3',1),('test4',1),('test5',1),('tank3',1)
-> ,('tank4',1),('tank5',1),('tank6',1),('tank7',1),('tank8',1),('tank9',1)
-> ,('tank10',1),('tank11',1),('tank12',1),('tank13',1),('tank21',1),('tank42',1);
Query OK, 25 rows affected (0.05 sec)
Records: 25 Duplicates: 0 Warnings: 0
//到存放數(shù)據(jù)庫表文件的地方看一下,my.cnf里面有配置芋浮,datadir后面就是
[root@BlackGhost test]# ls |grep user |xargs du -sh
4.0K user#P#p0.MYD
4.0K user#P#p0.MYI
4.0K user#P#p1.MYD
4.0K user#P#p1.MYI
4.0K user#P#p2.MYD
4.0K user#P#p2.MYI
4.0K user#P#p3.MYD
4.0K user#P#p3.MYI
4.0K user#P#p4.MYD
4.0K user#P#p4.MYI
12K user.frm
4.0K user.par
//取出數(shù)據(jù)
mysql> select count(id) as count from user;
+-------+
| count |
+-------+
| 25 |
+-------+
1 row in set (0.00 sec)
//刪除第四個(gè)分區(qū)
mysql> alter table user drop partition p4;
Query OK, 0 rows affected (0.11 sec)
Records: 0 Duplicates: 0 Warnings: 0
/**存放在分區(qū)里面的數(shù)據(jù)丟失了抱环,第四個(gè)分區(qū)里面有14條數(shù)據(jù),剩下的3個(gè)分區(qū)
只有11條數(shù)據(jù)纸巷,但是統(tǒng)計(jì)出來的文件大小都是4.0K镇草,從這兒我們可以看出分區(qū)的
最小區(qū)塊是4K
*/
mysql> select count(id) as count from user;
+-------+
| count |
+-------+
| 11 |
+-------+
1 row in set (0.00 sec)
//第四個(gè)區(qū)塊已刪除
[root@BlackGhost test]# ls |grep user |xargs du -sh
4.0K user#P#p0.MYD
4.0K user#P#p0.MYI
4.0K user#P#p1.MYD
4.0K user#P#p1.MYI
4.0K user#P#p2.MYD
4.0K user#P#p2.MYI
4.0K user#P#p3.MYD
4.0K user#P#p3.MYI
12K user.frm
4.0K user.par
/可以對(duì)現(xiàn)有表進(jìn)行分區(qū),并且會(huì)按規(guī)則自動(dòng)的將表中的數(shù)據(jù)分配相應(yīng)的分區(qū)
中,這樣就比較好了瘤旨,可以省去很多事情梯啤,看下面的操作/
mysql> alter table aa partition by RANGE(id)
-> (PARTITION p1 VALUES less than (1),
-> PARTITION p2 VALUES less than (5),
-> PARTITION p3 VALUES less than MAXVALUE);
Query OK, 15 rows affected (0.21 sec) //對(duì)15數(shù)據(jù)進(jìn)行分區(qū)
Records: 15 Duplicates: 0 Warnings: 0
//總共有15條
mysql> select count() from aa;
+----------+
| count() |
+----------+
| 15 |
+----------+
1 row in set (0.00 sec)
//刪除一個(gè)分區(qū)
mysql> alter table aa drop partition p2;
Query OK, 0 rows affected (0.30 sec)
Records: 0 Duplicates: 0 Warnings: 0
//只有11條了,說明對(duì)現(xiàn)有的表分區(qū)成功了
mysql> select count() from aa;
+----------+
| count() |
+----------+
| 11 |
+----------+
1 row in set (0.00 sec)
3存哲,list分區(qū)
LIST分區(qū)中每個(gè)分區(qū)的定義和選擇是基于某列的值從屬于一個(gè)值列表集中的一個(gè)值因宇,而RANGE分 區(qū)是從屬于一個(gè)連續(xù)區(qū)間值的集合。
查看復(fù)制打印?
//這種方式失敗
mysql> CREATE TABLE IF NOT EXISTS list_part
(
-> id
int(11) NOT NULL AUTO_INCREMENT COMMENT '用戶ID',
-> province_id
int(2) NOT NULL DEFAULT 0 COMMENT '省',
-> name
varchar(50) NOT NULL DEFAULT '' COMMENT '名稱',
-> sex
int(1) NOT NULL DEFAULT '0' COMMENT '0為男宏胯,1為女',
-> PRIMARY KEY (id
)
-> ) ENGINE=INNODB DEFAULT CHARSET=utf8 AUTO_INCREMENT=1
-> PARTITION BY LIST (province_id) (
-> PARTITION p0 VALUES IN (1,2,3,4,5,6,7,8),
-> PARTITION p1 VALUES IN (9,10,11,12,16,21),
-> PARTITION p2 VALUES IN (13,14,15,19),
-> PARTITION p3 VALUES IN (17,18,20,22,23,24)
-> );
ERROR 1503 (HY000): A PRIMARY KEY must include all columns in the table's partitioning function
//這種方式成功
mysql> CREATE TABLE IF NOT EXISTS list_part
(
-> id
int(11) NOT NULL COMMENT '用戶ID',
-> province_id
int(2) NOT NULL DEFAULT 0 COMMENT '省',
-> name
varchar(50) NOT NULL DEFAULT '' COMMENT '名稱',
-> sex
int(1) NOT NULL DEFAULT '0' COMMENT '0為男羽嫡,1為女'
-> ) ENGINE=INNODB DEFAULT CHARSET=utf8
-> PARTITION BY LIST (province_id) (
-> PARTITION p0 VALUES IN (1,2,3,4,5,6,7,8),
-> PARTITION p1 VALUES IN (9,10,11,12,16,21),
-> PARTITION p2 VALUES IN (13,14,15,19),
-> PARTITION p3 VALUES IN (17,18,20,22,23,24)
-> );
Query OK, 0 rows affected (0.33 sec)
上面的這個(gè)創(chuàng)建list分區(qū)時(shí),如果有主銉的話肩袍,分區(qū)時(shí)主鍵必須在其中杭棵,不然就會(huì)報(bào)錯(cuò)。如果我不用主鍵氛赐,分區(qū)就創(chuàng)建成功了魂爪,一般情況下,一個(gè)張表肯定會(huì)有一個(gè)主鍵艰管,這算是一個(gè)分區(qū)的局限性吧滓侍。
如果對(duì)數(shù)據(jù)進(jìn)行測(cè)試,請(qǐng)參考range分區(qū)的測(cè)試來操作
4牲芋,hash分區(qū)
HASH分區(qū)主要用來確保數(shù)據(jù)在預(yù)先確定數(shù)目的分區(qū)中平均分布撩笆,你所要做的只是基于將要被哈希的列值指定一個(gè)列值或表達(dá)式,以 及指定被分區(qū)的表將要被分割成的分區(qū)數(shù)量缸浦。
查看復(fù)制打印?
mysql> CREATE TABLE IF NOT EXISTS hash_part
(
-> id
int(11) NOT NULL AUTO_INCREMENT COMMENT '評(píng)論ID',
-> comment
varchar(1000) NOT NULL DEFAULT '' COMMENT '評(píng)論',
-> ip
varchar(25) NOT NULL DEFAULT '' COMMENT '來源IP',
-> PRIMARY KEY (id
)
-> ) ENGINE=INNODB DEFAULT CHARSET=utf8 AUTO_INCREMENT=1
-> PARTITION BY HASH(id)
-> PARTITIONS 3;
Query OK, 0 rows affected (0.06 sec)
測(cè)試請(qǐng)參考range分區(qū)的操作
5夕冲,key分區(qū)
按照KEY進(jìn)行分區(qū)類似于按照HASH分區(qū),除了HASH分區(qū)使用的用 戶定義的表達(dá)式裂逐,而KEY分區(qū)的 哈希函數(shù)是由MySQL 服務(wù)器提供歹鱼。
查看復(fù)制打印?
mysql> CREATE TABLE IF NOT EXISTS key_part
(
-> news_id
int(11) NOT NULL COMMENT '新聞ID',
-> content
varchar(1000) NOT NULL DEFAULT '' COMMENT '新聞內(nèi)容',
-> u_id
varchar(25) NOT NULL DEFAULT '' COMMENT '來源IP',
-> create_time
DATE NOT NULL DEFAULT '0000-00-00 00:00:00' COMMENT '時(shí)間'
-> ) ENGINE=INNODB DEFAULT CHARSET=utf8
-> PARTITION BY LINEAR HASH(YEAR(create_time))
-> PARTITIONS 3;
Query OK, 0 rows affected (0.07 sec)
測(cè)試請(qǐng)參考range分區(qū)的操作
6,子分區(qū)
子分區(qū)是分區(qū)表中每個(gè)分區(qū)的再次分割卜高,子分區(qū)既可以使用HASH希分區(qū)弥姻,也可以使用KEY分區(qū)南片。這 也被稱為復(fù)合分區(qū)(composite partitioning)。**
1庭敦,如果一個(gè)分區(qū)中創(chuàng)建了子分區(qū)疼进,其他分區(qū)也要有子分區(qū)
2,如果創(chuàng)建了了分區(qū)螺捐,每個(gè)分區(qū)中的子分區(qū)數(shù)必有相同
3颠悬,同一分區(qū)內(nèi)的子分區(qū),名字不相同定血,不同分區(qū)內(nèi)的子分區(qū)名子可以相同(5.1.50不適用)
查看復(fù)制打印?
mysql> CREATE TABLE IF NOT EXISTS sub_part
(
-> news_id
int(11) NOT NULL COMMENT '新聞ID',
-> content
varchar(1000) NOT NULL DEFAULT '' COMMENT '新聞內(nèi)容',
-> u_id
int(11) NOT NULL DEFAULT 0s COMMENT '來源IP',
-> create_time
DATE NOT NULL DEFAULT '0000-00-00 00:00:00' COMMENT '時(shí)間'
-> ) ENGINE=INNODB DEFAULT CHARSET=utf8
-> PARTITION BY RANGE(YEAR(create_time))
-> SUBPARTITION BY HASH(TO_DAYS(create_time))(
-> PARTITION p0 VALUES LESS THAN (1990)(SUBPARTITION s0,SUBPARTITION s1,SUBPARTITION s2),
-> PARTITION p1 VALUES LESS THAN (2000)(SUBPARTITION s3,SUBPARTITION s4,SUBPARTITION good),
-> PARTITION p2 VALUES LESS THAN MAXVALUE(SUBPARTITION tank0,SUBPARTITION tank1,SUBPARTITION tank3)
-> );
Query OK, 0 rows affected (0.07 sec)
官方網(wǎng)站說不同分區(qū)內(nèi)的子分區(qū)可以有相同的名字赔癌,但是mysql5.1.50卻不行會(huì)提示以下錯(cuò)誤
ERROR 1517 (HY000): Duplicate partition name s1
三,分區(qū)管理
1澜沟,刪除分區(qū)
mysql> alter table user drop partition p4;
//range添加新分區(qū)
mysql> alter table user add partition(partition p4 values less than MAXVALUE);
Query OK, 0 rows affected (0.06 sec)
Records: 0 Duplicates: 0 Warnings: 0
//list添加新分區(qū)
mysql> alter table list_part add partition(partition p4 values in (25,26,28));
Query OK, 0 rows affected (0.01 sec)
Records: 0 Duplicates: 0 Warnings: 0
//hash重新分區(qū)
mysql> alter table hash_part add partition partitions 4;
Query OK, 0 rows affected (0.12 sec)
Records: 0 Duplicates: 0 Warnings: 0
//key重新分區(qū)
mysql> alter table key_part add partition partitions 4;
Query OK, 1 row affected (0.06 sec) //有數(shù)據(jù)也會(huì)被重新分配
Records: 1 Duplicates: 0 Warnings: 0
//子分區(qū)添加新分區(qū),雖然我沒有指定子分區(qū)茫虽,但是系統(tǒng)會(huì)給子分區(qū)命名的
mysql> alter table sub1_part add partition(partition p3 values less than MAXVALUE);
Query OK, 0 rows affected (0.02 sec)
Records: 0 Duplicates: 0 Warnings: 0
mysql> show create table sub1_part\G;
*************************** 1. row ***************************
Table: sub1_part
Create Table: CREATE TABLE sub1_part
(
news_id
int(11) NOT NULL COMMENT '新聞ID',
content
varchar(1000) NOT NULL DEFAULT '' COMMENT '新聞內(nèi)容',
u_id
varchar(25) NOT NULL DEFAULT '' COMMENT '來源IP',
create_time
date NOT NULL DEFAULT '0000-00-00' COMMENT '時(shí)間'
) ENGINE=InnoDB DEFAULT CHARSET=utf8
!50100 PARTITION BY RANGE (YEAR(create_time))
SUBPARTITION BY HASH (TO_DAYS(create_time))
(PARTITION p0 VALUES LESS THAN (1990)
(SUBPARTITION s0 ENGINE = InnoDB,
SUBPARTITION s1 ENGINE = InnoDB,
SUBPARTITION s2 ENGINE = InnoDB),
PARTITION p1 VALUES LESS THAN (2000)
(SUBPARTITION s3 ENGINE = InnoDB,
SUBPARTITION s4 ENGINE = InnoDB,
SUBPARTITION good ENGINE = InnoDB),
PARTITION p2 VALUES LESS THAN (3000)
(SUBPARTITION tank0 ENGINE = InnoDB,
SUBPARTITION tank1 ENGINE = InnoDB,
SUBPARTITION tank3 ENGINE = InnoDB),
PARTITION p3 VALUES LESS THAN MAXVALUE
(SUBPARTITION p3sp0 ENGINE = InnoDB, //子分區(qū)的名子是自動(dòng)生成的
SUBPARTITION p3sp1 ENGINE = InnoDB,
SUBPARTITION p3sp2 ENGINE = InnoDB))
1 row in set (0.00 sec)
//range重新分區(qū)
mysql> ALTER TABLE user REORGANIZE PARTITION p0,p1,p2,p3,p4 INTO (PARTITION p0 VALUES LESS THAN MAXVALUE);
Query OK, 11 rows affected (0.08 sec)
Records: 11 Duplicates: 0 Warnings: 0
//list重新分區(qū)
mysql> ALTER TABLE list_part REORGANIZE PARTITION p0,p1,p2,p3,p4 INTO (PARTITION p0 VALUES in (1,2,3,4,5));
Query OK, 0 rows affected (0.28 sec)
Records: 0 Duplicates: 0 Warnings: 0
//hash和key分區(qū)不能用REORGANIZE,官方網(wǎng)站說的很清楚
mysql> ALTER TABLE key_part REORGANIZE PARTITION COALESCE PARTITION 9;
ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'PARTITION 9' at line 1
四濒析,分區(qū)優(yōu)點(diǎn)
1正什,分區(qū)可以分在多個(gè)磁盤,存儲(chǔ)更大一點(diǎn)
2号杏,根據(jù)查找條件婴氮,也就是where后面的條件,查找只查找相應(yīng)的分區(qū)不用全部查找了
3盾致,進(jìn)行大數(shù)據(jù)搜索時(shí)可以進(jìn)行并行處理主经。
4,跨多個(gè)磁盤來分散數(shù)據(jù)查詢庭惜,來獲得更大的查詢吞吐量