一.分庫(kù)分表的原因

我個(gè)人覺得原因其實(shí)很簡(jiǎn)單：
1.隨著單庫(kù)中的數(shù)據(jù)量越來(lái)越大，相應(yīng)的咱士，查詢所需要的時(shí)間也越來(lái)越多循帐，而面對(duì)MySQL這樣的數(shù)據(jù)庫(kù)，在進(jìn)行添加一列這樣的操作時(shí)會(huì)有鎖表的操作陷谱，期間所有的讀寫操作都要等待，這個(gè)時(shí)候瑟蜈，相當(dāng)于數(shù)據(jù)的處理遇到了瓶頸
2.其實(shí)就是有意外發(fā)生的時(shí)候，單庫(kù)發(fā)生意外的時(shí)候渣窜，需要修復(fù)的是所有的數(shù)據(jù)铺根，而多庫(kù)中的一個(gè)庫(kù)發(fā)生意外的時(shí)候，只需要修復(fù)一個(gè)庫(kù)（當(dāng)然乔宿，也可以用物理分區(qū)的方式處理這種問題）

二.分庫(kù)分表常用的策略

在我網(wǎng)上搜集的過(guò)程中位迂，以及自己的實(shí)踐，得到的分庫(kù)策略可以簡(jiǎn)單分為以下幾種方式：（如果有不正確的地方详瑞，請(qǐng)大家給我指出來(lái)掂林，萬(wàn)分感謝）
首先，分為垂直切分和水平切分：
先說(shuō)垂直切分吧坝橡，我的認(rèn)為是根據(jù)業(yè)務(wù)的不同泻帮，將原先擁有很多字段的表拆分為兩個(gè)或者多個(gè)表，這樣的代價(jià)我個(gè)人覺得很大计寇，原來(lái)對(duì)這應(yīng)這個(gè)表的關(guān)系锣杂，開始細(xì)分脂倦，需要一定的重構(gòu)，而且隨著數(shù)據(jù)量的增多元莫，極有可能還要增加水平切分赖阻；
水平切分，數(shù)據(jù)表結(jié)構(gòu)踱蠢，將數(shù)據(jù)分散在多個(gè)表中火欧；

簡(jiǎn)單的示意圖的了解一下。
對(duì)于垂直切分茎截，好像能說(shuō)的并不多布隔，說(shuō)的比較多一點(diǎn)的是水平切分。
水平切分時(shí)候稼虎，理想的情況是不進(jìn)行數(shù)據(jù)遷移衅檀，無(wú)感知的進(jìn)行，當(dāng)然這就需要一點(diǎn)點(diǎn)小小的分庫(kù)分表的策略霎俩。

1.有瑕疵的簡(jiǎn)單分庫(kù)分表（按id的大小分庫(kù)分表）

按照分片鍵（我們這里就用id表示了）的大小來(lái)進(jìn)行分庫(kù)分表哀军，如果你的id是自增的，而且能保證在進(jìn)行分庫(kù)分表后也是自增的打却，那么能進(jìn)行很好的改造杉适，以id大小水平切分，而且極有可能不用遷移數(shù)據(jù)柳击。

按id大小分庫(kù).PNG

2.比較方便的取模分庫(kù)

一般的取模分庫(kù)分表是就是將id mod n晶乔，然后放入數(shù)據(jù)庫(kù)中，這樣能夠使數(shù)據(jù)分散牺勾，不會(huì)有熱點(diǎn)的問題正罢，那么，剩下的是驻民，在擴(kuò)容的時(shí)候翻具，是否會(huì)有數(shù)據(jù)遷移的問題，一般的擴(kuò)容回还，當(dāng)然是會(huì)有數(shù)據(jù)遷移的裆泳。

取模.PNG

(1)第一種擴(kuò)容的方式：根據(jù)表的數(shù)據(jù)增加庫(kù)的數(shù)量

首先，我們有一個(gè)數(shù)據(jù)庫(kù)——DB_0,四張表——tb_0,tb_1,tb_2,tb_3
那么我們現(xiàn)在數(shù)據(jù)到數(shù)據(jù)庫(kù)是這樣的:
DB="DB_0"
TB=“tb_"+id%4

當(dāng)數(shù)據(jù)增加签钩，需要進(jìn)行擴(kuò)容的時(shí)候掏呼，我增加一個(gè)數(shù)據(jù)庫(kù)DB_1
DB="DB_"+((id%4)/2)
TB=“tb_"+id%4

(2)第二種擴(kuò)容的方式：成倍的增加表

首先饮焦，我們還是一個(gè)數(shù)據(jù)庫(kù)——DB_0,兩張表——tb_0,tb_1
那么我們現(xiàn)在數(shù)據(jù)到數(shù)據(jù)庫(kù)是這樣的:
DB="DB_0"
TB=“tb_"+id%2

假設(shè)當(dāng)我們數(shù)據(jù)量打到一千萬(wàn)的時(shí)候，我們?cè)黾右粋€(gè)庫(kù)窍侧，這時(shí)需要我們?cè)黾觾蓮埍韙b_0_1,tb_1_1,并且原來(lái)的DB_0中庫(kù)的表tb_1整表遷移到DB_1中县踢，tb_0和tb_0_1放在DB_0中，tb_1和tb_1_1放到DB1中伟件。
DB="DB_"+id%2
tb:
if(id<1千萬(wàn)) { return "tb_" + id % 2 }
else if(id>=1千萬(wàn)) { return "tb_"+ id % 2 + "_1" }

數(shù)據(jù)的增長(zhǎng)不可能到此為止硼啤，當(dāng)增加到兩千萬(wàn)的時(shí)候，我們需要加庫(kù)斧账，這個(gè)時(shí)候谴返，按照這種做法，我們需要增加兩個(gè)庫(kù)(DB_2,DB_3)和四張表(tb_0_2,tb_1_2,tb_2_2,tb_3_2)其骄，將上次新增的表整表分別放進(jìn)兩個(gè)新的庫(kù)中亏镰，然后每個(gè)庫(kù)里再生成一張新表。
DB:
if(id < 1千萬(wàn)) { return "DB_" + id % 2 }
else if(1千萬(wàn) <= id < 2千萬(wàn)) { return "DB_"+ id % 2 +2 }
else if(2千萬(wàn) <= id ) { return "DB_"+ id % 4 }
tb:
if(id < 1千萬(wàn)) { return "tb_" + id % 2 }
else if(1千萬(wàn) <= id < 2千萬(wàn)) { return "tb_"+ id % 2 +"1" }
else if(id >= 2千萬(wàn)) { return "tb"+ id % 4+"_2" }

值得注意的一點(diǎn)拯爽，在id超出范圍的時(shí)候索抓，該給怎么樣的提示是值得思考的。

(3)第二種擴(kuò)容的方式：一個(gè)一個(gè)的增加毯炮。(我在這里和原文有點(diǎn)出入逼肯，大家不看也罷)

上一種方式是成倍的增加，有的時(shí)候往往不需要這樣桃煎，現(xiàn)在我們基于上一個(gè)例子的第二階段(1千萬(wàn)到2千萬(wàn)的階段)篮幢，添加一個(gè)庫(kù)DB_2,新增兩張表tb_0_2,tb_1_2;將tb_0和tb_1放在DB_0中，最為舊文件的查詢为迈，tb_0_1和和tb_1_1分別放入DB_1和DB_2中三椿，再在這兩個(gè)庫(kù)中生成新的表
DB:
if(id < 1千萬(wàn)) { return "DB_0"}
else if(1千萬(wàn) <= id < 2千萬(wàn)) { return "DB_"+ (id % 2 + 1)
else if(id >= 2千萬(wàn)) {return "DB_"+ id%3}
tb:
if(id < 1千萬(wàn)) { return "tb_" + id%2}
else if(1千萬(wàn) <= id < 2千萬(wàn)) { return "tb_"+ (id % 2) +”1“
else if(id >= 2千萬(wàn)) {return "DB"+ id%2 +"_0"}

二.分庫(kù)分表后的考慮

分庫(kù)分表之后常常會(huì)遇到數(shù)據(jù)分頁(yè)的問題，這個(gè)問題其實(shí)解決的辦法很多窟社，但是都沒有一個(gè)完美的方法券勺，總的來(lái)說(shuō)，還是需要妥協(xié)灿里，例如在不分庫(kù)分表前：select * from t_msg order by time offset 200 limit 100 這樣的語(yǔ)句关炼，在分庫(kù)分表的后，我看到的有這樣幾種處理
方法一：全局視野法（分別從各個(gè)庫(kù)中提取到x+Y的數(shù)據(jù)量進(jìn)行排序提认坏酢）
將order by time offset X limit Y儒拂，改寫成order by time offset 0 limit X+Y。
服務(wù)層對(duì)得到的N*(X+Y)條數(shù)據(jù)進(jìn)行內(nèi)存排序色鸳，內(nèi)存排序后再取偏移量X后的Y條記錄社痛。
方法二：業(yè)務(wù)折衷法-禁止跳頁(yè)查詢
用正常的方法取得第一頁(yè)數(shù)據(jù)，并得到第一頁(yè)記錄的time_max命雀。
每次翻頁(yè)蒜哀，將order by time offset X limit Y，改寫成order by time where time>$time_max limit Y以保證每次只返回一頁(yè)數(shù)據(jù)吏砂，性能為常量撵儿。
方法三：業(yè)務(wù)折衷法-允許模糊數(shù)據(jù)（數(shù)據(jù)分布足夠隨機(jī)的情況下，各分庫(kù)所有非patition key屬性狐血，在各個(gè)分庫(kù)上的數(shù)據(jù)分布统倒，統(tǒng)計(jì)概率情況應(yīng)該是一致的）
將order by time offset X limit Y，改寫成order by time offset X/N limit Y/N氛雪。
方法四：二次查詢法
將order by time offset X limit Y，改寫成order by time offset X/N limit Y耸成；
找到最小值time_min报亩；
between二次查詢浴鸿，order by time between $$time_min and $time_i_max；
設(shè)置虛擬time_min弦追，找到time_min在各個(gè)分庫(kù)的offset岳链，從而得到time_min在全局的offset；
得到了time_min在全局的offset劲件，自然得到了全局的offset X limit Y掸哑。

最后我想說(shuō)，不同的業(yè)務(wù)場(chǎng)景對(duì)應(yīng)不同的策略零远，不能為了追求最新的東西苗分，而忽略真正的業(yè)務(wù)場(chǎng)景，這樣的得不償失牵辣。任何一件事都具有兩面性摔癣，就看你如何取舍，放之四海而皆準(zhǔn)纬向。不管什么事情都能解決的择浊，所以，遇到問題不要慌逾条。