總結(jié)大數(shù)據(jù)量數(shù)據(jù)庫(kù)的性能優(yōu)化方案

本篇文章主要講解數(shù)據(jù)庫(kù)的優(yōu)化方案以及如何配置主從復(fù)制茂蚓,讀寫分離等。

數(shù)據(jù)庫(kù)性能瓶頸的主要原因

  1. 數(shù)據(jù)庫(kù)連接量
    2.表數(shù)據(jù)量
    命中索引
    未命中則會(huì)全表掃描
    硬盤級(jí)索引雅宾,存儲(chǔ)在硬盤中唆迁。
    3.硬盤資源限制(QPS/TPS)

數(shù)據(jù)庫(kù)優(yōu)化的方案

  1. sql優(yōu)化
  2. 緩存
  3. 設(shè)計(jì)好的索引
  4. 讀寫分離
  5. 分庫(kù)分表
    水平拆分(數(shù)據(jù)量按照一定規(guī)則拆分,同一張表)
    能夠解決數(shù)據(jù)庫(kù)連接量問(wèn)題后频,數(shù)據(jù)表量大的問(wèn)題梳庆,提高QPS與TPS
    垂直拆分(按照業(yè)務(wù)規(guī)則拆分,分拆不同的庫(kù))
    解決數(shù)據(jù)庫(kù)連接問(wèn)題卑惜,硬件資源限制膏执。

讀寫分離與分庫(kù)分表

1、讀寫分離
區(qū)別讀露久、寫多數(shù)據(jù)源方式進(jìn)行數(shù)據(jù)的存儲(chǔ)和加載更米。
數(shù)據(jù)的存儲(chǔ)(增刪改)一般指定寫數(shù)據(jù)源,數(shù)據(jù)的讀取查詢指定
讀數(shù)據(jù)源
(讀寫分離會(huì)基于主從復(fù)制)

2毫痕、分庫(kù)分表
對(duì)數(shù)據(jù)的庫(kù)表進(jìn)行拆分征峦,用分片的方式對(duì)數(shù)據(jù)進(jìn)行管理。

1.垂直拆分



單庫(kù)按照業(yè)務(wù)規(guī)則進(jìn)行拆分消请。

2.水平拆分
單表的數(shù)據(jù)量很大的時(shí)候栏笆,按照一定的規(guī)則進(jìn)行拆分。

主從復(fù)制的原理

如下圖臊泰,左邊是主庫(kù)(Master)蛉加,右邊是從庫(kù)(Slave),從主庫(kù)中每執(zhí)行一次新增缸逃、修改针饥、刪除之外的非查詢語(yǔ)句,就寫入到一個(gè)binlog的日志文件中需频,然后從庫(kù)有一個(gè)線程丁眼,每一段時(shí)間,就從主庫(kù)中的binlog日志中取日志數(shù)據(jù)贺辰,并一個(gè)線程去執(zhí)行sql語(yǔ)句户盯。到達(dá)復(fù)制的效果嵌施。


考慮的問(wèn)題:數(shù)據(jù)會(huì)有延遲,不同步的存在莽鸭。

為什么會(huì)產(chǎn)生吗伤?
1,當(dāng)master tps高于slave的sql線程所能承受的范圍
2硫眨,網(wǎng)絡(luò)原因
3足淆,磁盤讀寫耗時(shí)

怎么判斷延遲?
1礁阁,show slave status \G; sends_behind_master 0(也是mycat的判斷方式)
2, mk-heartbeat timestamp 進(jìn)行主從復(fù)制兩個(gè)表數(shù)據(jù)的時(shí)間搓的判斷

怎么解決延時(shí)問(wèn)題巧号?

1,配置更高的硬件資源
2姥闭,把IOthread 改變成 多線程的方式
? mysql5.6 庫(kù)進(jìn)行多線程的方式
? GTID進(jìn)行多線程的方式
3丹鸿, 應(yīng)用程序自己去判斷(mycat有這么方案)

mysql如何配置主從復(fù)制?

Msater主數(shù)據(jù)庫(kù)設(shè)置:

Master操作:
1.接入mysql并創(chuàng)建主從復(fù)制的用戶
create user m2ssync identified by 'Qq123!@#';
2.給新建的用戶賦權(quán)
GRANT REPLICATION SLAVE ON *.* TO 'm2ssync'@'%' IDENTIFIED BY 'Qq123!@#';
3.指定服務(wù)ID棚品,開啟binlog日志記錄(y因?yàn)槟J(rèn)不開啟的)靠欢,在my.cnf中加入
server-id=137    
log-bin=dbstore_binlog  //設(shè)置binlog的文件名
binlog-do-db=db_store  //做binlog日志記錄的時(shí)候,只做該數(shù)據(jù)庫(kù)的铜跑。要做多個(gè)门怪,在后面加逗號(hào)分隔。

4.通過(guò)SHOW MASTER STATUS;查看Master db狀態(tài).

slave從數(shù)據(jù)庫(kù)配置

Slave操作:
1.指定服務(wù)器ID锅纺,指定同步的binlog存儲(chǔ)位置掷空,在my.cnf中加入
server-id=101
relay-log=slave-relay-bin  //指定中期日志文件存儲(chǔ)位置
relay-log-index=slave-relay-bin.index  //指定索引的位置
read_only=1   //只讀模式
replicate_do_db=db_store  //只做該db相關(guān)的事情
2.接入slave的mysql服務(wù),并配置change master to
master_host='192.168.8.137',
master_port=3306,master_user='m2ssync',master_p
assword='Qq123!@#',master_log_file='db_stoere_bi
nlog',master_log_pos=0;
3.start slave;
4. show slave status\G ;查看slave服務(wù)器狀態(tài)

判斷是否有配置好囤锉,可以看圖中: Slave_IO_Running以及Slave_SQL_Running是否為yes坦弟。

關(guān)于binlog日志的詳細(xì)使用與介紹:
https://www.cnblogs.com/Presley-lpc/p/9619571.html

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市嚼锄,隨后出現(xiàn)的幾起案子减拭,更是在濱河造成了極大的恐慌,老刑警劉巖区丑,帶你破解...
    沈念sama閱讀 218,122評(píng)論 6 505
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異修陡,居然都是意外死亡沧侥,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,070評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門魄鸦,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)宴杀,“玉大人,你說(shuō)我怎么就攤上這事拾因⊥眨” “怎么了旷余?”我有些...
    開封第一講書人閱讀 164,491評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)扁达。 經(jīng)常有香客問(wèn)我正卧,道長(zhǎng),這世上最難降的妖魔是什么跪解? 我笑而不...
    開封第一講書人閱讀 58,636評(píng)論 1 293
  • 正文 為了忘掉前任炉旷,我火速辦了婚禮,結(jié)果婚禮上叉讥,老公的妹妹穿的比我還像新娘窘行。我一直安慰自己,他們只是感情好图仓,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,676評(píng)論 6 392
  • 文/花漫 我一把揭開白布罐盔。 她就那樣靜靜地躺著,像睡著了一般救崔。 火紅的嫁衣襯著肌膚如雪惶看。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,541評(píng)論 1 305
  • 那天帚豪,我揣著相機(jī)與錄音碳竟,去河邊找鬼。 笑死狸臣,一個(gè)胖子當(dāng)著我的面吹牛莹桅,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播烛亦,決...
    沈念sama閱讀 40,292評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼诈泼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了煤禽?” 一聲冷哼從身側(cè)響起铐达,我...
    開封第一講書人閱讀 39,211評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎檬果,沒(méi)想到半個(gè)月后瓮孙,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,655評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡选脊,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,846評(píng)論 3 336
  • 正文 我和宋清朗相戀三年杭抠,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片恳啥。...
    茶點(diǎn)故事閱讀 39,965評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡偏灿,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出钝的,到底是詐尸還是另有隱情翁垂,我是刑警寧澤铆遭,帶...
    沈念sama閱讀 35,684評(píng)論 5 347
  • 正文 年R本政府宣布,位于F島的核電站沿猜,受9級(jí)特大地震影響枚荣,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜邢疙,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,295評(píng)論 3 329
  • 文/蒙蒙 一棍弄、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧疟游,春花似錦呼畸、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,894評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至另绩,卻和暖如春儒陨,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背笋籽。 一陣腳步聲響...
    開封第一講書人閱讀 33,012評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工蹦漠, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人车海。 一個(gè)月前我還...
    沈念sama閱讀 48,126評(píng)論 3 370
  • 正文 我出身青樓笛园,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親侍芝。 傳聞我的和親對(duì)象是個(gè)殘疾皇子研铆,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,914評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容