技術(shù)選型 數(shù)據(jù)存儲(chǔ) 考慮到數(shù)據(jù)量較大罢吃,采用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)已經(jīng)不太合適,需要做大量的分庫(kù)分表操作昭齐。因此考慮nosql的方式尿招,常見的nosql...
海量數(shù)據(jù)如何分庫(kù)分表 一般我們的分庫(kù)策略有時(shí)間,類型阱驾,頻率就谜,下面來一一說明怎么分庫(kù): (1)按時(shí)間分 按時(shí)間分的好處有很多。第一,可以做數(shù)...
flink實(shí)現(xiàn)指標(biāo)監(jiān)控 數(shù)據(jù)監(jiān)控都要求實(shí)時(shí)性里覆,我把監(jiān)控分為2種丧荐,一種是有狀態(tài)監(jiān)控,一種是無狀態(tài)監(jiān)控喧枷。有狀態(tài)就是指指標(biāo)的計(jì)算依賴于之前的數(shù)據(jù)虹统,...
關(guān)于hbase和hive的選擇 hbase是一個(gè)nosql數(shù)據(jù)庫(kù),它能提供實(shí)時(shí)寫入和實(shí)時(shí)查詢隧甚,但是查詢的靈活性偏低车荔,必須按其rowkey進(jìn)行...
Hbase生產(chǎn)實(shí)踐 背景 HBase是一個(gè)分布式的、面向列的開源數(shù)據(jù)庫(kù)呻逆,它是hadoop生態(tài)圈的一員夸赫,有海量數(shù)據(jù)存儲(chǔ)能力,對(duì)資源的消耗也相對(duì)較...
Hbase寫入性能優(yōu)化 背景 HBase是一個(gè)nosql數(shù)據(jù)庫(kù)咖城,既然是數(shù)據(jù)庫(kù)茬腿,就會(huì)涉及到增刪改查,而...