時(shí)序數(shù)據(jù)庫(kù)的定義
時(shí)序數(shù)據(jù)是隨時(shí)間不斷產(chǎn)生的一系列數(shù)據(jù)眶熬,簡(jiǎn)單來(lái)說(shuō)蒙秒,就是帶時(shí)間戳的數(shù)據(jù)勃黍。時(shí)序數(shù)據(jù)的主要特點(diǎn)就是數(shù)據(jù)量大,寫(xiě)多讀少晕讲。
以車(chē)聯(lián)網(wǎng)場(chǎng)景為例覆获,20000輛車(chē),每個(gè)車(chē)60個(gè)指標(biāo)瓢省,假設(shè)每秒采集一次弄息,那么每秒將上報(bào)20000 * 60 = 1200000指標(biāo)值,即120W數(shù)據(jù)指標(biāo)值每秒勤婚,每個(gè)指標(biāo)值為16字節(jié)(假設(shè)僅包括8字節(jié)時(shí)間戳和8字節(jié)的浮點(diǎn)數(shù))摹量,則每小時(shí)將產(chǎn)生64G左右的數(shù)據(jù)。而實(shí)際上每個(gè)指標(biāo)值還會(huì)附帶標(biāo)簽等額外數(shù)據(jù),實(shí)際需要存儲(chǔ)空間會(huì)更大缨称。
另外凝果,時(shí)序數(shù)據(jù)的查詢通常是多維聚合查詢,對(duì)查詢的延遲要求比較高睦尽。在早期器净,數(shù)據(jù)量小時(shí),使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)也可以勝任当凡。但是隨著5G和物聯(lián)網(wǎng)的到來(lái)山害,數(shù)據(jù)呈爆炸式增長(zhǎng),傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)越來(lái)越力不從心了沿量,因此時(shí)序數(shù)據(jù)庫(kù)應(yīng)運(yùn)而生浪慌。
時(shí)序數(shù)據(jù)庫(kù)(Time Series Database)全稱為時(shí)間序列數(shù)據(jù)庫(kù), 是專門(mén)用于存儲(chǔ)和處理時(shí)間序列的數(shù)據(jù)庫(kù),支持時(shí)序數(shù)據(jù)高效讀寫(xiě)欧瘪、高壓縮存儲(chǔ)眷射、插值和聚合等功能。
時(shí)序數(shù)據(jù)庫(kù)相關(guān)概念
時(shí)序數(shù)據(jù)庫(kù)是專門(mén)處理時(shí)序數(shù)據(jù)的數(shù)據(jù)庫(kù)佛掖,因此其相關(guān)概念是和時(shí)序數(shù)據(jù)緊密聯(lián)系的妖碉,下面是時(shí)序數(shù)據(jù)庫(kù)的一些基本概念。
度量 Metric:Metric 類似關(guān)系型數(shù)據(jù)庫(kù)里的表(Table)芥被,代表一系列同類時(shí)序數(shù)據(jù)的集合欧宜,例如為空氣質(zhì)量傳感器建立一個(gè) Table,存儲(chǔ)所有傳感器的監(jiān)測(cè)數(shù)據(jù)拴魄。
標(biāo)簽 Tag:Tag 描述數(shù)據(jù)源的特征冗茸,通常不隨時(shí)間變化,例如傳感器設(shè)備匹中,包含設(shè)備 DeviceId夏漱、設(shè)備所在的 Region 等 Tag 信息,數(shù)據(jù)庫(kù)內(nèi)部會(huì)自動(dòng)為 Tag 建立索引顶捷,支持根據(jù) Tag 來(lái)進(jìn)行多維檢索查詢挂绰;Tag 由 Tag Key、Tag Value 組成服赎,兩者均為 String 類型葵蒂。
時(shí)間戳 Timestamp:Timestamp代表數(shù)據(jù)產(chǎn)生的時(shí)間點(diǎn),可以寫(xiě)入時(shí)指定重虑,也可由系統(tǒng)自動(dòng)生成践付;
量測(cè)值 Field:Field描述數(shù)據(jù)源的量測(cè)指標(biāo),通常隨著時(shí)間不斷變化缺厉,例如傳感器設(shè)備包含溫度永高、濕度等Field隧土;
數(shù)據(jù)點(diǎn)Data Point: 數(shù)據(jù)源在某個(gè)時(shí)間產(chǎn)生的某個(gè)量測(cè)指標(biāo)值(Field Value)稱為一個(gè)數(shù)據(jù)點(diǎn),數(shù)據(jù)庫(kù)查詢乏梁、寫(xiě)入時(shí)按數(shù)據(jù)點(diǎn)數(shù)來(lái)作為統(tǒng)計(jì)指標(biāo)次洼;
時(shí)間線 Time Series :數(shù)據(jù)源的某一個(gè)指標(biāo)隨時(shí)間變化,形成時(shí)間線遇骑,Metric + Tags + Field 組合確定一條時(shí)間線卖毁;針對(duì)時(shí)序數(shù)據(jù)的計(jì)算包括降采樣、聚合(sum落萎、count亥啦、max、min等)练链、插值等都基于時(shí)間線維度進(jìn)行翔脱;
時(shí)序數(shù)據(jù)庫(kù)的發(fā)展趨勢(shì)
時(shí)序數(shù)據(jù)庫(kù)的發(fā)展趨勢(shì),可以從DB-engines(https://db-engines.com)獲取獲取到媒鼓,下圖是DB-engines收錄的數(shù)據(jù)庫(kù)近24個(gè)月的發(fā)展趨勢(shì)届吁,其中時(shí)序數(shù)據(jù)庫(kù)的活躍度最高,且隨時(shí)間呈現(xiàn)越來(lái)越活躍的趨勢(shì)绿鸣。
下圖是DB-engines收錄的時(shí)序數(shù)據(jù)庫(kù)的排名疚沐,其中排名最高的時(shí)序數(shù)據(jù)庫(kù)是2013年開(kāi)源的InfluxDB。
時(shí)序數(shù)據(jù)庫(kù)應(yīng)用場(chǎng)景
時(shí)序數(shù)據(jù)庫(kù)的應(yīng)用場(chǎng)景在物聯(lián)網(wǎng)和互聯(lián)網(wǎng)APM等場(chǎng)景應(yīng)用比較多潮模,下面是列舉了一些時(shí)序數(shù)據(jù)庫(kù)的應(yīng)用場(chǎng)景亮蛔,但不是全部:
- 公共安全:上網(wǎng)記錄、通話記錄擎厢、個(gè)體追蹤究流、區(qū)間篩選;
- 電力行業(yè):智能電表动遭、電網(wǎng)芬探、發(fā)電設(shè)備的集中監(jiān)測(cè);
- 互聯(lián)網(wǎng):服務(wù)器/應(yīng)用監(jiān)測(cè)厘惦、用戶訪問(wèn)日志灯节、廣告點(diǎn)擊日志;
- 物聯(lián)網(wǎng):電梯绵估、鍋爐、機(jī)械卡骂、水表等各種聯(lián)網(wǎng)設(shè)備国裳;
- 交通行業(yè):實(shí)時(shí)路況、路口流量監(jiān)測(cè)全跨、卡口數(shù)據(jù)缝左;
- 金融行業(yè):交易記錄、存取記錄、ATM渺杉、POS機(jī)監(jiān)測(cè)蛇数;