Druid 概述

解決兩個(gè)核心問題:
-. RDBMS的查詢太慢茉盏。
-. 支持靈活的查詢分析能力议谷。

Druid的三個(gè)設(shè)計(jì)原則

  1. 快速查詢:部分?jǐn)?shù)據(jù)的聚合(Partial Aggregate) + 內(nèi)存化(In-Memory) + 索引(Index)
  2. 水平擴(kuò)展能力:分布式數(shù)據(jù)(Distributed Data) + 并行化查詢(Parallelizable Query)
  3. 實(shí)時(shí)分析: 不可變的過去主届,只追加的未來(Immutable Past, Append-Only Future)

快速查詢

大部分?jǐn)?shù)據(jù)分析場景,我們只會(huì)關(guān)心一定粒度聚合的數(shù)據(jù)宜鸯,而非每一行的原始數(shù)據(jù)的細(xì)節(jié)情況腾供,給Druid爭取了很大的性能優(yōu)化空間仆邓。精細(xì)的內(nèi)存使用設(shè)置,如BItMap和各種壓縮技術(shù)伴鳖。為了支持Drill-Down某些維度节值,Druid維護(hù)了一些倒排索引。這種凡是可以加快AND和OR等計(jì)算操作榜聂。

水平擴(kuò)展能力

數(shù)據(jù)可以分布在多個(gè)節(jié)點(diǎn)的內(nèi)存中搞疗,因此當(dāng)數(shù)據(jù)增長的時(shí)候,可以通過簡單增加機(jī)器的方式進(jìn)行擴(kuò)容须肆。為了保持平衡匿乃,Druid按照時(shí)間范圍把聚合數(shù)據(jù)進(jìn)行分區(qū)處理。歷史Segment數(shù)據(jù)可以保存在深度存儲(chǔ)系統(tǒng)(HDFS等)中豌汇。如果某些節(jié)點(diǎn)出現(xiàn)故障幢炸,可借助Zookeeper協(xié)調(diào)其他節(jié)點(diǎn)進(jìn)行重新構(gòu)造。Druid查詢模塊能夠感知和處理集群的狀態(tài)變化拒贱。

實(shí)時(shí)分析

Druid提供了包含基于時(shí)間維度數(shù)據(jù)的存儲(chǔ)服務(wù)宛徊,并且任何一行數(shù)據(jù)都是歷史真實(shí)發(fā)生的時(shí)間,因此在設(shè)計(jì)之初就約定時(shí)間一旦進(jìn)入系統(tǒng)柜思,就不能在改變岩调。

Druid的技術(shù)特點(diǎn)

  1. 數(shù)據(jù)吞吐量大
  2. 支持流式數(shù)據(jù)攝入和實(shí)時(shí)
  3. 查詢靈活且快
  4. 社區(qū)支持力度大

Druid的基本概念

數(shù)據(jù)格式

Druid在數(shù)據(jù)攝入之前,首先需要定義一個(gè)數(shù)據(jù)源(DataSource)赡盘, 這個(gè)DataSource有些類似數(shù)據(jù)庫中表的概念号枕。每個(gè)數(shù)據(jù)集包括三個(gè)部分:時(shí)間列(TimeStamp)、維度列(Dimension)和指標(biāo)列(Metric)陨享。

  1. 時(shí)間列
    每個(gè)數(shù)據(jù)集合必須有時(shí)間列葱淳,Druid會(huì)講時(shí)間很近的一些數(shù)據(jù)行聚合在一起。因此所有的查詢都需要指定查詢時(shí)間范圍抛姑。
  2. 維度列
    用來標(biāo)識(shí)一些事件(Event)赞厕,這些標(biāo)識(shí)主要用于過濾或者切片數(shù)據(jù),維度列的字段為字符串類型定硝。隨著業(yè)務(wù)分析的精細(xì)化皿桑,增加維度列也是一個(gè)常見的需求。
  3. 指標(biāo)列
    用于聚合和計(jì)算的列。
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末诲侮,一起剝皮案震驚了整個(gè)濱河市镀虐,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌沟绪,老刑警劉巖刮便,帶你破解...
    沈念sama閱讀 206,482評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異绽慈,居然都是意外死亡恨旱,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,377評論 2 382
  • 文/潘曉璐 我一進(jìn)店門坝疼,熙熙樓的掌柜王于貴愁眉苦臉地迎上來搜贤,“玉大人,你說我怎么就攤上這事裙士∪肟停” “怎么了?”我有些...
    開封第一講書人閱讀 152,762評論 0 342
  • 文/不壞的土叔 我叫張陵腿椎,是天一觀的道長。 經(jīng)常有香客問我夭咬,道長啃炸,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 55,273評論 1 279
  • 正文 為了忘掉前任卓舵,我火速辦了婚禮南用,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘掏湾。我一直安慰自己裹虫,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,289評論 5 373
  • 文/花漫 我一把揭開白布融击。 她就那樣靜靜地躺著筑公,像睡著了一般。 火紅的嫁衣襯著肌膚如雪尊浪。 梳的紋絲不亂的頭發(fā)上匣屡,一...
    開封第一講書人閱讀 49,046評論 1 285
  • 那天,我揣著相機(jī)與錄音拇涤,去河邊找鬼捣作。 笑死,一個(gè)胖子當(dāng)著我的面吹牛鹅士,可吹牛的內(nèi)容都是我干的券躁。 我是一名探鬼主播,決...
    沈念sama閱讀 38,351評論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼也拜!你這毒婦竟也來了旭贬?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 36,988評論 0 259
  • 序言:老撾萬榮一對情侶失蹤搪泳,失蹤者是張志新(化名)和其女友劉穎稀轨,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體岸军,經(jīng)...
    沈念sama閱讀 43,476評論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡奋刽,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,948評論 2 324
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了艰赞。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片佣谐。...
    茶點(diǎn)故事閱讀 38,064評論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖方妖,靈堂內(nèi)的尸體忽然破棺而出狭魂,到底是詐尸還是另有隱情,我是刑警寧澤党觅,帶...
    沈念sama閱讀 33,712評論 4 323
  • 正文 年R本政府宣布雌澄,位于F島的核電站,受9級特大地震影響杯瞻,放射性物質(zhì)發(fā)生泄漏镐牺。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,261評論 3 307
  • 文/蒙蒙 一魁莉、第九天 我趴在偏房一處隱蔽的房頂上張望睬涧。 院中可真熱鬧,春花似錦旗唁、人聲如沸畦浓。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,264評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽讶请。三九已至,卻和暖如春电谣,著一層夾襖步出監(jiān)牢的瞬間秽梅,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,486評論 1 262
  • 我被黑心中介騙來泰國打工剿牺, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留企垦,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 45,511評論 2 354
  • 正文 我出身青樓晒来,卻偏偏與公主長得像钞诡,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,802評論 2 345

推薦閱讀更多精彩內(nèi)容

  • Druid.io(以下簡稱Druid)是面向海量數(shù)據(jù)的荧降、用于實(shí)時(shí)查詢與分析的OLAP存儲(chǔ)系統(tǒng)接箫。Druid的四大關(guān)鍵...
    大詩兄_zl閱讀 6,446評論 0 9
  • Druid 介紹 說起 Druid,大家首先想到的是阿里的 Druid 數(shù)據(jù)庫連接池朵诫,而本文介紹的 Druid 是...
    尼小摩閱讀 98,471評論 4 38
  • 0. Overview 后面將寫幾篇文章介紹一下 OLAP 的大數(shù)據(jù)系統(tǒng)架構(gòu)辛友。這里的 Druid 不是阿里巴巴的連...
    legendtkl閱讀 4,114評論 1 3
  • 情緒管理:一天都很融洽,今天姥姥來了剪返,寶寶特別開心废累,除了睡覺時(shí)間,都是又是蹦又是跳的脱盲,沒有一刻是老實(shí)呆著的邑滨;晚上和...
    月月媽媽閱讀 178評論 0 0
  • 《粱漱溟先生講孔孟》上 這本書之前聽過一遍但是沒有寫筆記,所以有一點(diǎn)印象但并不深刻钱反。 這次因?yàn)榭吹椒蜃訌R很有感觸...
    嗨233閱讀 1,799評論 0 0