kylin架構(gòu)

image.png

首先來(lái)看離線構(gòu)建部分肛著。從圖中可以看出,左側(cè)為數(shù)據(jù)源跺讯,目前Kylin默認(rèn)的數(shù)據(jù)源是Apache Hive枢贿,保存著待分析的用戶數(shù)據(jù)。根據(jù)元數(shù)據(jù)的定義刀脏,構(gòu)建引擎從數(shù)據(jù)源抽取數(shù)據(jù)局荚,并構(gòu)建Cube。數(shù)據(jù)以關(guān)系表的形式輸入愈污,并且必須符合星形模型耀态。構(gòu)建技術(shù)主要為MapReduce(Spark目前在beta版本)。構(gòu)建后的Cube保存在右側(cè)存儲(chǔ)引擎中暂雹,目前Kylin默認(rèn)的存儲(chǔ)為Apache HBase首装。
完成離線構(gòu)建后,用戶可以從上方的查詢系統(tǒng)發(fā)送SQL進(jìn)行查詢分析杭跪。Kylin提供了RESTful API仙逻、JDBC/ODBC接口供用戶調(diào)用。無(wú)論從哪個(gè)接口進(jìn)入揍魂,SQL最終都會(huì)來(lái)到REST服務(wù)層桨醋,再轉(zhuǎn)交給查詢引擎進(jìn)行處理。查詢引擎解析SQL现斋,生成基于關(guān)系表的邏輯執(zhí)行計(jì)劃喜最,然后將其轉(zhuǎn)譯為基于Cube的物理執(zhí)行計(jì)劃,最后查詢預(yù)計(jì)算生成的Cube并產(chǎn)生結(jié)果庄蹋。整個(gè)過(guò)程不會(huì)訪問(wèn)原始數(shù)據(jù)源瞬内。如果用戶提交的查詢語(yǔ)句未在Kylin中預(yù)先定義,Kylin會(huì)返回一個(gè)錯(cuò)誤限书。
值得一提的是虫蝶,Kylin對(duì)數(shù)據(jù)源、執(zhí)行引擎和Cube存儲(chǔ)三個(gè)核心模塊提取出了抽象層倦西,這意味著這三個(gè)模塊可以被任意地?cái)U(kuò)展和替換能真。比如可以使用Spark替代MapReduce作為Cube的構(gòu)建引擎,使用Cassandra替代HBase作為Cube計(jì)算后數(shù)據(jù)的存儲(chǔ)等。良好的擴(kuò)展性使得Kylin可以在這個(gè)技術(shù)發(fā)展日新月異的時(shí)代方便地使用更先進(jìn)的技術(shù)替代現(xiàn)有技術(shù)粉铐,做到與時(shí)俱進(jìn)疼约,也使用戶可以針對(duì)自己的業(yè)務(wù)特點(diǎn)對(duì)Kylin進(jìn)行深度定制。
Apache Kylin的這種架構(gòu)使得它擁有許多非常棒的特性:

SQL接口:
Kylin主要的對(duì)外接口就是以SQL的形式提供的蝙泼。SQL簡(jiǎn)單易用的特性極大地降低了Kylin的學(xué)習(xí)成本程剥,不論是數(shù)據(jù)分析師還是Web開發(fā)程序員都能從中收益。
支持海量數(shù)據(jù)集
不論是Hive汤踏、SparkSQL织鲸,還是Impala、Presto溪胶,都改變不了這樣一個(gè)事實(shí):查詢時(shí)間隨著數(shù)據(jù)量的增長(zhǎng)而線性增長(zhǎng)搂擦。而Apache Kylin使用預(yù)計(jì)算技術(shù)打破了這一點(diǎn)。Kylin在數(shù)據(jù)集規(guī)模上的局限性主要取決于維度的個(gè)數(shù)和基數(shù)哗脖,而不是數(shù)據(jù)集的大小盾饮,所以Kylin能更好地支持海量數(shù)據(jù)集的查詢。
亞秒級(jí)響應(yīng)
同樣受益于預(yù)計(jì)算技術(shù)懒熙,Kylin的查詢速度非常快普办,因?yàn)閺?fù)雜的連接工扎、聚合等操作都在Cube的構(gòu)建過(guò)程中已經(jīng)完成了。
水平擴(kuò)展
Apache Kylin同樣可以使用集群部署方式進(jìn)行水平擴(kuò)展衔蹲。但部署多個(gè)節(jié)點(diǎn)只能提高Kylin處理查詢的能力肢娘,而不能提升它的預(yù)計(jì)算能力。
可視化集成
Apache Kylin提供了ODBC/JDBC接口和RESTful API舆驶,可以很方便地與Tableau等數(shù)據(jù)可視化工具集成橱健。數(shù)據(jù)團(tuán)隊(duì)也可以在開放的API上進(jìn)行二次開發(fā)。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末沙廉,一起剝皮案震驚了整個(gè)濱河市拘荡,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌撬陵,老刑警劉巖珊皿,帶你破解...
    沈念sama閱讀 218,036評(píng)論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異巨税,居然都是意外死亡蟋定,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,046評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門草添,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)驶兜,“玉大人,你說(shuō)我怎么就攤上這事〕纾” “怎么了屠凶?”我有些...
    開封第一講書人閱讀 164,411評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)蝇狼。 經(jīng)常有香客問(wèn)我阅畴,道長(zhǎng),這世上最難降的妖魔是什么迅耘? 我笑而不...
    開封第一講書人閱讀 58,622評(píng)論 1 293
  • 正文 為了忘掉前任贱枣,我火速辦了婚禮,結(jié)果婚禮上颤专,老公的妹妹穿的比我還像新娘纽哥。我一直安慰自己,他們只是感情好栖秕,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,661評(píng)論 6 392
  • 文/花漫 我一把揭開白布春塌。 她就那樣靜靜地躺著,像睡著了一般簇捍。 火紅的嫁衣襯著肌膚如雪只壳。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,521評(píng)論 1 304
  • 那天暑塑,我揣著相機(jī)與錄音吼句,去河邊找鬼。 笑死事格,一個(gè)胖子當(dāng)著我的面吹牛惕艳,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播驹愚,決...
    沈念sama閱讀 40,288評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼远搪,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了逢捺?” 一聲冷哼從身側(cè)響起谁鳍,我...
    開封第一講書人閱讀 39,200評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎蒸甜,沒想到半個(gè)月后棠耕,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,644評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡柠新,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,837評(píng)論 3 336
  • 正文 我和宋清朗相戀三年窍荧,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片恨憎。...
    茶點(diǎn)故事閱讀 39,953評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡蕊退,死狀恐怖郊楣,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情瓤荔,我是刑警寧澤净蚤,帶...
    沈念sama閱讀 35,673評(píng)論 5 346
  • 正文 年R本政府宣布,位于F島的核電站输硝,受9級(jí)特大地震影響今瀑,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜点把,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,281評(píng)論 3 329
  • 文/蒙蒙 一橘荠、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧郎逃,春花似錦哥童、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,889評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)耻涛。三九已至仿粹,卻和暖如春班缎,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背揣非。 一陣腳步聲響...
    開封第一講書人閱讀 33,011評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工撬呢, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人妆兑。 一個(gè)月前我還...
    沈念sama閱讀 48,119評(píng)論 3 370
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像毛仪,于是被迫代替她去往敵國(guó)和親搁嗓。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,901評(píng)論 2 355

推薦閱讀更多精彩內(nèi)容