Kylin 概述及工作原理

1. 概述-Kylin是什么

? ? ? ? Apache Kylin(Extreme OLAP Engine for Big Data)是一個開源的分布式 分析引擎学辱,為Hadoop等大型分布式數(shù)據(jù)平臺之上的超大規(guī)模數(shù)據(jù)集通過標準 SQL查詢及多維分析(OLAP)功能遂蛀,提供亞秒級的交互式分析能力围小。

2. 概述-Kylin的由來

? ? ? ? Apache Kylin翰守,中文名麒麟习贫,是Hadoop動物園的重要成員空骚。Apache Kylin是一個開源的分布式分析引擎偷遗,最初由eBay開發(fā)貢獻至開源社區(qū)粱年。它提供Hadoop之上的SQL查詢接口及多維分析(OLAP)能力以支持大規(guī)模數(shù)據(jù),能夠處理TB乃至PB級別的分析任務(wù)豹芯,能夠在亞秒級查詢巨大的Hive表苗桂,并支持高并發(fā)。

3.概述-為什么需要Kylin

? ? ? ?在大數(shù)據(jù)的背景下告组,Hadoop的出現(xiàn)解決了數(shù)據(jù)存儲問題,但如何對海量數(shù)據(jù)進行OLAP查詢癌佩,卻一直令人十分頭疼木缝。企業(yè)中大數(shù)據(jù)查詢大致分為兩種:即席查詢和定制查詢。?

? ? ? ?(1)即席查詢

? ? ? ? Hive围辙、SparkSQL等OLAP引擎我碟,雖然在很大程度上降低了數(shù)據(jù)分析的難度,但它們都只適用于即席查詢的場景姚建。它們的優(yōu)點是查詢靈活矫俺,但是隨著數(shù)據(jù)量和計算復(fù)雜度的增長,響應(yīng)時間不能得到保證。

? ? ? ? (2)定制查詢

? ? ? ? 多數(shù)情況下是對用戶的操作做出實時反應(yīng)厘托,Hive等查詢引擎很難滿足實時查詢友雳,一般只能對數(shù)據(jù)倉庫中的數(shù)據(jù)進行提前計算,然后將結(jié)果存入Mysql等關(guān)系型數(shù)據(jù)庫铅匹,最后提供給用戶進行查詢押赊。

? ? ? ? 在上述背景下,Apache Kylin應(yīng)運而生包斑。不同于"大規(guī)模并行處理"Hive等架構(gòu)流礁,Apache Kylin采用" 預(yù)計算"的模式,用戶只需要提前定義好查詢維度罗丰,Kylin將幫助我們進行計算神帅,并將結(jié)果存儲到HBase 中,為海量數(shù)據(jù)的查詢和分析提供亞秒級返回萌抵,是一種典型的"空間換時間"的解決方案找御。

Apache Kylin的出現(xiàn)不僅很好地解決了海量數(shù)據(jù)快速查詢的問題,也避免了手動開發(fā)和維護提前計算程 序帶來的一系列麻煩谜嫉。


4.核心概念-數(shù)據(jù)倉庫

Data Warehouse萎坷,簡稱DW,中文名數(shù)據(jù)倉庫沐兰,是商業(yè)智能(BI)中的核心部分哆档。主要是將不同數(shù)據(jù)源的數(shù)據(jù)整合到一起,通過多維分析等方式為企業(yè)提供決策支持和報表生成住闯。

數(shù)據(jù)倉庫與數(shù)據(jù)庫主要區(qū)別:用途不同

? 數(shù)據(jù)庫面向事務(wù)瓜浸,而數(shù)據(jù)倉庫面向分析。

? 數(shù)據(jù)庫一般存儲在線的業(yè)務(wù)數(shù)據(jù)比原,需要對上層業(yè)務(wù)的改變做出實時反應(yīng)插佛,涉及到增刪查改等操作,

所以需要遵循三大范式量窘,需要ACID雇寇。而數(shù)據(jù)倉庫中存儲的則主要是歷史數(shù)據(jù),主要目的是為企業(yè)

決策提供支持蚌铜,所以可能存在大量數(shù)據(jù)冗余锨侯,但利于多個維度查詢,為決策者提供更多觀察視角冬殃。

在傳統(tǒng)BI領(lǐng)域中囚痴,數(shù)據(jù)倉庫的數(shù)據(jù)同樣存儲在Oracle、MySQL等數(shù)據(jù)庫中审葬,而在大數(shù)據(jù)領(lǐng)域中最常用的

數(shù)據(jù)倉庫就是Apache Hive深滚,Hive也是Apache Kylin默認的數(shù)據(jù)源奕谭。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市痴荐,隨后出現(xiàn)的幾起案子血柳,更是在濱河造成了極大的恐慌,老刑警劉巖蹬昌,帶你破解...
    沈念sama閱讀 223,002評論 6 519
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件混驰,死亡現(xiàn)場離奇詭異,居然都是意外死亡皂贩,警方通過查閱死者的電腦和手機栖榨,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,357評論 3 400
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來明刷,“玉大人婴栽,你說我怎么就攤上這事”材” “怎么了愚争?”我有些...
    開封第一講書人閱讀 169,787評論 0 365
  • 文/不壞的土叔 我叫張陵,是天一觀的道長挤聘。 經(jīng)常有香客問我轰枝,道長,這世上最難降的妖魔是什么组去? 我笑而不...
    開封第一講書人閱讀 60,237評論 1 300
  • 正文 為了忘掉前任鞍陨,我火速辦了婚禮,結(jié)果婚禮上从隆,老公的妹妹穿的比我還像新娘诚撵。我一直安慰自己,他們只是感情好键闺,可當(dāng)我...
    茶點故事閱讀 69,237評論 6 398
  • 文/花漫 我一把揭開白布寿烟。 她就那樣靜靜地躺著,像睡著了一般辛燥。 火紅的嫁衣襯著肌膚如雪筛武。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,821評論 1 314
  • 那天挎塌,我揣著相機與錄音畅铭,去河邊找鬼。 笑死勃蜘,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的假残。 我是一名探鬼主播缭贡,決...
    沈念sama閱讀 41,236評論 3 424
  • 文/蒼蘭香墨 我猛地睜開眼炉擅,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了阳惹?” 一聲冷哼從身側(cè)響起谍失,我...
    開封第一講書人閱讀 40,196評論 0 277
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎莹汤,沒想到半個月后快鱼,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,716評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡纲岭,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,794評論 3 343
  • 正文 我和宋清朗相戀三年抹竹,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片止潮。...
    茶點故事閱讀 40,928評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡窃判,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出喇闸,到底是詐尸還是另有隱情袄琳,我是刑警寧澤,帶...
    沈念sama閱讀 36,583評論 5 351
  • 正文 年R本政府宣布燃乍,位于F島的核電站唆樊,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏刻蟹。R本人自食惡果不足惜逗旁,卻給世界環(huán)境...
    茶點故事閱讀 42,264評論 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望座咆。 院中可真熱鬧痢艺,春花似錦、人聲如沸介陶。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,755評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽哺呜。三九已至舌缤,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間某残,已是汗流浹背国撵。 一陣腳步聲響...
    開封第一講書人閱讀 33,869評論 1 274
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留玻墅,地道東北人介牙。 一個月前我還...
    沈念sama閱讀 49,378評論 3 379
  • 正文 我出身青樓,卻偏偏與公主長得像澳厢,于是被迫代替她去往敵國和親环础。 傳聞我的和親對象是個殘疾皇子囚似,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,937評論 2 361

推薦閱讀更多精彩內(nèi)容