【數(shù)據(jù)倉庫】數(shù)據(jù)倉庫及相關(guān)概念

數(shù)據(jù)倉庫由比爾·恩門(Bill Inmon缩滨,數(shù)據(jù)倉庫之父)于1990年提出,主要功能是將企業(yè)系統(tǒng)聯(lián)機(jī)事務(wù)處理(OLTP)長期累積的大量數(shù)據(jù),通過數(shù)倉理論所特有的數(shù)據(jù)儲存架構(gòu)怕轿,做有系統(tǒng)的分析整理 咆贬。

數(shù)據(jù)倉庫的作用

1. 提供集成的結(jié)構(gòu)化數(shù)據(jù)環(huán)境:

① 集成:例如一個企業(yè)會有多個系統(tǒng)败徊,多個系統(tǒng)之間,會存在系統(tǒng)不兼容的情況掏缎。如何把多個系統(tǒng)中數(shù)據(jù)整合在一起皱蹦,就是集成的過程煤杀;

② 結(jié)構(gòu)化:大部分線上產(chǎn)生的數(shù)據(jù)都是非結(jié)構(gòu)化和半結(jié)構(gòu)化的(圖片、日志沪哺、音頻等)沈自,需要轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)供上游分析使用;

2. 解決從數(shù)據(jù)庫中獲取信息的問題:

① 從線上數(shù)據(jù)庫中取數(shù)據(jù)可能會面臨數(shù)據(jù)不全(不在一個系統(tǒng)中)辜妓;

② 線上數(shù)據(jù)庫產(chǎn)生的數(shù)據(jù)不是結(jié)構(gòu)化的枯途,比如產(chǎn)生的日志數(shù)據(jù),難以理解嫌拣;

③ 在線上數(shù)據(jù)庫去數(shù)據(jù)柔袁,當(dāng)達(dá)到一定量時,影響系統(tǒng)性能异逐;

(把從線上數(shù)據(jù)庫中取數(shù)捶索,轉(zhuǎn)為從數(shù)據(jù)倉庫中取數(shù),來解決這些問題)


數(shù)據(jù)倉庫的特點

1. 面向主題的:數(shù)據(jù)倉庫是用來分析特定主題域的灰瞻,所以說數(shù)據(jù)倉庫是面向主題的腥例,例如“財務(wù)”就是一個主題域。面向主題其實是一個分類的概念酝润。

① 電商業(yè)務(wù)-主題域劃分:交易域燎竖、商品域、用戶域要销、財務(wù)域......

② 社交業(yè)務(wù)-主題域劃分:內(nèi)容域构回、會員域、互動域疏咐、交易域......

2. 集成的:數(shù)據(jù)倉庫會對接多個數(shù)據(jù)源纤掸,同一主題或產(chǎn)品相關(guān)數(shù)據(jù)可能來自不同系統(tǒng)不同類型的數(shù)據(jù)庫、日志文件等浑塞。

3. 穩(wěn)定的:數(shù)據(jù)一旦進(jìn)入數(shù)據(jù)倉庫借跪,則不可被改變(數(shù)據(jù)倉庫是記錄事實的唯一版本)。數(shù)據(jù)倉里的歷史數(shù)據(jù)是不應(yīng)該被更新的酌壕,同時存儲的穩(wěn)定性較強(qiáng)掏愁。

4. 反映歷史變化的:數(shù)據(jù)倉庫保存了長期的歷史數(shù)據(jù)(從系統(tǒng)有數(shù)據(jù)開始一直到當(dāng)前,從始至今)卵牍,這點是相對OLTP的數(shù)據(jù)庫(線上實時在線數(shù)據(jù)庫)而言果港。因為性能考慮后者通常保存近期的熱數(shù)據(jù)。


數(shù)據(jù)倉庫的目的

構(gòu)建面向分析的集成化數(shù)據(jù)環(huán)境糊昙,為企業(yè)提供決策支持京腥。


OLTP(聯(lián)機(jī)事務(wù)處理過程)

1.?事務(wù):人機(jī)交互的過程中發(fā)成的行為,就稱為一個事務(wù)溅蛉;

2.?OLTP:也稱為實時系統(tǒng)(Real Time System)公浪,是人機(jī)交互的一個應(yīng)用系統(tǒng);

3.??OLTP的特點:對用戶操作需要快速響應(yīng)船侧。

4.?快速響應(yīng) 需要面臨的問題:

(1)系統(tǒng)請求響應(yīng)的性能

(2)數(shù)據(jù)總是保持在最新的狀態(tài)

(3)數(shù)量級星菲(OLTP的數(shù)量級越小,查詢的性能就越好)


OLAP(聯(lián)機(jī)分析處理過程)

1. OLAP的特點

(1)從用戶的思考角度出發(fā)镜撩,仿照用戶思考模式預(yù)先為構(gòu)建多維的數(shù)據(jù)模型预柒;

(2)用戶可以快速查詢分析各個維度數(shù)據(jù)

(3)能動態(tài)的在各個維度之間切換或者進(jìn)行多維度綜合分析,具有極大的分析靈活性袁梗。

2. OLAP和數(shù)倉的關(guān)系

關(guān)系:互補(bǔ)

一般以數(shù)據(jù)倉庫作為基礎(chǔ)宜鸯,即從數(shù)據(jù)倉庫中抽取詳細(xì)數(shù)據(jù)的一個子集并經(jīng)過必要的聚集存儲到OLAP存儲中供數(shù)據(jù)分析工具讀取。(OLAP是建立在數(shù)倉之上的一個多維查詢的操作)


OLAP和OLTP的區(qū)別

OLAP和OLTP的區(qū)別

DATACube數(shù)據(jù)魔方

面向分析的多維查詢操作:鉆取遮怜、上卷淋袖、切片、切塊锯梁、旋轉(zhuǎn)

OLAP的基本操作

Tips: 數(shù)據(jù)立方體只是多維模型的一個形象的說法即碗,立方體自身只有三維,而實際會有更多維度陌凳。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末剥懒,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子合敦,更是在濱河造成了極大的恐慌初橘,老刑警劉巖,帶你破解...
    沈念sama閱讀 221,635評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件充岛,死亡現(xiàn)場離奇詭異保檐,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)裸准,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,543評論 3 399
  • 文/潘曉璐 我一進(jìn)店門展东,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人炒俱,你說我怎么就攤上這事盐肃。” “怎么了权悟?”我有些...
    開封第一講書人閱讀 168,083評論 0 360
  • 文/不壞的土叔 我叫張陵砸王,是天一觀的道長。 經(jīng)常有香客問我峦阁,道長谦铃,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 59,640評論 1 296
  • 正文 為了忘掉前任榔昔,我火速辦了婚禮驹闰,結(jié)果婚禮上瘪菌,老公的妹妹穿的比我還像新娘。我一直安慰自己嘹朗,他們只是感情好师妙,可當(dāng)我...
    茶點故事閱讀 68,640評論 6 397
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著屹培,像睡著了一般默穴。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上褪秀,一...
    開封第一講書人閱讀 52,262評論 1 308
  • 那天蓄诽,我揣著相機(jī)與錄音,去河邊找鬼媒吗。 笑死仑氛,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的蝴猪。 我是一名探鬼主播调衰,決...
    沈念sama閱讀 40,833評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼自阱!你這毒婦竟也來了嚎莉?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,736評論 0 276
  • 序言:老撾萬榮一對情侶失蹤沛豌,失蹤者是張志新(化名)和其女友劉穎趋箩,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體加派,經(jīng)...
    沈念sama閱讀 46,280評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡叫确,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,369評論 3 340
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了芍锦。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片竹勉。...
    茶點故事閱讀 40,503評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖娄琉,靈堂內(nèi)的尸體忽然破棺而出次乓,到底是詐尸還是另有隱情,我是刑警寧澤孽水,帶...
    沈念sama閱讀 36,185評論 5 350
  • 正文 年R本政府宣布票腰,位于F島的核電站,受9級特大地震影響女气,放射性物質(zhì)發(fā)生泄漏杏慰。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,870評論 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望缘滥。 院中可真熱鬧轰胁,春花似錦、人聲如沸朝扼。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,340評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽吟税。三九已至,卻和暖如春姿现,著一層夾襖步出監(jiān)牢的瞬間肠仪,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,460評論 1 272
  • 我被黑心中介騙來泰國打工备典, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留异旧,地道東北人。 一個月前我還...
    沈念sama閱讀 48,909評論 3 376
  • 正文 我出身青樓提佣,卻偏偏與公主長得像吮蛹,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子拌屏,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,512評論 2 359