數(shù)庫基礎(chǔ)概念

數(shù)據(jù)庫系統(tǒng)

數(shù)據(jù)是數(shù)據(jù)庫中存儲的基本對象，是描述事物的符號記錄彪置。
數(shù)據(jù)的種類：文本拄踪、圖形、圖像拳魁、音頻惶桐、視頻
數(shù)據(jù)庫DB：是長期存儲在計算機內(nèi)，有組織的潘懊、可以共享的大量數(shù)據(jù)的集合姚糊。
數(shù)據(jù)庫的基本特性：
數(shù)據(jù)按一定的數(shù)據(jù)模型組織、描述和存儲授舟；
可為各種用戶共享救恨；
冗余度較小释树；
數(shù)據(jù)獨立型較高忿薇；
易擴展。
數(shù)據(jù)庫系統(tǒng)DBS：是一個采用了數(shù)據(jù)庫技術(shù)躏哩，有組織署浩、動態(tài)地存儲大量相關(guān)數(shù)據(jù)，方便多用戶訪問的計算機系統(tǒng)扫尺。其由下面四個部分組成：
數(shù)據(jù)庫（統(tǒng)一管理筋栋、長期存儲在計算機內(nèi)的，有組織的相關(guān)數(shù)據(jù)的集合）
硬件（構(gòu)成計算機系統(tǒng)包括存儲數(shù)據(jù)所需的外部設(shè)備）
軟件（操作系統(tǒng)正驻、數(shù)據(jù)庫管理系統(tǒng)及應(yīng)用程序）
人員（系統(tǒng)分析和數(shù)據(jù)庫設(shè)計人員弊攘、應(yīng)用程序員、最終用戶姑曙、數(shù)據(jù)庫管理員DBA）
數(shù)據(jù)管理系統(tǒng)DBMS的功能
實現(xiàn)對共享數(shù)據(jù)有效的組織襟交、管理和存取。
包括數(shù)據(jù)定義伤靠、數(shù)據(jù)庫操作捣域、數(shù)據(jù)庫運行管理、數(shù)據(jù)的存儲管理宴合、數(shù)據(jù)庫的建立和維護等焕梅。

三級模式-兩級映像

數(shù)據(jù)庫三級模式-兩級映像.png

內(nèi)模式：管理如何存儲物理的數(shù)據(jù)，對應(yīng)具體物理存儲文件卦洽。
模式：又稱為概念模式贞言，就是我們通常使用的基本表，根據(jù)應(yīng)用需要將物理數(shù)據(jù)劃分成一張張表阀蒂。
外模式：對應(yīng)數(shù)據(jù)庫中的視圖這個級別该窗，將表進行一定處理后在提供給用戶使用弟蚀。
外模式-模式映像：是表和視圖之間的映射，存在于概念級和外部級之間酗失，若表中數(shù)據(jù)發(fā)生了修改义钉，只需要修改此映射而無需修改應(yīng)用程序。
模式-內(nèi)模式映像：是表和數(shù)據(jù)的物理存儲之間的映射级零，存在于概念級和內(nèi)部級之間断医，若修改了數(shù)據(jù)存儲方式滞乙，只需要修改此映射而無需修改應(yīng)用程序奏纪。

數(shù)據(jù)庫設(shè)計

需求分析：即分析數(shù)據(jù)存儲的要求，產(chǎn)出數(shù)據(jù)流圖斩启、數(shù)據(jù)字典序调、需求說明書
概念結(jié)構(gòu)設(shè)計：就是設(shè)計E-R圖，也即實體-屬性圖兔簇，與物理實現(xiàn)無關(guān)发绢，說明有哪些實體，實體有哪些屬性垄琐。
邏輯結(jié)構(gòu)設(shè)計：將E-R圖轉(zhuǎn)換成關(guān)系模式边酒，即轉(zhuǎn)換成實際的表和表中的列屬性，這里要考慮很多規(guī)范化的東西狸窘。
物理設(shè)計：根據(jù)生成的表等概念墩朦，生成物理數(shù)據(jù)庫。

數(shù)據(jù)模型

關(guān)系模式是二維表的形式表示的實體-聯(lián)系模型翻擒，是將實體-聯(lián)系模型轉(zhuǎn)換而來的氓涣，經(jīng)過開發(fā)人員設(shè)計的；
概念模型是從用戶的角度進行建模的陋气，是現(xiàn)實世界到信息世界的第一抽象劳吠，是真正的實體-聯(lián)系模型
網(wǎng)狀模型表示實體類型及其實體之間的聯(lián)系，一個事物和另外幾個都有聯(lián)系巩趁，形成一張網(wǎng)痒玩。
面向?qū)ο竽Ｐ褪遣捎妹嫦驅(qū)ο蟮姆椒ㄔO(shè)計數(shù)據(jù)庫，以對象為單位议慰，每個對象包括屬性和方法凰荚，具有類和繼承等特點。
數(shù)據(jù)模型三要素：數(shù)據(jù)結(jié)構(gòu)（所研究的對象類型的集合）褒脯、數(shù)據(jù)操作（對數(shù)據(jù)庫中各種對象的實例允許執(zhí)行的操作的結(jié)合）便瑟、數(shù)據(jù)的約束條件（一組完整性規(guī)則的集合）。
用E-R圖來描述概念數(shù)據(jù)模型番川，世界是由一組稱為實體的基本對象和這些對象之間的聯(lián)系構(gòu)成的到涂。
在E-R模型中脊框，使用橢圓表示屬性（一般沒有）、長方形表示實體践啄、菱形表示聯(lián)系浇雹，聯(lián)系的兩端要填寫聯(lián)系類型。
實體：客觀存在并可以相互區(qū)別的事務(wù)屿讽≌蚜椋可以是具體的人、事伐谈、物活抽象概念烂完。如：人、汽車诵棵、圖書抠蚣、賬戶、貸款履澳。
弱實體和強實體：弱實體依賴于強實體的存在而存在嘶窄。
實體集：具有相同類型和共享相同屬性的實體的集合，如學生距贷、課程柄冲。
屬性：實體所具有的特性。
屬性分類：簡單屬性和復核屬性忠蝗；單值屬性和多值屬性现横；NULL屬性；派生屬性什湘。
域：屬性的取值范圍稱為該屬性的域长赞。
碼（key）：唯一標識實體的屬性集。
聯(lián)系：現(xiàn)實世界中事務(wù)內(nèi)部以及事物之間的聯(lián)系闽撤，在E-R圖中反映為實體內(nèi)部的聯(lián)系和實體之間的聯(lián)系。
聯(lián)系類型：一對一1：1哟旗、一對多1：N贩据、多對多M:N。
關(guān)系模型中數(shù)據(jù)的邏輯結(jié)構(gòu)是一張二維表闸餐，由行列組成饱亮。用表格結(jié)構(gòu)表達實體集，用外鍵標識實體間的聯(lián)系舍沙。優(yōu)點：建立在嚴格的數(shù)學概念基礎(chǔ)上近上；概念單一、結(jié)構(gòu)簡單拂铡、清晰壹无，用戶易懂易用葱绒；存取路徑對用戶透明，從而數(shù)據(jù)獨立性斗锭、安全性好地淀，簡化數(shù)據(jù)庫開發(fā)工作。缺點：由于存取路徑透明岖是，查詢效率往往不如非關(guān)系數(shù)據(jù)模型帮毁。
E-R模型轉(zhuǎn)為關(guān)系模型：每個實體都對應(yīng)一個關(guān)系模型；聯(lián)系分為三種：
1：1聯(lián)系中聯(lián)系可以放到任意的兩端實體中豺撑，作為一個屬性要保證1：1的兩端關(guān)聯(lián)烈疚，也可以轉(zhuǎn)換為一個單獨的關(guān)系模式；
1：N聯(lián)系中聯(lián)系可以單獨作為一個關(guān)系模式前硫，也可以在N端中加入1端實體的主鍵胞得；
M：N聯(lián)系中聯(lián)系必須作為一個單獨的關(guān)系模式荧止，其主鍵是M和N端的聯(lián)合主鍵屹电。

E-R模型

關(guān)系模型

關(guān)系代數(shù)

并：結(jié)果是兩張表中所有記錄合并，相同記錄只顯示一次跃巡。
交：結(jié)果是兩張表中相同的記錄危号。
差：S1-S2結(jié)果是S1表中有而S2表中沒有的那些記錄。
笛卡爾積：S1S2素邪，產(chǎn)生的結(jié)果包含S1和S2的所有屬性列外莲，并且S1中每條記錄依次和S2中所有記錄組成一條記錄，最終屬性列為S1+S2屬性列兔朦，記錄數(shù)為S1S2記錄數(shù)偷线。
投影：實際是按照條件選擇某關(guān)系模式中的某列，列也可以用數(shù)字表示沽甥。
選擇：實際是按照條件選擇某關(guān)系模式中的某條記錄声邦。
自然連接：結(jié)果顯示全部的屬性列，但是相同屬性列只顯示一次摆舟，顯示兩個關(guān)系模式中屬性相同且值相同的記錄亥曹。

函數(shù)依賴

給定一個X，能唯一確定一個Y就稱為X確定了Y或者說Y依賴于X恨诱。例如Y=X*X函數(shù)媳瞪。
函數(shù)依賴又可擴展以下兩種規(guī)則：
部分函數(shù)依賴：A可確定C，A照宝、B也可以確定C蛇受，A、B中的一部分即A可以確定C厕鹃，稱為部分依賴兢仰。
傳遞函數(shù)依賴：當A笼呆、B不等價時，A可以確定B旨别，B可以確定C诗赌，則A可確定C是傳遞函數(shù)依賴，若A和B等價秸弛，則不存在傳遞直接就可確定C铭若。

鍵與約束

超鍵：能唯一標識此表的屬性的組合。
候選鍵：超鍵中去掉冗余的屬性递览，剩余的屬性就是候選鍵叼屠。
主鍵：任選一個候選鍵即可作為主鍵。
外鍵：其他表中的主鍵绞铃。
主屬性：候選鍵內(nèi)的屬性為主屬性镜雨，其他屬性為非主屬性。
實體完整性約束：即主鍵約束儿捧，主鍵值不能為空也不能重復荚坞。
參照完整性約束：即外鍵約束，外鍵必須是其他表中已經(jīng)存在的主鍵的值菲盾，或者為空颓影。
用戶自定義完整性約束：自定義表達式約束，如設(shè)定年齡屬性的值必須為0到150之間懒鉴。

范式

第一范式：關(guān)系中的每一個分量必須是一個不分的數(shù)據(jù)項诡挂。通俗地說第一范式就是表中不允許有小表的存在。比如對于如下的員工表就屬于第一范式临谱。
實例：用一個單一的關(guān)系模式學生來描述學校的教務(wù)系統(tǒng)：學生（）
第二范式：如果關(guān)系R屬于1NF且每一個非主屬性完全函數(shù)依賴于任何一個候選碼璃俗，則R屬于2NF。通俗地說2NF就是在1NF的基礎(chǔ)上表中的每一個非主屬性不會依賴復合主鍵中的某一個列悉默。
第三范式：在滿足1NF的基礎(chǔ)上城豁，表中不存在非主屬性對碼的依賴傳遞。
BC范式BCNF是指在第三范式的基礎(chǔ)上進一步消除主屬性對于碼的部分函數(shù)依賴和傳遞依賴麦牺，通俗的來說就是在每一種情況下钮蛛，每一個依賴的左邊決定因素必然包含候選鍵。

模式分解

范式之間的轉(zhuǎn)換一般都是通過拆分屬性即模式分解剖膳，將具有部分函數(shù)依賴和傳遞依賴的屬性分離出來魏颓，來達到進一步步優(yōu)化，一般分為以下兩種：
保持函數(shù)依賴分解：對于關(guān)系模型R吱晒，有依賴F甸饱，若對R進行分解，分解出來的多個關(guān)系模式，保持原來的依賴集不變叹话，則為保持函數(shù)依賴的分解偷遗。另外注意要消除掉冗余依賴。

并發(fā)控制

事務(wù)：由一系列組成驼壶，這些操作要么全做氏豌，要不么全不做，擁有如下四種特性：
原子性（操作）：要么全做要么全不做热凹。
一致性（數(shù)據(jù)）：事務(wù)發(fā)生后數(shù)據(jù)是一致的泵喘，例如銀行轉(zhuǎn)賬，不會存在A賬戶轉(zhuǎn)出般妙，但是B賬戶沒有收到的情況纪铺。
隔離性（執(zhí)行）：任一事務(wù)的更新操作直到其成功提交的整個過程對其他事務(wù)都是不可見的，不同事務(wù)之間是隔離的碟渺，互不干涉鲜锚。
持續(xù)性（改變）：事務(wù)操作的結(jié)果是持續(xù)性的。
事務(wù)是并發(fā)控制的前提條件苫拍，并發(fā)控制就是控制不同的事務(wù)并發(fā)執(zhí)行芜繁，提高系統(tǒng)效率，但是并發(fā)控制中存在下面三個問題：
1怯疤、丟失更新：事務(wù)1對數(shù)據(jù)A進行了修改并寫回浆洗，事務(wù)2也對A進行修改并寫回催束，此時事務(wù)2寫回的數(shù)據(jù)就會覆蓋事務(wù)1寫回的數(shù)據(jù)集峦，就丟失了事務(wù)1對A的更新。即數(shù)據(jù)A的更新會被覆蓋抠刺。
2塔淤、不可重復讀：事務(wù)2讀A，而后事務(wù)1對輸數(shù)據(jù)A進行了修改并寫回速妖，此時若事務(wù)2在讀數(shù)據(jù)A高蜂，發(fā)現(xiàn)數(shù)據(jù)不對。即一個事務(wù)重復讀A兩次罕容，會發(fā)現(xiàn)數(shù)據(jù)A有誤备恤。
3、讀臟數(shù)據(jù)：事務(wù)1對數(shù)據(jù)A進行了修改后锦秒，事務(wù)2讀數(shù)據(jù)A露泊，而后事務(wù)1回滾，數(shù)據(jù)A恢復了原來的值旅择，那么事務(wù)2對數(shù)據(jù)A做的事是無效的惭笑，讀到了臟數(shù)據(jù)。

封鎖協(xié)議

X鎖是排它鎖（寫鎖）。若事務(wù)T對數(shù)據(jù)對象A加上X鎖沉噩，則只允許T讀取和修改A捺宗，其他事務(wù)都不能在對A加任何類型的鎖，直到T釋放A上的鎖川蒙。
S鎖是共享鎖（讀鎖）蚜厉。若事務(wù)T對數(shù)據(jù)對象A加上S鎖，則只允許T讀取A畜眨，但不能修改A弯囊，其他事務(wù)只能對A加S鎖（也技能讀不能修改），直到T釋放A上的S鎖胶果。
共分為三級封鎖協(xié)議如下：
一級封鎖協(xié)議：事務(wù)在修改數(shù)據(jù)R之前必須先對其加X鎖匾嘱，直到事務(wù)結(jié)束才釋放≡缈伲可解決丟失更新問題霎烙。
二級封鎖協(xié)議：一級封鎖協(xié)議的基礎(chǔ)上加上事務(wù)T在讀數(shù)據(jù)R之前必須先對其加S鎖，讀完后即可釋放S鎖蕊连⌒可解決丟失更新，讀臟數(shù)據(jù)問題甘苍。
三級封鎖協(xié)議：一級封鎖協(xié)議加上事務(wù)T在讀取數(shù)據(jù)R之前先對其加S鎖尝蠕，直到事務(wù)結(jié)束后釋放≡赝ィ可解決丟失更新看彼、讀臟數(shù)據(jù)、數(shù)據(jù)重復讀問題囚聚。

數(shù)據(jù)庫新技術(shù)

數(shù)據(jù)庫安全

靜態(tài)轉(zhuǎn)儲：即冷備份，指在轉(zhuǎn)儲期間不允許對數(shù)據(jù)庫進行任何存取拧簸、修改操作劲绪；優(yōu)點是非常快速的備份方法、容易歸檔（直接物理復制操作）贾富；
缺點是只能提供到某一時間點上的恢復歉眷，不能做其他工作，不能按表或用戶恢復颤枪。
動態(tài)轉(zhuǎn)儲：即熱備份汗捡，在轉(zhuǎn)儲期間允許對數(shù)據(jù)庫進行存取、修改操作畏纲，因此轉(zhuǎn)儲和用戶事務(wù)可并發(fā)執(zhí)行扇住；缺點是不能出錯，否則后果嚴重盗胀，若熱備份不成功艘蹋，所得結(jié)果幾全部無效。
完全備份：備份所有數(shù)據(jù)票灰。
差量備份：僅備份上一次完全備份之后變化的數(shù)據(jù)女阀。
增量備份：備份上一次備份之后變化的數(shù)據(jù)。
日志文件：在事務(wù)處理過程中屑迂，DBMS把事務(wù)開始浸策、事務(wù)結(jié)束以及對數(shù)據(jù)庫的插入、刪除和修改的每一次操作寫入日志文件惹盼。一旦發(fā)生故障庸汗，DBMS的恢復子系統(tǒng)利用日志文件撤銷事務(wù)對數(shù)據(jù)庫的改變，回退到事務(wù)的初始狀態(tài)手报。

分布式數(shù)據(jù)庫

局部數(shù)據(jù)庫位于不同的物理位置蚯舱，使用一個全局DBMS將所有局部數(shù)據(jù)庫聯(lián)網(wǎng)管理，這就是分布式數(shù)據(jù)庫昧诱。
分片模式
水平分片：將表中水平的記錄分別存放在不同的地方晓淀。
垂直分片：將表中垂直的列值分別存放在不同的地方。
分部透明性
分片透明性：用戶或應(yīng)用程序不需要知道邏輯上訪問的表具體是如何分塊存儲的盏档。
位置透明性：應(yīng)用程序不關(guān)心數(shù)據(jù)存儲物理位置的改變。
邏輯透明性：用戶或應(yīng)用程序無需知道局部使用的是哪種數(shù)據(jù)模型燥爷。
復制透明性：用戶或應(yīng)用程序不關(guān)心復制的數(shù)據(jù)從何而來蜈亩。

數(shù)據(jù)倉庫

數(shù)據(jù)倉庫是一個面向主題的、集成的前翎、非易失的稚配，且隨時間變化的數(shù)據(jù)集合，用于支持管理決策港华。
面向主題:按照一定的主題域進行組織的道川。
集成的:數(shù)據(jù)倉庫中的數(shù)據(jù)是在對原有分散的數(shù)據(jù)庫數(shù)據(jù)抽取、清理的基礎(chǔ)上經(jīng)過系統(tǒng)加工、匯總和整理得到的冒萄，必須消除源數(shù)據(jù)中的不一致性臊岸，以保證數(shù)據(jù)倉庫內(nèi)的信息是關(guān)于整個企業(yè)的一致的全局信息。
相對穩(wěn)定的:數(shù)據(jù)倉庫的數(shù)據(jù)主要供企業(yè)決策分析之用尊流，所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢帅戒，一旦某個數(shù)據(jù)進入數(shù)據(jù)倉庫以后，一般情況下將被長期保留崖技，也就是數(shù)據(jù)倉庫中一般有大量的查詢操作逻住，但修改和刪除操作很少，通常只需要定期的加載迎献、劇新淳地。
原映歷史變化:數(shù)據(jù)倉庫中的數(shù)據(jù)通常包含歷史信息，系統(tǒng)記錄了企業(yè)從過去某一時點(如開始應(yīng)用數(shù)據(jù)倉庫的時點)到目前的各個階段的信息艺沼，通過這些信息吞歼，可以對企業(yè)的發(fā)展歷程和未來趨勢做出定量分析和預(yù)測。
數(shù)據(jù)倉庫的結(jié)構(gòu)通常包含四個層次：
1践盼、數(shù)據(jù)源：是數(shù)據(jù)倉庫系統(tǒng)的基礎(chǔ)鸦采，是整個系統(tǒng)的數(shù)據(jù)源泉。
2咕幻、數(shù)據(jù)的存儲和管理：是整個數(shù)據(jù)倉庫系統(tǒng)的核心渔伯。
3、OLAP（聯(lián)機分析處理）服務(wù)器：對分析需要的數(shù)據(jù)進行有效集成肄程，按多維模型組織锣吼，以便進行多角度、多層次的分析蓝厌、并發(fā)趨勢玄叠。
4、前端工具：主要包括各種報表工具拓提、查詢工具读恃、數(shù)據(jù)分析工具、數(shù)據(jù)挖掘工具以及各種基于數(shù)據(jù)倉庫或數(shù)據(jù)集市的應(yīng)用開發(fā)工具代态。
B1系統(tǒng)主要包括數(shù)據(jù)預(yù)處理寺惫、建立數(shù)據(jù)倉庫、數(shù)據(jù)分析和數(shù)據(jù)展現(xiàn)四個主要階段蹦疑。
1西雀、數(shù)據(jù)預(yù)處理是整合企業(yè)原始數(shù)據(jù)的第一步，它包括數(shù)據(jù)的抽取(Extraction)歉摧、轉(zhuǎn)換(Transformation)和加載(Load)三個過程(ETL過程);
2艇肴、建立數(shù)據(jù)倉庫則是處理海量數(shù)據(jù)的基礎(chǔ);
3腔呜、數(shù)據(jù)分析是體現(xiàn)系統(tǒng)智能的關(guān)鍵，一般采用聯(lián)機分析處理(OLAP)和數(shù)據(jù)挖掘兩大技術(shù)再悼，聯(lián)機分析處理不僅進行數(shù)據(jù)匯總/聚集核畴，同時還提供切片、切塊帮哈、下鉆膛檀、上卷和旋轉(zhuǎn)等數(shù)據(jù)分析功能，用戶可以方便地對海量數(shù)據(jù)進行多維分析娘侍。數(shù)據(jù)挖掘的目標則是挖掘數(shù)據(jù)背后隱藏的知識咖刃，通過關(guān)聯(lián)分析、聚類和分類等方法建立分析模型憾筏，預(yù)測企業(yè)未來發(fā)展趨勢和將要面臨的問題;
4嚎杨、在海量數(shù)據(jù)和分析手段增多的情況下，數(shù)據(jù)展現(xiàn)則主要保障系統(tǒng)分析結(jié)果的可視化氧腰。

反規(guī)范化技術(shù)

◆反規(guī)范化技術(shù):規(guī)范化設(shè)計后枫浙，數(shù)據(jù)庫設(shè)計者希望犧牲部分規(guī)范化來提高性能。
◆采用反規(guī)范化技術(shù)的益處:降低連接操作的需求古拴，降低外碼和索引的數(shù)目箩帚，還可能減少表的數(shù)目，能夠提高查詢效率黄痪。
可能帶來的問題:數(shù)據(jù)的重復存儲紧帕，浪費了磁盤空間;可能出現(xiàn)數(shù)據(jù)的完整性問題，為了保障數(shù)據(jù) 的一致性桅打，增加了數(shù)據(jù)維護的復雜性是嗜，會降低修改速度。
◆具體方法:
(1)增加冗余列:在多個表中保留相同的列挺尾，通過增加數(shù)據(jù)冗余減少或避免查詢時的連接操作鹅搪。
(2)增加派生列:在表中增加可以由本表或其它表中數(shù)據(jù)計算生成的列，減少查詢時的連接操作并避免計算或使用集合函數(shù)遭铺。
(3)重新組表:如果許多用戶需要查看兩個表連接出來的結(jié)果數(shù)據(jù)丽柿，則把這兩個表重新組成一個表來減少連接而提高性能。
(4)水平分割表:根據(jù)一列或多列數(shù)據(jù)的值掂僵，把數(shù)據(jù)放到多個獨立的表中航厚，主要用于表數(shù)據(jù)規(guī)模很大、表中數(shù)據(jù)相對獨立或數(shù)據(jù)需要存放到多個介質(zhì)上時使用锰蓬。
(5)垂直分割表:對表進行分割，將主鍵與部分列放到一個表中眯漩，主鍵與其它列放到另一個表中，在查詢時減少1/0次數(shù)辅肾。

大數(shù)據(jù)

特點：大量化、多樣化新娜、價值密度低、快速化

SQL語言