AWS 數(shù)據(jù)庫(kù)

數(shù)據(jù)庫(kù)概念

關(guān)系型數(shù)據(jù)庫(kù)

  • 關(guān)系數(shù)據(jù)庫(kù)提供了一個(gè)通用接口杉女,使用戶可以使用使用 編寫(xiě)的命令或查詢從數(shù)據(jù)庫(kù)讀取和寫(xiě)入數(shù)據(jù)贰剥。
  • 關(guān)系數(shù)據(jù)庫(kù)由一個(gè)或多個(gè)表格組成倾剿,表格由與電子表格相似的列和行組成。
    • 以行列形式存儲(chǔ)數(shù)據(jù)蚌成,行包含一個(gè)條目的所有信息前痘,列是分離不同數(shù)據(jù)點(diǎn)的屬性
    • 架構(gòu)固定,輸入數(shù)據(jù)前要先鎖定列
    • 查詢方式是SQL語(yǔ)句
    • 支持垂直擴(kuò)展屬性
    • 每一張表都有主鍵担忧, 通過(guò)引用記錄的主鍵芹缔,表中的一條記錄可以與另一個(gè)表中的記錄相關(guān)。這個(gè)指針或引用被稱為外鍵瓶盛。
  • 關(guān)系數(shù)據(jù)庫(kù)可以分為聯(lián)機(jī)事務(wù)處理OLTP 和 聯(lián)機(jī)分析處理OLAP最欠,具體取決于表的組織方式以及應(yīng)用程序如何使用關(guān)系數(shù)據(jù)庫(kù)。
    • OLTP - 經(jīng)常編寫(xiě)和更改數(shù)據(jù)(例如數(shù)據(jù)輸入和 電子商務(wù))的面向事務(wù)的應(yīng)用程序惩猫,OLTP事務(wù)頻繁發(fā)生但相對(duì)簡(jiǎn)單
    • OLAP - 應(yīng)用于數(shù)據(jù)倉(cāng)庫(kù)的領(lǐng)域芝硬,指的是報(bào)告或分析大型數(shù)據(jù)集。OLAP事務(wù) 的發(fā)生頻率要低得多轧房,但要復(fù)雜得多
    • 大型應(yīng)用程序經(jīng)嘲枰酰混合使用OLTP和OLAP數(shù)據(jù)庫(kù)。一個(gè)數(shù)據(jù)庫(kù)作為其OLTP事務(wù)的主生產(chǎn) 數(shù)據(jù)庫(kù)奶镶,另一個(gè)數(shù)據(jù)庫(kù)作為他們的數(shù)據(jù)倉(cāng)庫(kù)為OLAP迟赃。
  • 數(shù)據(jù)庫(kù)包括: MySQL,PostgreSQL实辑,Microsoft SQL Server和Oracle
  • SQL 數(shù)據(jù)庫(kù)的默認(rèn)端口
    • Oracle: 1521
    • MS SQL : 1433
    • MySQL : 3306
    • DB2: 5000

數(shù)據(jù)倉(cāng)庫(kù)

  • 數(shù)據(jù)倉(cāng)庫(kù)為可以來(lái)自一個(gè)或多個(gè)源的數(shù)據(jù)的中央儲(chǔ)存庫(kù)捺氢。
  • 此數(shù)據(jù)存儲(chǔ)庫(kù)通常是專用類型的關(guān)系數(shù)據(jù)庫(kù),可用于通過(guò)OLAP進(jìn)行報(bào)告和分析剪撬,組織通常使用數(shù)據(jù)倉(cāng)庫(kù)來(lái)編譯報(bào)告并使用高度復(fù)雜 的查詢搜索數(shù)據(jù)庫(kù)摄乒。

NoSQL數(shù)據(jù)庫(kù)

  • 相比關(guān)系型數(shù)據(jù)庫(kù),NoSQL更加簡(jiǎn)單易用残黑,更加靈活馍佑,

  • 傳統(tǒng)數(shù)據(jù)庫(kù)在單臺(tái)服務(wù)器外擴(kuò)展成本極高,而NoSQL可以在商用硬件上實(shí)現(xiàn)水平伸縮性

  • 使用眾多模型(如鍵值對(duì)梨水、文檔和圖表)中的一種來(lái)存儲(chǔ)數(shù)據(jù)

  • 數(shù)據(jù)結(jié)構(gòu)

    • 集合 Collection : 相當(dāng)于表
    • 文檔 Document: 相當(dāng)于行
    • 鍵值 Key Value Pairs: 相當(dāng)于列
  • 動(dòng)態(tài)的架構(gòu)拭荤,行無(wú)需包含與每個(gè)列對(duì)應(yīng)的數(shù)據(jù)

  • 查詢更關(guān)注文檔集合

  • 支持水平擴(kuò)展屬性

  • NoSQL的其他特性

    • 對(duì)于某些應(yīng)用程序可以替代關(guān)系型數(shù)據(jù)庫(kù)
    • 支持以高可用性處理大量數(shù)據(jù)
    • 可以形成一個(gè)包含不同實(shí)施方案和數(shù)據(jù)模型的大類別
    • 具備分布式容錯(cuò)的能力
    • NoSQL 可以提高靈活性、可用性疫诽、擴(kuò)展性和高性能
  • 主要的NoSQL數(shù)據(jù)庫(kù)包括

    • EC2: Cassandra舅世、Hbase旦委、Redis、MongoDB雏亚、Couchbase缨硝、Riak
    • AWS托管:DynamoDB、ElastiCache(Redis)罢低、Elastic Map Reduce(HBase)
  • NoSQL 數(shù)據(jù)庫(kù)常用端口

    • MongoDB:27017
    • Redis:6379
    • Memcached:11211
  • 采用NoSQL主要考慮幾個(gè)限制

    • 應(yīng)用程序的事務(wù)支持
    • ACID合規(guī)(ACID=原子性查辩、一致性、隔離性和持久性)
    • 聯(lián)接需求
    • SQL需求
  • 常見(jiàn)場(chǎng)景:

    • 排行榜网持、快速導(dǎo)入點(diǎn)擊流或日志數(shù)據(jù)宜岛、購(gòu)物車(chē)臨時(shí)數(shù)據(jù)需求、熱表功舀、元數(shù)據(jù)或查找表萍倡、會(huì)話數(shù)據(jù)

數(shù)據(jù)庫(kù)選擇

  • 將非關(guān)系型數(shù)據(jù)放在NoSQL中(如DynamoDB)
  • 將技術(shù)與工作負(fù)載匹配,從各種關(guān)系型數(shù)據(jù)庫(kù)辟汰, NoSQL數(shù)據(jù)庫(kù)遣铝,數(shù)據(jù)倉(cāng)庫(kù)和其他針對(duì)搜索優(yōu)化的數(shù)據(jù)存儲(chǔ)中選擇。
  • 數(shù)據(jù)庫(kù)選擇要考慮的事項(xiàng):
    • 讀取和寫(xiě)入要求
    • 總存儲(chǔ)容量
    • 典型對(duì)象大小及其訪問(wèn)特性
    • 持久性需求
    • 延遲要求
    • 同時(shí)支持的最大用戶量
    • 查詢特性
    • 所需完整性控制強(qiáng)度

Amazon RDS存儲(chǔ)關(guān)系型數(shù)據(jù)

RDS綜述

  • RDS是一個(gè)全托管的數(shù)據(jù)庫(kù)


    image.png
  • 開(kāi)發(fā)人員可以專注于查詢結(jié)構(gòu)和查詢優(yōu)化
  • 減輕運(yùn)維負(fù)擔(dān)包括數(shù)據(jù)庫(kù)遷移莉擒、備份和恢復(fù)、修補(bǔ)瘫絮、軟件升級(jí)涨冀、存儲(chǔ)升級(jí)、頻繁服務(wù)器升級(jí)麦萤、硬件故障處理
  • RDS可以通過(guò)公用的客戶端軟件連接并執(zhí)行SQL操作鹿鳖,包括使用相同的工具來(lái)查詢,分析壮莹,修改和管理數(shù)據(jù)庫(kù)翅帜。例如,當(dāng)前的提取命满,轉(zhuǎn)換涝滴, 加載(ETL)工具和報(bào)告工具

RDS 數(shù)據(jù)庫(kù)實(shí)例

  • 數(shù)據(jù)庫(kù)實(shí)例是云上專用網(wǎng)段中部署的隔離的數(shù)據(jù)庫(kù)環(huán)境
  • 每個(gè)實(shí)例運(yùn)行了一個(gè)商業(yè)或者開(kāi)源的數(shù)據(jù)庫(kù)引擎,包括MySQL胶台,PostgreSQL歼疮,MS SQL,Oracle诈唬,MariaDB以及AWS Aurora 六種韩脏。
  • 可以通過(guò)API創(chuàng)建和管理RDS實(shí)例
  • 可以利用AWS工具或者數(shù)據(jù)庫(kù)引擎本身的工具將數(shù)據(jù)從本地遷移到AWS上
  • 每個(gè)用戶默認(rèn)最多托管40個(gè)RDS數(shù)據(jù)庫(kù)
  • 每個(gè)實(shí)例上只能運(yùn)行1個(gè)Oracle和30個(gè)MS SQL數(shù)據(jù)庫(kù),其余沒(méi)有限制
  • RDS支持預(yù)留實(shí)例铸磅,且只支持區(qū)域預(yù)留赡矢,可用于多可用區(qū)部署和只讀副本
  • 使用Parameter Group 對(duì)數(shù)據(jù)庫(kù)參數(shù)進(jìn)行設(shè)置

存儲(chǔ)選項(xiàng)

  • RDS構(gòu)建在EBS上
  • 通過(guò)預(yù)配置支持最大16TB (MSSQL) - 32TB杭朱,32000 IOPS - 40000 IOPS
  • 支持HDD,通用SSD和預(yù)配置IOPS SSD 三種類型

備份與恢復(fù)

  • 自動(dòng)備份
    • 備份存儲(chǔ)在S3中
    • RDS備份整個(gè)數(shù)據(jù)庫(kù)實(shí)例弧械,為它創(chuàng)建存儲(chǔ)卷快照
    • 自動(dòng)備份建期間IO會(huì)掛起3-5秒鐘,但對(duì)高可用部署的數(shù)據(jù)庫(kù)不受影響
    • 自動(dòng)備份默認(rèn)開(kāi)啟且保留1天(API或CLI創(chuàng)建)或者7天(控制臺(tái)創(chuàng)建)送浊,最大可保留35天唁桩,自動(dòng)刪除
    • 自動(dòng)備份支持時(shí)間點(diǎn)恢復(fù)功能,最小間隔為5分鐘
    • 刪除實(shí)例時(shí)所有自動(dòng)備份都會(huì)被刪除
    • 可以禁用自動(dòng)備份,但是非常不建議米奸。 禁用自動(dòng)備份后逐工,即使再重新啟用棕硫,被禁用的期間將不可恢復(fù)。
  • 手動(dòng)數(shù)據(jù)庫(kù)快照
    • 快照存儲(chǔ)在S3中
    • 隨時(shí)手工對(duì)數(shù)據(jù)庫(kù)進(jìn)行快照
    • 默認(rèn)永久保留除非手工明確刪除
    • 使用多可用區(qū)部署可以最小化快照的影響,因?yàn)榭煺湛梢詮膫溆脭?shù)據(jù)庫(kù)發(fā)起签则,只是RPO會(huì)有一定影響
  • 恢復(fù)
    • 所有RDS數(shù)據(jù)庫(kù)恢復(fù)都會(huì)創(chuàng)建一個(gè)全新的數(shù)據(jù)庫(kù)實(shí)例
    • 還原時(shí)只會(huì)關(guān)聯(lián)默認(rèn)的數(shù)據(jù)庫(kù)參數(shù)和安全組參數(shù)被關(guān)聯(lián)膝捞,需要重新手工設(shè)置
    • 不支持將VPC內(nèi)的數(shù)據(jù)恢復(fù)到VPC外部

多可用區(qū)的高可用

  • 高可用是傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)部署的難點(diǎn)
  • 利用RDS可以輕松實(shí)現(xiàn)林艘,實(shí)現(xiàn)最短幾分鐘的RPO和RTO要求
  • 開(kāi)啟多可用區(qū)部署后逛万,自動(dòng)在不同可用區(qū)創(chuàng)建備用RDS實(shí)例忙上,并利用數(shù)據(jù)庫(kù)實(shí)例URL endpoint來(lái)實(shí)現(xiàn)DNS尋址
  • RDS 數(shù)據(jù)會(huì)同步復(fù)制到從數(shù)據(jù)庫(kù),復(fù)制本身產(chǎn)生的數(shù)據(jù)傳輸不收費(fèi)
  • 支持故障自動(dòng)切換和手動(dòng)轉(zhuǎn)移岁诉,轉(zhuǎn)移時(shí)間為1-2分鐘
  • 跨可用區(qū)部署后由于數(shù)據(jù)同步復(fù)制足陨,會(huì)有一定的性能影響讯蒲,備份是也會(huì)有更長(zhǎng)的延遲
  • 從數(shù)據(jù)庫(kù)不能用作只讀副本提升IO


    image.png

規(guī)模擴(kuò)大或縮小

  • RDS支持垂直擴(kuò)展
  • 數(shù)據(jù)庫(kù)實(shí)例的資源大小可以隨需求決定,支持1-32 vCPU肄扎,1-244GB Memory墨林,用戶可以更改實(shí)例大小,RDS會(huì)自動(dòng)完成數(shù)據(jù)遷移
  • RDS采用數(shù)據(jù)庫(kù)參數(shù)和數(shù)據(jù)庫(kù)選項(xiàng)對(duì)數(shù)據(jù)庫(kù)實(shí)例進(jìn)行配置犯祠,每次更改都需要重啟實(shí)例
  • SQL Server不支持存儲(chǔ)擴(kuò)展
  • 可以通過(guò)數(shù)據(jù)庫(kù)分片技術(shù)實(shí)現(xiàn)有限度的水平擴(kuò)展
  • RDS 支持實(shí)時(shí)配置更多的存儲(chǔ)而無(wú)需停機(jī)
  • RDS IOPS(除SQL Server)還可以擴(kuò)展數(shù)據(jù)庫(kù)實(shí)例的吞吐量旭等,1000 到 30000 IOPS分別對(duì)應(yīng)100GB 到 6TB的存儲(chǔ)空間
  • 可以在RDS前端的EC2選擇放置Redis 緩存服務(wù),EC2 首選自我管理型緩存解決方案


    image.png

只讀副本擴(kuò)展

  • RDS允許從主數(shù)據(jù)庫(kù)創(chuàng)建一個(gè)或多個(gè)只讀副本來(lái)分流讀取事務(wù)
    • 讀取繁重的任務(wù)
    • 當(dāng)主數(shù)據(jù)庫(kù)不可用時(shí)處理讀取操作
    • 離線數(shù)據(jù)分析場(chǎng)景
  • MySQL衡载、PostgreSQL辆雾、MariaDB和Aurora支持只讀副本
  • 要使用只讀副本,需要先開(kāi)啟自動(dòng)備份功能
  • 只讀副本是異步的
  • 可以為只讀副本創(chuàng)建只讀副本月劈,每個(gè)數(shù)據(jù)庫(kù)最多創(chuàng)建5個(gè)只讀副本,Aurora最多15個(gè)
  • 可以在多可用區(qū)部署只讀副本藤乙,每個(gè)只讀副本都有自己的URL Endpoint
  • 只讀副本可以被提升為獨(dú)立的數(shù)據(jù)庫(kù)猜揪,但是不能用來(lái)做災(zāi)備

RDS安全性

  • IAM權(quán)限管理
    • 采用IAM用戶來(lái)對(duì)數(shù)據(jù)庫(kù)進(jìn)行操作
    • AMI可以控制每一個(gè)單獨(dú)的用戶對(duì)RDS操作的權(quán)限
    • RDS初次創(chuàng)建時(shí)會(huì)基于AWS開(kāi)發(fā)人員賬戶創(chuàng)建一個(gè)有主用賬戶并成為數(shù)據(jù)庫(kù)根管理員權(quán)限,他可以單獨(dú)分配給不同數(shù)據(jù)庫(kù)實(shí)例的主用戶名和密碼
    • 可以使用主用戶憑證連接數(shù)據(jù)庫(kù)
    • 接收RDS重要事件通知
  • 網(wǎng)絡(luò)隔離
    • RDS實(shí)例需要?jiǎng)?chuàng)建在VPC的私有子網(wǎng)中
    • 可以使用IPSec VPN網(wǎng)關(guān)將RDS連接到現(xiàn)有的企業(yè)內(nèi)部的IT基礎(chǔ)架構(gòu)中
    • 在多可用區(qū)部署時(shí)坛梁,可以創(chuàng)建全局子網(wǎng)組而姐,這樣在創(chuàng)建RDS時(shí)只需要制定可用區(qū)即可從全局子網(wǎng)組中分配響應(yīng)的子網(wǎng)和IP地址
    • 所有從VPC外部的EC2或者Internet對(duì)RDS的訪問(wèn),都必須經(jīng)過(guò)VPN或堡壘機(jī)實(shí)現(xiàn)划咐,并且堡壘機(jī)需要充當(dāng)SSH Bastion的角色
  • 自動(dòng)補(bǔ)丁
    • RDS軟件始終與最新的補(bǔ)丁保持同步
    • 默認(rèn)首周需要30分鐘進(jìn)行維護(hù)
    • 建議每一周需要計(jì)劃30分鐘的維護(hù)時(shí)間以完成補(bǔ)丁操作
    • 一般僅有規(guī)模計(jì)算相關(guān)的補(bǔ)丁需要脫機(jī)執(zhí)行拴念,通常每幾個(gè)月發(fā)生一次
  • RDS增強(qiáng)型監(jiān)控
    • 增強(qiáng)型監(jiān)控能夠捕獲 RDS 實(shí)例的系統(tǒng)級(jí)指標(biāo)钧萍,如 CPU、內(nèi)存政鼠、文件系統(tǒng)和磁盤(pán) I/O 等
    • 最多可以查看所有指標(biāo)在 1 個(gè)小時(shí)之前的性能值风瘦,粒度最高為 1 秒
    • RDS 增強(qiáng)型監(jiān)控提供了一系列將以 JSON 有效負(fù)載形式發(fā)送到您的 CloudWatch Logs 賬戶的指標(biāo)。JSON 有效負(fù)載會(huì)按照上次為 RDS 實(shí)例配置的粒度進(jìn)行發(fā)送公般。
    • 增強(qiáng)型監(jiān)控在 CloudWatch Logs 中配置的默認(rèn)保留期是 30 天万搔。
  • RDS采用四層安全模型
    • RDS安全組
      • 用于控制傳入和傳出數(shù)據(jù)庫(kù)實(shí)例的流量,默認(rèn)情況下不能進(jìn)行網(wǎng)絡(luò)訪問(wèn)官帘,但可以通過(guò)ACL設(shè)置允許特定IP端口進(jìn)行訪問(wèn)瞬雹。
    • 數(shù)據(jù)庫(kù)安全組
      • 控制對(duì)VPC外部數(shù)據(jù)庫(kù)實(shí)例的訪問(wèn)
      • 默認(rèn)情況下RDS必須在VPC內(nèi)才能啟動(dòng),但是仍然存在VPC外部托管RDS的情況
      • 數(shù)據(jù)庫(kù)安全組僅適用于入站流量刽虹,目前不允許數(shù)據(jù)庫(kù)安全組有出站流量酗捌。
      • 可以使用RDS API 或 AWS 控制臺(tái)的 RDS部分創(chuàng)建數(shù)據(jù)庫(kù)安全組
      • 安全組來(lái)控制對(duì)RDS的數(shù)據(jù)庫(kù)實(shí)例訪問(wèn), 類似于EC2安全組涌哲,但不可以互換
      • 默認(rèn)拒絕所有訪問(wèn)胖缤,所有允許權(quán)限都需要顯式聲明
      • 可以授權(quán)IP或安全組訪問(wèn)
      • 僅允許訪問(wèn)數(shù)據(jù)庫(kù)服務(wù)器端口
      • 數(shù)據(jù)庫(kù)安全組無(wú)需指定目標(biāo)端口,默認(rèn)由實(shí)例自動(dòng)定義
      • 可以在不重啟數(shù)據(jù)庫(kù)實(shí)例的情況下對(duì)安全組策略進(jìn)行更新
      • image.png
    • VPC安全組 - 控制對(duì)VPC內(nèi)數(shù)據(jù)實(shí)例的訪問(wèn)
      • 允許一個(gè)特定的來(lái)源(組)訪問(wèn)VPC中與該VPC安全組關(guān)聯(lián)的數(shù)據(jù)庫(kù)實(shí)例, 可以是地址范圍也可以是VPC安全組
      • 必須使用EC2 API或VPC控制臺(tái)的Security Group選項(xiàng)才能創(chuàng)建VPC安全組
      • image.png
    • EC2安全組
      • 控制對(duì)EC2實(shí)例的訪問(wèn)
  • RDS 數(shù)據(jù)加密
    • RDS加密適用于所有數(shù)據(jù)庫(kù)膛虫,除了 MS SQL Express版
    • RDS 加密僅適用于部分實(shí)例類型
    • 可以對(duì)靜態(tài)RDS數(shù)據(jù)庫(kù)實(shí)例和快照進(jìn)行加密草姻,而后自動(dòng)備份、只讀副本和快照均通過(guò)AES-256加密
    • 使用SSL\TLS對(duì)應(yīng)用程序和數(shù)據(jù)庫(kù)實(shí)例之間連接進(jìn)行加密
    • 加密僅能在創(chuàng)建數(shù)據(jù)庫(kù)時(shí)指定稍刀,不能事后對(duì)其加密撩独,但是可以通過(guò)恢復(fù)數(shù)據(jù)庫(kù)快照時(shí)加密這個(gè)復(fù)制版本
    • 加密RDS連接
      • 預(yù)置RDS實(shí)例時(shí),會(huì)創(chuàng)建SSL證書(shū)并在數(shù)據(jù)庫(kù)實(shí)例上安裝該證書(shū)
      • 負(fù)責(zé)加密傳輸中的數(shù)據(jù)
      • 使用SSL/TLS加密應(yīng)用程序與數(shù)據(jù)庫(kù)實(shí)例之間的連接账月,但不應(yīng)依賴于數(shù)據(jù)庫(kù)本身的身份驗(yàn)證
      • 將數(shù)據(jù)庫(kù)實(shí)例配置為僅接受加密連接
    • 加密RDS資源
      • 啟用RDS數(shù)據(jù)庫(kù)實(shí)例加密選項(xiàng)综膀,可以加密靜態(tài)RDS實(shí)例和快照,自動(dòng)備份和只讀副本
      • 利用KMS管理RDS資源的密鑰
      • 采用AES-256加密算法進(jìn)行加密局齿,RDS以透明方式進(jìn)行訪問(wèn)驗(yàn)證和解密以降低性能影響
      • RDS將特定于Oracle 或 MySQL這些數(shù)據(jù)庫(kù)包加密數(shù)據(jù)剧劝,稱為透明數(shù)據(jù)加密(TDE),TDE使用在數(shù)據(jù)庫(kù)應(yīng)用程序中創(chuàng)建的密匙保護(hù)數(shù)據(jù)抓歼。

AWS Redshift

概念

  • 完全托管的PB級(jí)數(shù)據(jù)倉(cāng)庫(kù)服務(wù)
  • 基于SQL-based 設(shè)計(jì)的關(guān)系型數(shù)據(jù)庫(kù)
  • 基于行業(yè)標(biāo)準(zhǔn)的PostgreSQL讥此,因此大多數(shù)現(xiàn)有的SQL客戶端應(yīng)用程序只能進(jìn)行極少的更改。
  • 針對(duì)OLAP設(shè)計(jì)的高性能數(shù)據(jù)分析和報(bào)告
  • Redshift使您可以使用標(biāo)準(zhǔn)SQL命令快速查詢結(jié)構(gòu)化數(shù)據(jù)的功能谣妻,以支持在大型數(shù)據(jù)集上進(jìn) 行交互式查詢萄喳。
  • 使用柱狀存儲(chǔ),數(shù)據(jù)壓縮和區(qū)域映射等技術(shù)減少查詢所需的IO量蹋半。
  • 通過(guò)ODBC或JDBC連接與各種數(shù)據(jù)加載他巨,報(bào)告,數(shù)據(jù)挖掘和分 析工具集成。
  • Redshift負(fù)責(zé)管理設(shè)置染突,操作和擴(kuò)展數(shù)據(jù)倉(cāng)庫(kù)所需的工作捻爷,從設(shè)置基礎(chǔ)架構(gòu)容量到自動(dòng)執(zhí) 行備份和修補(bǔ)等持續(xù)管理任務(wù)。
  • Redshift會(huì)自動(dòng)監(jiān)控您的節(jié)點(diǎn)和驅(qū)動(dòng)器份企,以幫助從故障中恢復(fù)也榄。

集群

  • 集群由一個(gè)領(lǐng)導(dǎo)者節(jié)點(diǎn)和多個(gè)計(jì)算節(jié)點(diǎn)組成
  • 支持從160GB - 1PB甚至更大的
  • 最多支持128個(gè)計(jì)算節(jié)點(diǎn)
  • Redshift集群不能使用競(jìng)價(jià)實(shí)例
  • 僅能在一個(gè)可用區(qū)部署
  • 客戶端只與領(lǐng)導(dǎo)者節(jié)點(diǎn)交互,計(jì)算節(jié)點(diǎn)對(duì)外部是完全透明的
  • Redshift目前支持6種節(jié)點(diǎn)類型薪棒,分為兩大類
    • 密集計(jì)算型 - 最大支持SSD 326TB
    • 密集存儲(chǔ)型 - 最大支持HDD 2PB
  • 每個(gè)集群都包含一個(gè)或多個(gè)數(shù)據(jù)庫(kù)手蝎,并且分布在各個(gè)計(jì)算節(jié)點(diǎn)中,每個(gè)節(jié)點(diǎn)的數(shù)據(jù)庫(kù)數(shù)據(jù)都是同步的
  • 計(jì)算節(jié)點(diǎn)的磁盤(pán)存儲(chǔ)會(huì)分片俐芯,切片通常在2-16之間棵介,所有節(jié)點(diǎn)都會(huì)參與并行查詢。
  • 通常計(jì)算節(jié)點(diǎn)越多吧史,查詢性能越強(qiáng)
  • 可以隨時(shí)調(diào)整節(jié)點(diǎn)大小和類型邮辽,調(diào)整后都會(huì)創(chuàng)建一個(gè)新的集群并將數(shù)據(jù)遷移過(guò)去,調(diào)整期間數(shù)據(jù)庫(kù)只讀贸营。
  • image.png

表設(shè)計(jì)

  • 每個(gè)Redshift表都可以指定表名稱吨述、列及其數(shù)據(jù)類型等。
  • 數(shù)據(jù)類型:
    • 常見(jiàn)數(shù)據(jù)類型包括: INTEGER钞脂,DECIMAL和 DOUBLE揣云,文本數(shù)據(jù)類型(如CHAR和VARCHAR)以及日期數(shù)據(jù)類型(如DATE和TIMESTAMP)
  • 壓縮編碼
    • 首次將數(shù)據(jù)加載入新表時(shí),自動(dòng)對(duì)數(shù)據(jù)進(jìn)行采樣并且為每列選擇最佳壓縮方案
  • 分發(fā)策略
    • 創(chuàng)建表格時(shí)指定如何在集群的節(jié)點(diǎn)進(jìn)行切片進(jìn)行分發(fā)冰啃,以及使用哪種查詢模式
    • 分發(fā)風(fēng)格對(duì)查詢性能邓夕,存儲(chǔ)要求,數(shù)據(jù)加載和維護(hù)影響很大
      • EVEN 分發(fā): 默認(rèn)阎毅,對(duì)數(shù)據(jù)以統(tǒng)一方式進(jìn)行切片和分發(fā)
      • Key 分發(fā):基于某一列的值進(jìn)行分發(fā)焚刚,匹配的值會(huì)存儲(chǔ)在一起
      • All 分發(fā): 將整個(gè)表完整的分發(fā)到每個(gè)節(jié)點(diǎn)
  • 排序Key
    • 在創(chuàng)建表時(shí)指定一個(gè)或多個(gè)列作為排序key,這樣在處理一定范圍的查詢時(shí)可以跳過(guò)大量的塊
    • 表格的排序Key可以復(fù)合和交錯(cuò)扇调,查詢使用前綴可以讓復(fù)合排序的查詢更加高效

數(shù)據(jù)加載

  • 使用標(biāo)準(zhǔn)的SQL Intert/update進(jìn)行表的創(chuàng)建和修改記錄
  • 在Redshift中使用COPY命令是一個(gè)更高效的方式矿咕,如從S3或者DynamoDB中進(jìn)行批量數(shù)據(jù)加載
  • 大量數(shù)據(jù)加載完成后,建議使用VACUUM命令重新組織數(shù)據(jù)并用ANALYZE來(lái)統(tǒng)計(jì)更新表格統(tǒng)計(jì)信息
  • UPLOUD命令可以從Redshift中導(dǎo)出數(shù)據(jù)

查詢數(shù)據(jù)

  • 也是用標(biāo)準(zhǔn)的SQL Select命令進(jìn)行查詢
  • 對(duì)于多用戶的大型Redshift狼钮,可以使用WLM工作負(fù)載管理對(duì)查詢進(jìn)行排隊(duì)碳柱,WLM可以對(duì)每個(gè)隊(duì)列設(shè)置并發(fā)級(jí)別。
  • 使用Redshift Spectrum
    • 可以對(duì) Amazon S3 中 EB 級(jí)非結(jié)構(gòu)化數(shù)據(jù)運(yùn)行查詢熬芜,而無(wú)需進(jìn)行加載或 ETL 操作莲镣。
    • 當(dāng)您發(fā)布查詢時(shí),查詢會(huì)進(jìn)入 Amazon Redshift SQL 終端節(jié)點(diǎn)猛蔽,該終端節(jié)點(diǎn)會(huì)生成查詢方案并對(duì)其進(jìn)行優(yōu)化。
    • Amazon Redshift 會(huì)確定哪些數(shù)據(jù)存儲(chǔ)在本地以及哪些數(shù)據(jù)存儲(chǔ)在 Amazon S3 中,然后生成一種方案來(lái)盡可能減少需要讀取的 Amazon S3 數(shù)據(jù)量曼库,從共享資源池中請(qǐng)求 Redshift Spectrum 工作線程來(lái)讀取和處理 Amazon S3 中的數(shù)據(jù)区岗。
    • Redshift Spectrum 可根據(jù)需要擴(kuò)展到數(shù)千個(gè)實(shí)例

備份快照

  • 自動(dòng)快照到期后會(huì)自動(dòng)刪除,設(shè)置時(shí)間為1-35天
  • 支持跨區(qū)域快照毁枯,手工快照可跨區(qū)域甚至跨賬戶存儲(chǔ)慈缔,需要手工明確刪除
  • Redshift快照和備份數(shù)據(jù)存儲(chǔ)在S3中
  • 免費(fèi)的快照存儲(chǔ)空間與當(dāng)前節(jié)點(diǎn)容量相當(dāng),所以需要及時(shí)清除不需要的快照文件

安全

  • 安全級(jí)別
    • 基礎(chǔ)架構(gòu)級(jí)別安全种玛,使用IAM來(lái)限制用戶的可執(zhí)行操作及生命周期
    • 網(wǎng)絡(luò)級(jí)別安全藐鹤, 將Redshift部署到私有的VPC中(必須),并利用ACL和安全組限制細(xì)粒度網(wǎng)絡(luò)訪問(wèn)
    • 數(shù)據(jù)庫(kù)級(jí)別安全赂韵,可以通過(guò)Redshift的主用戶名和密碼創(chuàng)建更多的用戶并給他們相應(yīng)授權(quán)
  • 數(shù)據(jù)加密存儲(chǔ)
    • 數(shù)據(jù)加密是可選項(xiàng)娱节,利用硬件隨機(jī)生成的AES256密鑰對(duì)每個(gè)數(shù)據(jù)塊進(jìn)行加密,但加密影響性能
    • 多種靜態(tài)加密技術(shù)祭示,符合HIPAA和PCI DSS合規(guī)要求
      • KMS
      • HSM
  • Redshift Enhanced VPC Routing
    • 強(qiáng)制將所有的COPY和UNLOAD流量指定走AWS VPC 內(nèi)部
    • 若不開(kāi)啟肄满,則所有流量默認(rèn)走Internet,包括從AWS內(nèi)部讀取
  • 數(shù)據(jù)加密傳輸
    • 采用硬件加速的SSL連接與S3或者DynamoDB進(jìn)行通信
    • 可以在客戶端上安裝SSL證書(shū)pem公鑰文件實(shí)現(xiàn)對(duì)Redshift 服務(wù)器的連接和管理
    • 支持橢圓曲線HCDHE協(xié)議提供更強(qiáng)大的密碼套件確保SSL的私密性
    • 同時(shí)也可以啟用Perfect Forward Secrecy使用短暫會(huì)話密鑰防止密鑰泄露
  • 記錄所有的SQL操作信息用于監(jiān)控和審計(jì)质涛,包括連接嘗試稠歉、查詢和對(duì)數(shù)據(jù)庫(kù)的更改等操作
  • 在維護(hù)窗口中進(jìn)行自動(dòng)補(bǔ)丁更新

例外

  • 不適用于大規(guī)模對(duì)少數(shù)對(duì)象的讀寫(xiě)操作,這種場(chǎng)景需要考慮Aurora 或者RDS

DynamoDB

主要特性

  • 是NoSQL的的托管版本
    • 低延遲 - 基于SSD汇陆,延遲小于10ms
    • 大規(guī)模無(wú)縫可擴(kuò)展 - 無(wú)表大小和吞吐限制怒炸、可針對(duì)存儲(chǔ)和吞吐量進(jìn)行實(shí)時(shí)重新分區(qū)
    • 性能可預(yù)測(cè) - 預(yù)配置吞吐量模型
    • 持久性和可用性 - 自動(dòng)執(zhí)行區(qū)域內(nèi)三向復(fù)制,確保一致性毡代、僅限磁盤(pán)寫(xiě)入
    • 安全性- 成熟的加密方案對(duì)用戶身份進(jìn)行驗(yàn)證
    • 零管理- 完全托管的NoSQL服務(wù)
  • 同時(shí)連接和訪問(wèn)多個(gè)NoSQL存儲(chǔ)(如RDS阅羹、S3、MongoDB月趟、Hbase等)灯蝴,對(duì)組合數(shù)據(jù)集進(jìn)行復(fù)雜分析
  • 通過(guò)在多個(gè)分區(qū)上自動(dòng)分配表的數(shù)據(jù)和流量提供一致的性能級(jí)別,其性能是以讀寫(xiě)容量的吞吐量級(jí)衡量的
  • 根據(jù)實(shí)際需求可以隨時(shí)調(diào)整讀取和寫(xiě)入容量孝宗,DynamoDB會(huì)自動(dòng)添加或刪除基礎(chǔ)架構(gòu)或調(diào)整內(nèi)部分區(qū)穷躁,默認(rèn)最大支持20000個(gè)讀取和20000個(gè)寫(xiě)入容量
  • DynamoDB 按照存儲(chǔ)數(shù)據(jù)大小和讀寫(xiě)能力進(jìn)行收費(fèi)
  • 應(yīng)用場(chǎng)景
    • 支持與Amazon EMR集成
    • 支持即插即用的Hadoop分析
    • 支持儲(chǔ)存會(huì)話數(shù)據(jù)

數(shù)據(jù)模型

image.png
  • 沒(méi)有架構(gòu),一個(gè)表有多個(gè)項(xiàng)目因妇,項(xiàng)目具有可變屬性
  • 數(shù)據(jù)類型
    • 對(duì)每一個(gè)主鍵及其屬性都必須指定一個(gè)數(shù)據(jù)類型
      • Scalar數(shù)據(jù)類型 - 表示某一個(gè)值的類型问潭, 包括字符串、數(shù)值婚被、二進(jìn)制狡忙、布爾值、空
      • Set數(shù)據(jù)類型 - 表示某一個(gè)list的類型址芯,包括 字符串set灾茁,數(shù)值set和二進(jìn)制set
      • Document 數(shù)據(jù)類型- 表示多個(gè)嵌套的屬性窜觉,類似于JSON文件結(jié)構(gòu),包括List和Map兩種文檔類型
      • List - 用于儲(chǔ)存不同數(shù)據(jù)類型的屬性的有序列表
      • Map - 每個(gè)可用于Key/Value的無(wú)序列表北专,可以用來(lái)表示任何JSON對(duì)象結(jié)構(gòu)
  • 主鍵
    • 主鍵是每個(gè)項(xiàng)目的唯一標(biāo)識(shí)也是唯一強(qiáng)制屬性禀挫,DB通過(guò)它來(lái)進(jìn)行GET/PUT
    • 每個(gè)主鍵屬性必須是字符串、數(shù)字或二進(jìn)制拓颓。
    • 兩種類型的主鍵
      • 分區(qū)鍵 - 一個(gè)屬性一個(gè)分區(qū)哈希值組成语婴,用于構(gòu)建無(wú)序散列索引
      • 分區(qū)+排序鍵 - 兩個(gè)屬性組成,由分區(qū)和排序組合起來(lái)作為唯一標(biāo)識(shí)
  • DynamoDB 調(diào)用包頭類型
    • host
    • x-amz-date
    • x-amz-target
    • content-type
  • 預(yù)置容量
    • DynamoDB需要調(diào)配一定數(shù)量的讀寫(xiě)容量來(lái)處理預(yù)期工作負(fù)載
    • 選擇適宜的容量已持續(xù)的提供低延遲的響應(yīng)時(shí)間驶睦,可以通過(guò)Updatetable指令縮放砰左。
    • 讀操作每4K為一個(gè)單位容量,寫(xiě)操作每1K為一個(gè)單位容量场航。
      • 最終一致性 - 1個(gè)單位容量可以讀寫(xiě)兩次
      • 強(qiáng)一致性 - 1個(gè)單位容量可以讀寫(xiě)一次
      • 事務(wù)一致性 - 2個(gè)單位容量才能讀寫(xiě)一次
    • 可以CloudWatch 監(jiān)控DynamoDB容量并制定擴(kuò)展決策缠导。
  • 二級(jí)索引
    • 只有使用分區(qū)+排序主鍵時(shí),可以定義一個(gè)或多個(gè)二級(jí)索引
    • 支持全局二級(jí)索引和本地二級(jí)索引等靈活方法來(lái)查詢非主鍵值
      • 全局二級(jí)索引索引整個(gè)分區(qū)+排序鍵的值
      • 本地二級(jí)索引索引相同分區(qū)鍵但不同排序鍵的值
    • 主鍵分為單屬性分區(qū)或復(fù)合屬性分區(qū)
      • 單分區(qū)以UserID為唯一標(biāo)識(shí)
      • 復(fù)合分區(qū)以UserID(分區(qū)鍵)和TimeStamp(排序鍵)進(jìn)行組合標(biāo)識(shí)一對(duì)一關(guān)聯(lián)關(guān)系旗闽,支持交叉檢索功能
    • 當(dāng)數(shù)據(jù)集大小和預(yù)配置容量增加時(shí)會(huì)發(fā)生自動(dòng)分區(qū)
    • 只支持一個(gè)本地二級(jí)索引酬核,但可以創(chuàng)建多個(gè)全局二級(jí)索引
    • 項(xiàng)目大小不能超過(guò)400KB,必須包含屬性名稱和屬性值長(zhǎng)度兩個(gè)二進(jìn)制長(zhǎng)度


      image.png

DynamoDB屬性

  • 一致性
    • AWS同一區(qū)域內(nèi)的多個(gè)可用區(qū)之間自動(dòng)復(fù)制每個(gè)DynamoDB表
    • 讀取一致性:通過(guò)控制成功寫(xiě)入或更新的讀取操作的方式和時(shí)間适室,指定最終一致性或強(qiáng)一致性讀取嫡意,默認(rèn)是最終一致性讀取
    • 最終一次性讀取: 數(shù)據(jù)副本的一致性能夠需要1秒實(shí)現(xiàn)捣辆,僅驗(yàn)證數(shù)據(jù)一致而不會(huì)驗(yàn)證寫(xiě)入完成蔬螟,所以可能讀取的是舊數(shù)據(jù)
    • 強(qiáng)一致性讀取:讀取時(shí)驗(yàn)證寫(xiě)入成功完成汽畴,并且確保數(shù)據(jù)讀取的一致性旧巾,在網(wǎng)絡(luò)延遲或者中斷的情況下可能不可用。
  • 批量操作
    • 可以通過(guò)單個(gè)操作執(zhí)行最多25個(gè)項(xiàng)目的創(chuàng)建或更新
  • 項(xiàng)目搜索
    • 查詢 - 用于僅限主鍵屬性的查找和索引操作忍些,用排序鍵值可以優(yōu)化搜索結(jié)果鲁猩,結(jié)果會(huì)按主鍵排序,
    • 掃描- 會(huì)返回每個(gè)項(xiàng)目的所有屬性罢坝,返回限制1MB
    • 每個(gè)查詢或掃描結(jié)果返回最多1MB廓握,若超過(guò)則需要對(duì)增量結(jié)果進(jìn)行翻頁(yè)
  • 縮放和分區(qū)
    • DynamoDB可以無(wú)限數(shù)量的擴(kuò)展并且提供一致的低延遲性能
    • 通過(guò)分區(qū)來(lái)進(jìn)行水平擴(kuò)展
    • 好的程序設(shè)計(jì)需要考慮表的分區(qū)結(jié)構(gòu),以平均分配讀寫(xiě)事務(wù)嘁酿,實(shí)現(xiàn)低延遲處理
    • 隨著表中項(xiàng)目的增加隙券,可以不斷拆分現(xiàn)有分區(qū)來(lái)添加額外分區(qū)
    • 預(yù)置吞吐量將在個(gè)分區(qū)之間平均分配,且不可跨區(qū)共享
    • 一個(gè)分區(qū)可容納10GB數(shù)據(jù)和最多3000個(gè)讀取容量以及1000個(gè)寫(xiě)入容量闹司,對(duì)于未充分利用的容量分區(qū)娱仔,可以用于處理突發(fā)流量
  • AWS DynamoDB Stream
    • 獲取DynamoDB最近24小時(shí)內(nèi)的項(xiàng)目修改列表用于分析和審計(jì)。
    • 通過(guò)Stream中讀取的活動(dòng)修改日志游桩,可以在不修改原始應(yīng)用程序的情況下擴(kuò)展和構(gòu)建新的功能牲迫。
  • 自動(dòng)備份
    • 需要通過(guò)AWS Data Pipeline的專用配置模板耐朴,將DynamoDB完整或增量備份到同一地區(qū)或不同地區(qū)進(jìn)行備份
  • DAX
    • DynamoDB 數(shù)據(jù)庫(kù)性能加速
  • DynamoDB 自動(dòng)擴(kuò)展
    • DynamoDB在創(chuàng)建時(shí),可以指定讀取和寫(xiě)入流量以及每個(gè)大小的平均大小來(lái)配置所需的請(qǐng)求容量
    • 可以通過(guò)第三方工具(如 CloudFormation模板)啟用 Dynamic DynamoDB 配置自動(dòng)擴(kuò)展和縮減表格
    • 支持將擴(kuò)展活動(dòng)限制在一定時(shí)間段盹憎,使用上下限預(yù)置單獨(dú)擴(kuò)展讀取和寫(xiě)入吞吐量
    • 支持?jǐn)嗦菲鞲艄浚_保每次擴(kuò)展和縮減活動(dòng)之前檢查應(yīng)用程序是否正常以避免當(dāng)應(yīng)用程序發(fā)生問(wèn)題而觸發(fā)的虛假縮減活動(dòng)

安全

  • DynamoDB 需要與IAM服務(wù)集成,用策略最大限度控制權(quán)限脚乡。
  • 所有操作都必須通過(guò)身份驗(yàn)證,建議使用EC2實(shí)例配置文件或角色來(lái)管理密鑰
  • 在數(shù)據(jù)庫(kù)級(jí)別可以創(chuàng)建權(quán)限滨达,以細(xì)粒度的允許或拒絕對(duì)項(xiàng)目和屬性的訪問(wèn)
  • 對(duì)DynamoDB的服務(wù)請(qǐng)求都必須包含HMAC-SHA-256的簽名
  • 移動(dòng)端的最佳做法是使用Web身份聯(lián)合與AWS安全令牌服務(wù)提供臨時(shí)密鑰
  • DynamoDB本身不提供服務(wù)器端加密存儲(chǔ)數(shù)據(jù)奶稠,需要存儲(chǔ)前使用客戶端或KMS加密

DynamoDB最佳實(shí)踐

  • 保持較小的項(xiàng)目大小
  • 將元數(shù)據(jù)存儲(chǔ)在DynamoDB中,將大型BLOB存儲(chǔ)在S3中
  • 按日捡遍、周锌订、月進(jìn)行Hash計(jì)算使用表來(lái)存儲(chǔ)實(shí)踐序列數(shù)據(jù)用于強(qiáng)制分區(qū)
  • 使用有條件更新或者開(kāi)放式并發(fā)控制更新(OCC)
  • OCC是假定多個(gè)事務(wù)可以頻繁完成且相互不會(huì)干擾
  • 獲取資源時(shí)無(wú)需提前鎖定,提交時(shí)需要確認(rèn)沒(méi)有沖突的修改画株,若有則回滾
  • 僅適用于低爭(zhēng)用環(huán)境辆飘,從而提高吞吐量,否則反而會(huì)大大降低性能
  • 避免熱鍵和熱分區(qū)
  • 更加適合于無(wú)狀態(tài)的服務(wù)設(shè)計(jì)
  • 支持JSON對(duì)象的存儲(chǔ)

Amazon Aurora

概述

  • 是一種面向服務(wù)的架構(gòu)交付的關(guān)系型數(shù)據(jù)庫(kù)谓传,是mySQL的托管版本蜈项,還兼容PostgreSQL
  • 速度是MySQL的5倍,成本是其他商用數(shù)據(jù)庫(kù)的1/10
  • 容量支持10GB - 64TB续挟;每10GB一增量紧卒,僅為使用的容量付費(fèi)。
  • 支持Schema Changes
  • 利用S3實(shí)現(xiàn)可擴(kuò)展和高可用性诗祸,默認(rèn)支持6個(gè)副本,
    • 復(fù)制到3個(gè)可用區(qū)跑芳,每個(gè)可用區(qū)2個(gè)副本
    • 2個(gè)以下副本丟失,不影響寫(xiě)入
    • 3個(gè)以下副本丟失直颅,不影響讀取
  • 與MySQL 5.6簡(jiǎn)易兼容 - 現(xiàn)有程序可正常運(yùn)行博个,可輕松遷移,可直接導(dǎo)入數(shù)據(jù)文件

其他特性

  • 擴(kuò)展性能
    • 與S3集成功偿,可實(shí)現(xiàn)最多三個(gè)可用區(qū)之間6個(gè)副本的持續(xù)備份
    • 將日志記錄和存儲(chǔ)層轉(zhuǎn)移到可擴(kuò)展的多租戶服務(wù)層
    • MySQL支持跨區(qū)域副本(最多5個(gè)區(qū)域)建立全球數(shù)據(jù)庫(kù)盆佣,使用Read Replicate 技術(shù), PostgreSQL不支持脖含,跨區(qū)域DR需要手工完成
  • 彈性設(shè)計(jì)
    • 最多15個(gè)副本罪塔,約10ms副本滯后
    • 99.99%可用
    • 即時(shí)崩潰恢復(fù)(60s),故障轉(zhuǎn)移30s內(nèi)
    • 與單一線程重放所有日志的傳統(tǒng)數(shù)據(jù)庫(kù)相當(dāng)
    • 在磁盤(pán)讀取時(shí)重放重做記錄
    • 自動(dòng)備份养葵,且不會(huì)影響數(shù)據(jù)庫(kù)性能
    • 支持快照征堪,并且可以跨賬戶共享快照,也可以跨區(qū)域共享关拒,但是不能同時(shí) 跨賬戶和區(qū)域共享
    • 平行的分布式異步恢復(fù)
    • 緩存層可在數(shù)據(jù)庫(kù)重啟時(shí)繼續(xù)使用佃蚜,從而改善讀取響應(yīng)
    • 支持KMS加密庸娱,但必須在創(chuàng)建數(shù)據(jù)庫(kù)時(shí)即開(kāi)啟加密選項(xiàng)
    • 主數(shù)據(jù)庫(kù)出現(xiàn)故障時(shí),只讀副本可以實(shí)現(xiàn)即時(shí)提升為主數(shù)據(jù)庫(kù)
  • 支持Aurora Serverless
    • 適用于 Amazon Aurora 的 MySQL 兼容版的按需 autoscaling 配置谐算。
    • Aurora Serverless 數(shù)據(jù)庫(kù)集群會(huì)根據(jù)您應(yīng)用程序的需求自動(dòng)啟動(dòng)熟尉、關(guān)閉以及擴(kuò)展或縮減容量。
    • Aurora Serverless 是簡(jiǎn)單且更具成本效益的選擇洲脂,適用于不頻發(fā)的斤儿、間歇性的或不可預(yù)測(cè)的工作負(fù)載。
  • Parallel Query
    • Amazon Aurora Parallel Query 是一項(xiàng)功能恐锦,能夠?qū)蝹€(gè)查詢的計(jì)算負(fù)載下移并分布到 Aurora 存儲(chǔ)層中的數(shù)千個(gè) CPU往果。如果不使用 Parallel Query,則對(duì) Amazon Aurora 數(shù)據(jù)庫(kù)發(fā)出的查詢將全部在數(shù)據(jù)庫(kù)集群的一個(gè)實(shí)例中執(zhí)行一铅;這與大多數(shù)數(shù)據(jù)庫(kù)的運(yùn)作方式類似陕贮。
    • Parallel Query 非常適合需要新數(shù)據(jù)和良好查詢性能的分析工作負(fù)載,即使在大型表上也是如此潘飘。這種類型的工作負(fù)載在本質(zhì)上通常是可操作的肮之。

好處:

  • 速度更快:Parallel Query 可將分析查詢的運(yùn)行速度提高多達(dá) 2 個(gè)數(shù)量級(jí)。
  • 操作簡(jiǎn)易性和數(shù)據(jù)新鮮度:您可以直接對(duì) Aurora 集群中的當(dāng)前事務(wù)數(shù)據(jù)發(fā)出查詢卜录。
  • 同一數(shù)據(jù)庫(kù)上的事務(wù)工作負(fù)載和分析工作負(fù)載:借助 Parallel Query 功能戈擒,Aurora 可以在處理并行分析查詢的同時(shí)保持較高的事務(wù)吞吐量。

數(shù)據(jù)庫(kù)架構(gòu)示例

image.png

考AWS SAA的知識(shí)點(diǎn) 花兩天看這個(gè)就夠了
柳隨風(fēng) AWS SAA 簡(jiǎn)書(shū)專題


?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末艰毒,一起剝皮案震驚了整個(gè)濱河市峦甩,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌现喳,老刑警劉巖凯傲,帶你破解...
    沈念sama閱讀 211,123評(píng)論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異嗦篱,居然都是意外死亡冰单,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,031評(píng)論 2 384
  • 文/潘曉璐 我一進(jìn)店門(mén)灸促,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)诫欠,“玉大人,你說(shuō)我怎么就攤上這事浴栽』牡穑” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 156,723評(píng)論 0 345
  • 文/不壞的土叔 我叫張陵典鸡,是天一觀的道長(zhǎng)被廓。 經(jīng)常有香客問(wèn)我,道長(zhǎng)萝玷,這世上最難降的妖魔是什么嫁乘? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 56,357評(píng)論 1 283
  • 正文 為了忘掉前任昆婿,我火速辦了婚禮,結(jié)果婚禮上蜓斧,老公的妹妹穿的比我還像新娘仓蛆。我一直安慰自己,他們只是感情好挎春,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,412評(píng)論 5 384
  • 文/花漫 我一把揭開(kāi)白布看疙。 她就那樣靜靜地躺著,像睡著了一般直奋。 火紅的嫁衣襯著肌膚如雪狼荞。 梳的紋絲不亂的頭發(fā)上,一...
    開(kāi)封第一講書(shū)人閱讀 49,760評(píng)論 1 289
  • 那天帮碰,我揣著相機(jī)與錄音,去河邊找鬼拾积。 笑死殉挽,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的拓巧。 我是一名探鬼主播斯碌,決...
    沈念sama閱讀 38,904評(píng)論 3 405
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼肛度!你這毒婦竟也來(lái)了傻唾?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 37,672評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤承耿,失蹤者是張志新(化名)和其女友劉穎冠骄,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體加袋,經(jīng)...
    沈念sama閱讀 44,118評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡凛辣,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,456評(píng)論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了职烧。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片扁誓。...
    茶點(diǎn)故事閱讀 38,599評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖蚀之,靈堂內(nèi)的尸體忽然破棺而出蝗敢,到底是詐尸還是另有隱情,我是刑警寧澤足删,帶...
    沈念sama閱讀 34,264評(píng)論 4 328
  • 正文 年R本政府宣布寿谴,位于F島的核電站,受9級(jí)特大地震影響失受,放射性物質(zhì)發(fā)生泄漏拭卿。R本人自食惡果不足惜骡湖,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,857評(píng)論 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望峻厚。 院中可真熱鬧响蕴,春花似錦、人聲如沸惠桃。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 30,731評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)辜王。三九已至劈狐,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間呐馆,已是汗流浹背肥缔。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 31,956評(píng)論 1 264
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留汹来,地道東北人续膳。 一個(gè)月前我還...
    沈念sama閱讀 46,286評(píng)論 2 360
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像收班,于是被迫代替她去往敵國(guó)和親坟岔。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,465評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容

  • Chapter 7: Databases and AWS B. Amazon RDS is best suited...
    K1024閱讀 649評(píng)論 0 0
  • ORA-00001: 違反唯一約束條件 (.) 錯(cuò)誤說(shuō)明:當(dāng)在唯一索引所對(duì)應(yīng)的列上鍵入重復(fù)值時(shí),會(huì)觸發(fā)此異常。 O...
    我想起個(gè)好名字閱讀 5,249評(píng)論 0 9
  • 第四章是關(guān)于速讀術(shù)昵观,主要通過(guò)“關(guān)鍵詞的發(fā)掘”和“假說(shuō)檢驗(yàn)型讀書(shū)”捻脖。 通過(guò)閱讀目錄,對(duì)關(guān)鍵詞做到心中有數(shù),然后構(gòu)思假...
    西瓜0707閱讀 261評(píng)論 0 0
  • 類 歸檔、解檔 統(tǒng)一在 common.swift viewController.swift 使用 哈,就這些了扛或!
    布袋的世界閱讀 1,549評(píng)論 0 3
  • 前段時(shí)間看到老屋的窗臺(tái)上有對(duì)鴿子蛋,還有一對(duì)鴿子整天在里面秀恩愛(ài)碘饼,于是滿懷喜悅的等待小鴿子的誕生熙兔。 傍晚散步,腳步...
    梅園遺珠閱讀 218評(píng)論 0 0