一桃序、hbase應(yīng)用場景
海量數(shù)據(jù)存儲,上百億行×上百萬列流昏,關(guān)系型數(shù)據(jù)庫一般最多30個列但两,單表五百萬
準實時查詢鬓梅,上百億行×上百萬列情況百毫秒
上百萬行數(shù)據(jù)沒必要放在hbase
舉例說明實際業(yè)務(wù)場景中的應(yīng)用:交通GPS信息、移動電話信息谨湘、金融绽快、電商
二、hbase的特點
容量大:hbase單表可以百億行紧阔、百萬列坊罢,數(shù)據(jù)矩陣橫向和縱向亮給維度所支持的數(shù)據(jù)兩級都非常具有彈性;
面向列:hbase是面向列的存儲和權(quán)限控制擅耽,并支持獨立檢索活孩。列式存儲,其數(shù)據(jù)在表中是按照某列存儲的乖仇,這樣在查詢只需要少數(shù)幾個字段的時候憾儒,能大大減少讀取的數(shù)據(jù)量;
多版本:hbase每列的數(shù)據(jù)存儲有多個版本version乃沙;
稀疏性:為空的列并不占用存儲空間起趾,表可以設(shè)計的非常稀疏;
擴展性:底層依賴于HDFS警儒,增加節(jié)點训裆;
高可靠性:WAL機制保證了數(shù)據(jù)寫入時不會因集群異常而導致寫入數(shù)據(jù)丟失:Replication機制保證了在集群出現(xiàn)嚴重的問題時,數(shù)據(jù)不會發(fā)生丟失或損壞蜀铲。而且HBase底層使用HDFS HDFS本身也有備份边琉;
高性能:底層LSM數(shù)據(jù)結(jié)構(gòu)和Rowkey有序排列等架構(gòu)上的獨特設(shè)計,使得hbase具有非常高的寫入性能蝙茶。region切分艺骂、主鍵索引和緩存機制使得hbase在海量數(shù)據(jù)下具備一定的隨機讀取性能,該性能針對Rowkey的查詢能達到毫秒級別隆夯。
三钳恕、hbase架構(gòu)體系與設(shè)計模型
Column Family 列簇
表創(chuàng)建的時候,先建列簇蹄衷,插入數(shù)據(jù)時動態(tài)增加列
一張表不會超過5個列簇
每個列簇的列數(shù)沒有限制
列只有插入數(shù)據(jù)后存在
列在列簇中是有序的
四忧额、hbase對比mysql等關(guān)系型數(shù)據(jù)庫
hbase支持列動態(tài)增加
hbase支持數(shù)據(jù)自動切分
hbase支持高并發(fā)讀寫
hbase不支持條件查詢