java大數(shù)據(jù)之greenplum

一、Greenplum簡介

1.1 Greenplum是什么

Greenplum數(shù)據(jù)庫是在postgreSQL開發(fā)出來的,基于MPP(massively parallel processing)和shared-Nothing架構(gòu)(Oracle RAC是shared everything架構(gòu))。

主要用在數(shù)據(jù)倉庫中,做大規(guī)模數(shù)據(jù)和復(fù)雜的查詢功能所涉及含懊。

1.5 Greenplum總體架構(gòu)

數(shù)據(jù)庫由Master Severs和Segment Severs通過Interconnect互聯(lián)組成。

1.6 Greenplum架構(gòu)詳解

Master主機與Segment主機的職責(zé)


Master

(1)建立與客戶端的會話連接和管理

(2)SQL的解析并形成分布式的執(zhí)行計劃

(3)將生成好的執(zhí)行計劃分發(fā)到每個Segment上執(zhí)行

(4)收集Segment的執(zhí)行結(jié)果

(5)不存儲業(yè)務(wù)數(shù)據(jù)鳄袍,只存儲數(shù)據(jù)字典

(6)可以一主一備绢要,分布在兩臺機器上

(7)為了提高性能,最好單獨占用一臺機器

Segment

(1)業(yè)務(wù)數(shù)據(jù)的存儲和存取

(2)執(zhí)行由Master分發(fā)的SQL語句

(3)對于Master來說拗小,每個Segment都是對等的重罪,負(fù)責(zé)對應(yīng)數(shù)據(jù)的存儲和計算

(4)每一臺機器上可以配置一到多個Segment

(5)由于每個Segment都是對等的,建議蠶蛹相同的及其配置

(6)Segment分primary和mirror兩種哀九,一般交錯的存放在子節(jié)點上


Master和Segment都是一個單獨的PostgreSQL數(shù)據(jù)庫剿配。每一個都有自己單獨的一套元數(shù)據(jù)字典。Master節(jié)點一般也叫主節(jié)點阅束,Segment叫做數(shù)據(jù)節(jié)點呼胚。

為了實現(xiàn)高可用,每個Segment都有對應(yīng)的備節(jié)點 Mirror Segment分別存在與不同的機器上息裸。

Client一般只能與Master節(jié)點進行交互蝇更,Client將SQL發(fā)給Master呼盆,然后Master對SQL進行分析后再講其分配給所有的Segment進行操作。

1.7 Greenplum豐富特性

第一访圃,完善的標(biāo)準(zhǔn)支持:GPDB完全支持ANSI SQL 2008標(biāo)準(zhǔn)和SQL OLAP 2003 擴展厨幻;從應(yīng)用編程接口上講,它支持ODBC和JDBC饭宾。完善的標(biāo)準(zhǔn)支持使得系統(tǒng)開發(fā)、維護和管理都大為方便看铆。而現(xiàn)在的 NoSQL,NewSQL和Hadoop 對 SQL 的支持都不完善笆搓,不同的系統(tǒng)需要單獨開發(fā)和管理性湿,且移植性不好。

第二满败,支持分布式事務(wù),支持ACID叹括。保證數(shù)據(jù)的強一致性算墨。

第三,做為分布式數(shù)據(jù)庫汁雷,擁有良好的線性擴展能力净嘀。在國內(nèi)外用戶生產(chǎn)環(huán)境中,具有上百個物理節(jié)點的GPDB集群都有很多案例侠讯。

第四挖藏,GPDB是企業(yè)級數(shù)據(jù)庫產(chǎn)品,全球有上千個集群在不同客戶的生產(chǎn)環(huán)境運行厢漩。這些集群為全球很多大的金融膜眠、政府、物流溜嗜、零售等公司的關(guān)鍵業(yè)務(wù)提供服務(wù)宵膨。

第五,GPDB是Greenplum(現(xiàn)在的Pivotal)公司十多年研發(fā)投入的結(jié)果炸宵。GPDB基于PostgreSQL 8.2辟躏,PostgreSQL 8.2有大約80萬行源代碼,而GPDB現(xiàn)在有130萬行源碼土全。相比PostgreSQL 8.2捎琐,增加了約50萬行的源代碼。

第六裹匙,Greenplum有很多合作伙伴瑞凑,GPDB有完善的生態(tài)系統(tǒng),可以與很多企業(yè)級產(chǎn)品集成幻件,譬如SAS拨黔,Cognos,Informatic,Tableau等篱蝇;也可以很多種開源軟件集成贺待,譬如Pentaho,Talend 等。

1.8 Greenplum應(yīng)用場景

Greenplum最大的特點總結(jié)就一句話:基于低成本的開放平臺基礎(chǔ)上提供強大的并行數(shù)據(jù)計算性能和海量數(shù)據(jù)管理能力零截。這個能力主要指的是并行計算能力麸塞,是對大任務(wù)、復(fù)雜任務(wù)的快速高效計算涧衙,但如果你指望MPP并行數(shù)據(jù)庫能夠像OLTP數(shù)據(jù)庫一樣哪工,在極短的時間處理大量的并發(fā)小任務(wù),這個并非MPP數(shù)據(jù)庫所長弧哎。請牢記雁比,并行和并發(fā)是兩個完全不同的概念,MPP數(shù)據(jù)庫是為了解決大問題而設(shè)計的并行計算技術(shù)撤嫩,而不是大量的小問題的高并發(fā)請求偎捎。

再通俗點說,Greenplum主要定位在OLAP領(lǐng)域序攘,利用Greenplum MPP數(shù)據(jù)庫做大數(shù)據(jù)計算或分析平臺非常適合程奠,例如:數(shù)據(jù)倉庫系統(tǒng)、ODS系統(tǒng)己沛、ACRM系統(tǒng)帕识、歷史數(shù)據(jù)管理系統(tǒng)、電信流量分析系統(tǒng)晶姊、移動信令分析系統(tǒng)们衙、SANDBOX自助分析沙箱碱呼、數(shù)據(jù)集市等等。

而MPP數(shù)據(jù)庫都不擅長做OLTP交易系統(tǒng)忆蚀,所謂交易系統(tǒng)馋袜,就是高頻的交易型小規(guī)模數(shù)據(jù)插入、修改察皇、刪除什荣,每次事務(wù)處理的數(shù)據(jù)量不大怀酷,但每秒鐘都會發(fā)生幾十次甚至幾百次以上交易型事務(wù) ,這類系統(tǒng)的衡量指標(biāo)是TPS因篇,適用的系統(tǒng)是OLTP數(shù)據(jù)庫或類似Gemfire的內(nèi)存數(shù)據(jù)庫。

1.9 Greenplum的技術(shù)特點及優(yōu)勢

1.10 Greenplum缺點

1吹缔、對局域網(wǎng)帶寬要求很高锯茄,一般都是千兆交換機。

2晚碾、不支持在線擴容格嘁,擴容的話至少要增加2臺以上的機器廊移。后若不是成2倍擴展,需要重新平均分布所有數(shù)據(jù)懂诗。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末苗膝,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子病附,更是在濱河造成了極大的恐慌侯繁,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,402評論 6 499
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件丽焊,死亡現(xiàn)場離奇詭異技健,居然都是意外死亡惰拱,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,377評論 3 392
  • 文/潘曉璐 我一進店門欣孤,熙熙樓的掌柜王于貴愁眉苦臉地迎上來昔逗,“玉大人勾怒,你說我怎么就攤上這事”柿矗” “怎么了?”我有些...
    開封第一講書人閱讀 162,483評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長幔妨。 經(jīng)常有香客問我,道長古话,這世上最難降的妖魔是什么锁施? 我笑而不...
    開封第一講書人閱讀 58,165評論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮肩狂,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘孝治。我一直安慰自己审磁,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 67,176評論 6 388
  • 文/花漫 我一把揭開白布杭措。 她就那樣靜靜地躺著手素,像睡著了一般瘩蚪。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上祠斧,一...
    開封第一講書人閱讀 51,146評論 1 297
  • 那天,我揣著相機與錄音呢灶,去河邊找鬼钉嘹。 笑死,一個胖子當(dāng)著我的面吹牛跋涣,可吹牛的內(nèi)容都是我干的陈辱。 我是一名探鬼主播,決...
    沈念sama閱讀 40,032評論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼陋守,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了猩系?” 一聲冷哼從身側(cè)響起中燥,我...
    開封第一講書人閱讀 38,896評論 0 274
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎拿霉,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體友浸,經(jīng)...
    沈念sama閱讀 45,311評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡偏窝,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,536評論 2 332
  • 正文 我和宋清朗相戀三年伦意,在試婚紗的時候發(fā)現(xiàn)自己被綠了硼补。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,696評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡离钝,死狀恐怖卵渴,靈堂內(nèi)的尸體忽然破棺而出鲤竹,到底是詐尸還是另有隱情,我是刑警寧澤辛藻,帶...
    沈念sama閱讀 35,413評論 5 343
  • 正文 年R本政府宣布痘拆,位于F島的核電站岩榆,受9級特大地震影響坟瓢,放射性物質(zhì)發(fā)生泄漏折联。R本人自食惡果不足惜识颊,卻給世界環(huán)境...
    茶點故事閱讀 41,008評論 3 325
  • 文/蒙蒙 一清笨、第九天 我趴在偏房一處隱蔽的房頂上張望刃跛。 院中可真熱鬧,春花似錦桨昙、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,659評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽阁危。三九已至,卻和暖如春狂打,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,815評論 1 269
  • 我被黑心中介騙來泰國打工浙宜, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留粟瞬,地道東北人萤捆。 一個月前我還...
    沈念sama閱讀 47,698評論 2 368
  • 正文 我出身青樓,卻偏偏與公主長得像岁忘,于是被迫代替她去往敵國和親区匠。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,592評論 2 353

推薦閱讀更多精彩內(nèi)容