Hologres V2.1版本發(fā)布看杭,新增計算組實例構(gòu)建高可用實時數(shù)倉

Highlight

產(chǎn)品介紹

Hologres 是阿里云自研一站式實時數(shù)倉,統(tǒng)一數(shù)據(jù)平臺架構(gòu)汤锨,將OLAP查詢办铡、即席分析辞做、在線服務、向量計算多個數(shù)據(jù)應用構(gòu)建在統(tǒng)一存儲之上寡具,實現(xiàn)一份數(shù)據(jù)秤茅,多種計算場景。

V2.1 版本簡介

新增彈性計算組實例童叠,解決實時數(shù)倉場景下分析性能框喳、資源隔離、高可用、彈性擴縮容等核心問題五垮,同時新增多種用戶分析函數(shù)與實時湖倉Paimon格式支持乍惊,COUNT DISTINCT優(yōu)化顯著提升查詢效率。

升級說明:Hologres支持熱升級放仗,跨大版本升級建議停機升級润绎。

彈性計算組(warehouse)構(gòu)建高可用實時數(shù)倉

功能說明:

Hologres彈性計算組(warehouse)采用****Shared Data 架構(gòu),存儲共用一份匙监,計算資源分解為不同的計算組(Warehouse)凡橱,每個計算組可獨立彈性擴展,計算組之間共享數(shù)據(jù)亭姥、元數(shù)據(jù)稼钩。

image.png

應用場景:

彈性計算組有多種使用方式,用戶可以實現(xiàn)高可用达罗、負載隔離與降本坝撑,并顯著提升故障恢復速度及使用易用性。

  • 隔離與高可用: 計算組之間物理隔離粮揉,不同部門業(yè)務之間實現(xiàn)讀讀隔離巡李、寫寫隔離、讀寫隔離扶认,同時避免計算組之間的相互影響侨拦,減少業(yè)務抖動。
  • 成本與彈性: 存算分離辐宾,存儲共享一份狱从,計算組可動態(tài)熱擴縮容,顯著降低成本叠纹。
  • 易用性: 對應用只暴露一個Endpoint季研,新增與銷毀、故障實例切換等操作通過簡單SQL即可快速實現(xiàn)誉察,實現(xiàn)故障自動路由与涡。

其他核心能力

實時湖倉新增Paimon格式

功能說明:

Hologres實時湖倉能力在之前版本支持ORC、Parquet持偏、CSV驼卖、SequenceFile、HUDI鸿秆、Delta款慨、Parquet等多種格式,V2.1 版本新增Paimmon格式谬莹,Apache Paimon是流批統(tǒng)一的湖存儲格式,支持高吞吐的寫入和低延遲的查詢,促進數(shù)據(jù)在數(shù)據(jù)湖上真正實時的流動附帽,并為用戶提供基于湖存儲的實時離線一體化的開發(fā)體驗埠戳。

應用場景:

Flink +Paimon+ Hologres 實時湖倉〗栋纾基于Flink將數(shù)倉以Paimon這種 Table Format 形式在湖上構(gòu)建整胃,上層可以使用 Flink進行流計算,使用 Hologres 對所有層次做統(tǒng)一的OLAP查詢或者是最上面的ADS層做在線分析喳钟。方案中Paimon可以實現(xiàn)高吞吐的入湖屁使,F(xiàn)link 可以實現(xiàn)全鏈路的實時計算,Hologres 可以實現(xiàn)高性能的OLAP查詢奔则,所以整個鏈路從實時性蛮寂、時效性、成本幾個方面都可以取的比較好的平衡易茬。

image.png

向量計算新增計算巢方案酬蹋,5分鐘拉起企業(yè)級知識庫

功能說明:

基于計算巢能力,5分鐘一鍵拉起Hologres向量計算+PAI部署大模型所需資源抽莱,直接通過WebUI與示例數(shù)據(jù)范抓,進行大模型+向量計算對話。

應用場景:

企業(yè)級對話知識庫構(gòu)建食铐。將專屬行業(yè)知識向量化處理后匕垫,存儲到向量引擎,通過向量計算結(jié)合大模型推理求解虐呻,輸出專屬領(lǐng)域準確答案象泵,減少大模型問答幻覺,完成實時知識更新并提高問答速度铃慷。

image.png

自動優(yōu)化CountDistinct单芜,提升查詢效率

功能說明:

Hologres從V2.1版本開始,針對Count Distinct場景做了非常多的性能優(yōu)化(包括單個Count Distinct犁柜、多個Count Distinct洲鸠、數(shù)據(jù)傾斜、SQL沒有Group By字段等場景)馋缅,無需手動改寫成UNIQ扒腕,即可實現(xiàn)更好的性能。

應用場景:

在PV萤悴、UV計算等場景提升精確去重查詢效率

image.png

對比V2.1與V2.0版本瘾腰,V2.1在單條及多條Count Distinct的內(nèi)存消耗、CPU使用覆履、耗時上都有顯著差異蹋盆。

image.png

優(yōu)化Runtime Filter能力费薄,顯著提升Join效率

功能說明:

Hologres V2.0版本支持1個join字段的Runtime Filter,V2.1開始支持多字段Join的Runtime Filter栖雾。在Join過程中楞抡,Hologres根據(jù)build端的數(shù)據(jù)特征和分布以及最終Join的數(shù)據(jù)量和原始掃描數(shù)據(jù)量,自動對probe端的數(shù)據(jù)進行裁剪析藕,從而減少對probe端的數(shù)據(jù)掃描和Shuffler召廷,以此來提升Join性能。

image.png

應用場景:

多字段join時账胧,自動優(yōu)化大小表join效率竞慢,如以下示例SQL,V2.1版本可以提升30%-100%查詢速度治泥。

image.png

Runtime Filter是自動觸發(fā)的能力筹煮,無需手動開啟。觸發(fā)條件如下:

?probe端的數(shù)據(jù)量在100000行及以上车摄。

?掃描的數(shù)據(jù)量比例:build端 / probe端 <= 0.1(比例越小寺谤,越容易觸發(fā)Runtime Filter)。

?Join出的數(shù)據(jù)量比例:build端 / probe端 <= 0.1(比例越小吮播,越容易觸發(fā)Runtime Filter)变屁。

新增漏斗、留存意狠、路徑等函數(shù)粟关,簡化用戶行為分析

功能說明:

用戶漏斗分析、留存分析环戈、路徑分析是常見的用戶行為數(shù)據(jù)分析場景闷板,Hologres新增漏斗、留存院塞、路徑函數(shù)遮晚,可以幫助用戶更加簡單、高效地完成行為分析拦止。

應用場景:

用戶漏斗分析县遣,計算每個階段行為轉(zhuǎn)化率。Hologres原生支持漏斗函數(shù)汹族,也支持區(qū)間漏斗函數(shù)萧求,這樣不僅可以看到每個階段的漏斗結(jié)果,也可以分組展示漏斗的結(jié)果顶瞒,不需要寫額外的各種擴展語法夸政。

image.png

用戶留存分析,計算近3天榴徐、7天用戶等留存守问。Hologres支持留存函數(shù)和留存擴展函數(shù)匀归,方便業(yè)務可以高效的分析產(chǎn)品留存率,助力進一步業(yè)務決策酪碘。

image.png

用戶路徑分析朋譬,計算用戶產(chǎn)品使用路徑分布情況。Hologres路徑函數(shù)可以基于事件兴垦,統(tǒng)計用戶訪問行為的流入留出,快速搭建用戶路徑勺帜基圖探越。

image.png

BSI+RB函數(shù)助力高效畫像分析

功能說明:

Hologres原生支持Roaring Bitmap函數(shù),將用戶ID構(gòu)建成Bitmap實現(xiàn)屬性標簽的快速分析窑业;同時在2.1版本開始支持BSI函數(shù)钦幔,通過BSI的高效壓縮和切片索引,實現(xiàn)行為標簽的高效分析常柄,同時在查詢時可以通過二進制原理和Roaring Bitmap交并差運算進行快速計算鲤氢,支持對高基數(shù)行為標簽的壓縮存儲和低延遲查詢,從而實現(xiàn)“屬性標簽”和“行為標簽”的高效聯(lián)動分析西潘。

應用場景:

通過BSI函數(shù)+RB函數(shù)實現(xiàn)高效的行為分析與畫像分析卷玉。例如在一張用戶屬性表,一張用戶收入表喷市,表結(jié)構(gòu)如下:

image.png

若要計算出“廣東相种、男用戶的GMV總和”,傳統(tǒng)的Join語法品姓,數(shù)據(jù)量大時容易OOM寝并,通過高效bitmap壓縮,避免join即可聯(lián)合分析腹备。

image.png

若要計算出“昨日廣東男用戶消費金額Top K”衬潦,傳統(tǒng)語法對GMV排序要消耗大量資源,BSI+RB自帶TopK函數(shù)植酥,分析更高效镀岛。

image.png

支持單實例Shard多副本,提升吞吐量惧互,實現(xiàn)查詢高可用

功能說明:

單實例Shard多副本是Hologres一直Beta中的能力哎媚,在V2.1版本正式發(fā)布,可以實現(xiàn)單實例內(nèi)高可用及負載均衡擴吞吐場景喊儡,可容忍部分機器故障及熱點不均衡問題拨与。

應用場景:

多副本高吞吐場景

小部分Worker計算資源使用率很高,其他Worker很低艾猜,有可能是查詢不均導致的买喧,此時增加Shard的副本數(shù)量捻悯,使更多的Worker上有Shard的副本,有效提高資源利用率和QPS淤毛。

多副本高可用場景

因為單Shard Failover時導致查詢不可用情況今缚,增加副本數(shù)量后,某個worker發(fā)生故障時低淡,由于仍存在完整的Shard副本姓言,實例可以繼續(xù)。

image.png

結(jié)合DataWorks增強數(shù)據(jù)同步蔗蹋、血緣何荚、地圖、傳輸加密等能力

功能說明:

Hologres與DataWorks深度集成猪杭,在過去的MySQL餐塘、Oracle、PolarDB皂吮、SQLServer等數(shù)據(jù)源的基礎上戒傻,V2.1版本新增支持ClickHouse整庫全量、ADB整庫同步蜂筹、Kafka實時同步到Hologres需纳。同時在DataWorks中可以采集Hologres元數(shù)據(jù),查看Hologres表血緣和字段血緣信息狂票。

更多完整功能列表請查看Hologres V2.1功能發(fā)布記錄

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末候齿,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子闺属,更是在濱河造成了極大的恐慌慌盯,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,464評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件掂器,死亡現(xiàn)場離奇詭異亚皂,居然都是意外死亡,警方通過查閱死者的電腦和手機国瓮,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,033評論 3 399
  • 文/潘曉璐 我一進店門灭必,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人乃摹,你說我怎么就攤上這事禁漓。” “怎么了孵睬?”我有些...
    開封第一講書人閱讀 169,078評論 0 362
  • 文/不壞的土叔 我叫張陵播歼,是天一觀的道長。 經(jīng)常有香客問我掰读,道長秘狞,這世上最難降的妖魔是什么叭莫? 我笑而不...
    開封第一講書人閱讀 59,979評論 1 299
  • 正文 為了忘掉前任,我火速辦了婚禮烁试,結(jié)果婚禮上雇初,老公的妹妹穿的比我還像新娘。我一直安慰自己减响,他們只是感情好靖诗,可當我...
    茶點故事閱讀 69,001評論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著辩蛋,像睡著了一般呻畸。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上悼院,一...
    開封第一講書人閱讀 52,584評論 1 312
  • 那天,我揣著相機與錄音咒循,去河邊找鬼据途。 笑死,一個胖子當著我的面吹牛叙甸,可吹牛的內(nèi)容都是我干的颖医。 我是一名探鬼主播,決...
    沈念sama閱讀 41,085評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼裆蒸,長吁一口氣:“原來是場噩夢啊……” “哼熔萧!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起僚祷,我...
    開封第一講書人閱讀 40,023評論 0 277
  • 序言:老撾萬榮一對情侶失蹤佛致,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后辙谜,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體俺榆,經(jīng)...
    沈念sama閱讀 46,555評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,626評論 3 342
  • 正文 我和宋清朗相戀三年装哆,在試婚紗的時候發(fā)現(xiàn)自己被綠了罐脊。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,769評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡蜕琴,死狀恐怖萍桌,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情凌简,我是刑警寧澤上炎,帶...
    沈念sama閱讀 36,439評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站号醉,受9級特大地震影響反症,放射性物質(zhì)發(fā)生泄漏辛块。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 42,115評論 3 335
  • 文/蒙蒙 一铅碍、第九天 我趴在偏房一處隱蔽的房頂上張望润绵。 院中可真熱鬧,春花似錦胞谈、人聲如沸尘盼。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,601評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽卿捎。三九已至,卻和暖如春径密,著一層夾襖步出監(jiān)牢的瞬間午阵,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,702評論 1 274
  • 我被黑心中介騙來泰國打工享扔, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留底桂,地道東北人。 一個月前我還...
    沈念sama閱讀 49,191評論 3 378
  • 正文 我出身青樓惧眠,卻偏偏與公主長得像籽懦,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子氛魁,可洞房花燭夜當晚...
    茶點故事閱讀 45,781評論 2 361

推薦閱讀更多精彩內(nèi)容