Highlight
產(chǎn)品介紹
Hologres 是阿里云自研一站式實時數(shù)倉，統(tǒng)一數(shù)據(jù)平臺架構(gòu)汤锨，將OLAP查詢办铡、即席分析辞做、在線服務、向量計算多個數(shù)據(jù)應用構(gòu)建在統(tǒng)一存儲之上寡具，實現(xiàn)一份數(shù)據(jù)秤茅，多種計算場景。
V2.1 版本簡介
新增彈性計算組實例童叠，解決實時數(shù)倉場景下分析性能框喳、資源隔離、高可用、彈性擴縮容等核心問題五垮，同時新增多種用戶分析函數(shù)與實時湖倉Paimon格式支持乍惊，COUNT DISTINCT優(yōu)化顯著提升查詢效率。
升級說明：Hologres支持熱升級放仗，跨大版本升級建議停機升級润绎。
彈性計算組（warehouse）構(gòu)建高可用實時數(shù)倉
功能說明：
Hologres彈性計算組（warehouse）采用****Shared Data 架構(gòu)，存儲共用一份匙监，計算資源分解為不同的計算組（Warehouse）凡橱，每個計算組可獨立彈性擴展，計算組之間共享數(shù)據(jù)亭姥、元數(shù)據(jù)稼钩。
應用場景：
彈性計算組有多種使用方式，用戶可以實現(xiàn)高可用达罗、負載隔離與降本坝撑，并顯著提升故障恢復速度及使用易用性。
- 隔離與高可用： 計算組之間物理隔離粮揉，不同部門業(yè)務之間實現(xiàn)讀讀隔離巡李、寫寫隔離、讀寫隔離扶认，同時避免計算組之間的相互影響侨拦，減少業(yè)務抖動。
- 成本與彈性： 存算分離辐宾，存儲共享一份狱从，計算組可動態(tài)熱擴縮容，顯著降低成本叠纹。
- 易用性： 對應用只暴露一個Endpoint季研，新增與銷毀、故障實例切換等操作通過簡單SQL即可快速實現(xiàn)誉察，實現(xiàn)故障自動路由与涡。
其他核心能力
實時湖倉新增Paimon格式
功能說明：
Hologres實時湖倉能力在之前版本支持ORC、Parquet持偏、CSV驼卖、SequenceFile、HUDI鸿秆、Delta款慨、Parquet等多種格式，V2.1 版本新增Paimmon格式谬莹，Apache Paimon是流批統(tǒng)一的湖存儲格式，支持高吞吐的寫入和低延遲的查詢，促進數(shù)據(jù)在數(shù)據(jù)湖上真正實時的流動附帽，并為用戶提供基于湖存儲的實時離線一體化的開發(fā)體驗埠戳。
應用場景：
Flink +Paimon+ Hologres 實時湖倉〗栋纾基于Flink將數(shù)倉以Paimon這種 Table Format 形式在湖上構(gòu)建整胃，上層可以使用 Flink進行流計算，使用 Hologres 對所有層次做統(tǒng)一的OLAP查詢或者是最上面的ADS層做在線分析喳钟。方案中Paimon可以實現(xiàn)高吞吐的入湖屁使，F(xiàn)link 可以實現(xiàn)全鏈路的實時計算，Hologres 可以實現(xiàn)高性能的OLAP查詢奔则，所以整個鏈路從實時性蛮寂、時效性、成本幾個方面都可以取的比較好的平衡易茬。
向量計算新增計算巢方案酬蹋，5分鐘拉起企業(yè)級知識庫
功能說明：
基于計算巢能力，5分鐘一鍵拉起Hologres向量計算+PAI部署大模型所需資源抽莱，直接通過WebUI與示例數(shù)據(jù)范抓，進行大模型+向量計算對話。
應用場景：
企業(yè)級對話知識庫構(gòu)建食铐。將專屬行業(yè)知識向量化處理后匕垫，存儲到向量引擎，通過向量計算結(jié)合大模型推理求解虐呻，輸出專屬領(lǐng)域準確答案象泵，減少大模型問答幻覺，完成實時知識更新并提高問答速度铃慷。
自動優(yōu)化CountDistinct单芜，提升查詢效率
功能說明：
Hologres從V2.1版本開始，針對Count Distinct場景做了非常多的性能優(yōu)化（包括單個Count Distinct犁柜、多個Count Distinct洲鸠、數(shù)據(jù)傾斜、SQL沒有Group By字段等場景）馋缅，無需手動改寫成UNIQ扒腕，即可實現(xiàn)更好的性能。
應用場景：
在PV萤悴、UV計算等場景提升精確去重查詢效率
對比V2.1與V2.0版本瘾腰，V2.1在單條及多條Count Distinct的內(nèi)存消耗、CPU使用覆履、耗時上都有顯著差異蹋盆。
優(yōu)化Runtime Filter能力费薄，顯著提升Join效率
功能說明：
Hologres V2.0版本支持1個join字段的Runtime Filter，V2.1開始支持多字段Join的Runtime Filter栖雾。在Join過程中楞抡，Hologres根據(jù)build端的數(shù)據(jù)特征和分布以及最終Join的數(shù)據(jù)量和原始掃描數(shù)據(jù)量，自動對probe端的數(shù)據(jù)進行裁剪析藕，從而減少對probe端的數(shù)據(jù)掃描和Shuffler召廷，以此來提升Join性能。
應用場景：
多字段join時账胧，自動優(yōu)化大小表join效率竞慢，如以下示例SQL，V2.1版本可以提升30%-100%查詢速度治泥。
Runtime Filter是自動觸發(fā)的能力筹煮，無需手動開啟。觸發(fā)條件如下：
?probe端的數(shù)據(jù)量在100000行及以上车摄。
?掃描的數(shù)據(jù)量比例：build端 / probe端 <= 0.1（比例越小寺谤，越容易觸發(fā)Runtime Filter）。
?Join出的數(shù)據(jù)量比例：build端 / probe端 <= 0.1（比例越小吮播，越容易觸發(fā)Runtime Filter）变屁。
新增漏斗、留存意狠、路徑等函數(shù)粟关，簡化用戶行為分析
功能說明：
用戶漏斗分析、留存分析环戈、路徑分析是常見的用戶行為數(shù)據(jù)分析場景闷板，Hologres新增漏斗、留存院塞、路徑函數(shù)遮晚，可以幫助用戶更加簡單、高效地完成行為分析拦止。
應用場景：
用戶漏斗分析县遣，計算每個階段行為轉(zhuǎn)化率。Hologres原生支持漏斗函數(shù)汹族，也支持區(qū)間漏斗函數(shù)萧求，這樣不僅可以看到每個階段的漏斗結(jié)果，也可以分組展示漏斗的結(jié)果顶瞒，不需要寫額外的各種擴展語法夸政。
用戶留存分析，計算近3天榴徐、7天用戶等留存守问。Hologres支持留存函數(shù)和留存擴展函數(shù)匀归，方便業(yè)務可以高效的分析產(chǎn)品留存率，助力進一步業(yè)務決策酪碘。
用戶路徑分析朋譬，計算用戶產(chǎn)品使用路徑分布情況。Hologres路徑函數(shù)可以基于事件兴垦，統(tǒng)計用戶訪問行為的流入留出，快速搭建用戶路徑勺帜基圖探越。
BSI+RB函數(shù)助力高效畫像分析
功能說明：
Hologres原生支持Roaring Bitmap函數(shù)，將用戶ID構(gòu)建成Bitmap實現(xiàn)屬性標簽的快速分析窑业；同時在2.1版本開始支持BSI函數(shù)钦幔，通過BSI的高效壓縮和切片索引，實現(xiàn)行為標簽的高效分析常柄，同時在查詢時可以通過二進制原理和Roaring Bitmap交并差運算進行快速計算鲤氢，支持對高基數(shù)行為標簽的壓縮存儲和低延遲查詢，從而實現(xiàn)“屬性標簽”和“行為標簽”的高效聯(lián)動分析西潘。
應用場景：
通過BSI函數(shù)+RB函數(shù)實現(xiàn)高效的行為分析與畫像分析卷玉。例如在一張用戶屬性表，一張用戶收入表喷市，表結(jié)構(gòu)如下：
若要計算出“廣東相种、男用戶的GMV總和”，傳統(tǒng)的Join語法品姓，數(shù)據(jù)量大時容易OOM寝并，通過高效bitmap壓縮，避免join即可聯(lián)合分析腹备。
若要計算出“昨日廣東男用戶消費金額Top K”衬潦，傳統(tǒng)語法對GMV排序要消耗大量資源，BSI+RB自帶TopK函數(shù)植酥，分析更高效镀岛。
支持單實例Shard多副本，提升吞吐量惧互，實現(xiàn)查詢高可用
功能說明：
單實例Shard多副本是Hologres一直Beta中的能力哎媚，在V2.1版本正式發(fā)布，可以實現(xiàn)單實例內(nèi)高可用及負載均衡擴吞吐場景喊儡，可容忍部分機器故障及熱點不均衡問題拨与。
應用場景：
多副本高吞吐場景
小部分Worker計算資源使用率很高，其他Worker很低艾猜，有可能是查詢不均導致的买喧，此時增加Shard的副本數(shù)量捻悯，使更多的Worker上有Shard的副本，有效提高資源利用率和QPS淤毛。
多副本高可用場景
因為單Shard Failover時導致查詢不可用情況今缚，增加副本數(shù)量后，某個worker發(fā)生故障時低淡，由于仍存在完整的Shard副本姓言，實例可以繼續(xù)。
結(jié)合DataWorks增強數(shù)據(jù)同步蔗蹋、血緣何荚、地圖、傳輸加密等能力
功能說明：
Hologres與DataWorks深度集成猪杭，在過去的MySQL餐塘、Oracle、PolarDB皂吮、SQLServer等數(shù)據(jù)源的基礎上戒傻，V2.1版本新增支持ClickHouse整庫全量、ADB整庫同步蜂筹、Kafka實時同步到Hologres需纳。同時在DataWorks中可以采集Hologres元數(shù)據(jù)，查看Hologres表血緣和字段血緣信息狂票。
更多完整功能列表請查看Hologres V2.1功能發(fā)布記錄
