1. 概覽
我們都知道Doris 目前是一個典型的Share-Nothing的架構(gòu)，Doris 通過綁定數(shù)據(jù)和計算資源在同一個節(jié)點獲得非常好的性能表現(xiàn). 但隨著Doris 計算引擎性能持續(xù)提高, 越來越多的用戶也開始選擇使用Doris直接查詢數(shù)據(jù)湖數(shù)據(jù). 這類場景是一種Share-Disk場景, 數(shù)據(jù)往往存儲在遠(yuǎn)端的 HDFS/S3 上, 計算在 Doris 中, Doris 通過網(wǎng)絡(luò)獲取數(shù)據(jù), 然后在內(nèi)存完成計算. 而如果這兩個負(fù)載都混合在同一個集群時, 對于目前 Doris 的架構(gòu)就會出現(xiàn)以下不足:
- 資源隔離差, 兩個負(fù)載對集群的響應(yīng)要求不一, 混合部署會有相互的影響，
- 數(shù)據(jù)湖場景下磁盤利用率低：集群擴容時, 數(shù)據(jù)湖查詢只需要擴容計算資源, 而目前只能存儲計算一起擴容, 導(dǎo)致磁盤使用率變低
- 擴容效率差: 擴容后會啟動Tablet數(shù)據(jù)的遷移, 整體過程比較漫長. 而數(shù)據(jù)湖查詢有著明顯的高峰低谷, 需要小時級彈性能力.
Shared Nothing：各個處理單元都有自己私有的CPU/內(nèi)存/硬盤等含末，不存在共享資源闯估，類似于MPP（大規(guī)模并行處理）模式撰洗，各處理單元之間通過協(xié)議通信，并行處理和擴展能力更好耻矮。典型代表DB2 DPF和Hadoop 果正，各節(jié)點相互獨立炎码，各自處理自己的數(shù)據(jù)，處理后的結(jié)果可能向上層匯總或在節(jié)點間流轉(zhuǎn)秋泳。我們常說的 Sharding 其實就是Share Nothing架構(gòu)潦闲，它是把某個表從物理存儲上被水平分割，并分配給多臺服務(wù)器（或多個實例）迫皱，每臺服務(wù)器可以獨立工作歉闰，具備共同的schema，比如MySQL Proxy和Google的各種架構(gòu)，只需增加服務(wù)器數(shù)就可以增加處理能力和容量新娜。
針對上面這些不足的地方，我們專門設(shè)計出來一種用于聯(lián)邦計算的 BE 節(jié)點角色：計算節(jié)點既绩，這種角色的 BE 節(jié)點概龄，專門處理數(shù)據(jù)湖這類遠(yuǎn)程的聯(lián)邦查詢. 原來的BE節(jié)點類型稱為混合節(jié)點, 這類節(jié)點既能做SQL查詢, 又有Tablet數(shù)據(jù)存儲管理. 而計算節(jié)點只能做SQL查詢, 它不會保存任何數(shù)據(jù).
有了計算節(jié)點后, 集群部署拓?fù)湟矔l(fā)生變: 混合節(jié)點用于OLAP類型表的數(shù)據(jù)計算, 這個節(jié)點根據(jù)存儲的需求而擴容, 而計算節(jié)點用于聯(lián)邦查詢, 該節(jié)點類型隨著計算負(fù)載而擴容.
此外, 計算節(jié)點由于沒有存儲, 因此在部署時, 計算節(jié)點可以混部在HDD磁盤機器或者部署在容器之中
這樣這種節(jié)點其實就變成了一個無狀態(tài)的 BE 節(jié)點，我們可以非常容易的進(jìn)行彈性伸縮饲握，不需要想之前混合節(jié)點那樣私杜，在擴展集群的時候，需要等待 tablet 副本均衡完成救欧，這個節(jié)點才能進(jìn)行有效的負(fù)載衰粹。
2. 彈性節(jié)點使用
Doris的安裝這里我就不做太多詳細(xì)介紹了，具體的可以參照: Apache Doris 系列：入門篇-安裝部署
需要注意的點：
FE 配置
在 fe.conf 里添加下面?zhèn)z個配置
prefer_compute_node_for_external_table=true
min_backend_num_for_external_table=1
- prefer_compute_node_for_external_table : 如果設(shè)置為 true笆怠，對外部表的查詢將優(yōu)先分配給計算節(jié)點铝耻。計算節(jié)點的最大數(shù)量由
min_backend_num_for_external_table控制。如果設(shè)置為 false蹬刷，對外部表的查詢將分配給任何節(jié)點 - min_backend_num_for_external_table : 僅在
prefer_compute_node_for_external_table為 true 時生效瓢捉。如果計算節(jié)點數(shù)小于此值，則對外部表的查詢將嘗試使用一些混合節(jié)點办成，讓節(jié)點總數(shù)達(dá)到這個值泡态。如果計算節(jié)點數(shù)大于這個值，外部表的查詢將只分配給計算節(jié)點迂卢， 默認(rèn)值是3某弦，這里我演示因為節(jié)點數(shù)量問題，我設(shè)置成了1而克，
BE 配置
在be.conf 里添加下面配置靶壮，
be_node_role=computation
該配置項默認(rèn)為mix, 即原來的BE節(jié)點類型, 設(shè)置為computation后, 該節(jié)點為計算節(jié)點.
我這里是將，192.168.0.128 和 192.168.0.129 這兩個節(jié)點設(shè)置成計算節(jié)點
然后我們將節(jié)點加入到集群之后拍摇，并啟動節(jié)點亮钦，查看 BE 的信息，可以看到充活，NodeRole 這個字段蜂莉，如果是 mix 表示為混合節(jié)點，如果是computation表示為計算節(jié)點
mysql> show backends\G;
*************************** 1. row ***************************
BackendId: 11007
Cluster: default_cluster
IP: 192.168.0.114
HostName: 192.168.0.114
HeartbeatPort: 9050
BePort: 9060
HttpPort: 8040
BrpcPort: 8060
LastStartTime: 2023-06-03 21:51:24
LastHeartbeat: 2023-06-03 21:51:40
Alive: true
SystemDecommissioned: false
ClusterDecommissioned: false
TabletNum: 21
DataUsedCapacity: 0.000
AvailCapacity: 177.323 GB
TotalCapacity: 196.735 GB
UsedPct: 9.87 %
MaxDiskUsedPct: 9.87 %
RemoteUsedCapacity: 0.000
Tag: {"location" : "default"}
ErrMsg:
Version: doris-2.0.0-alpha-a925ec9
Status: {"lastSuccessReportTabletsTime":"2023-06-03 21:51:26","lastStreamLoadTime":-1,"isQueryDisabled":false,"isLoadDisabled":false}
HeartbeatFailureCounter: 0
NodeRole: mix
*************************** 2. row ***************************
BackendId: 11026
Cluster: default_cluster
IP: 192.168.0.128
HostName: 192.168.0.128
HeartbeatPort: 9050
BePort: 9060
HttpPort: 8040
BrpcPort: 8060
LastStartTime: 2023-06-03 21:50:34
LastHeartbeat: 2023-06-03 21:51:40
Alive: true
SystemDecommissioned: false
ClusterDecommissioned: false
TabletNum: 0
DataUsedCapacity: 0.000
AvailCapacity: 177.323 GB
TotalCapacity: 196.735 GB
UsedPct: 9.87 %
MaxDiskUsedPct: 9.87 %
RemoteUsedCapacity: 0.000
Tag: {"location" : "default"}
ErrMsg:
Version: doris-2.0.0-alpha-a925ec9
Status: {"lastSuccessReportTabletsTime":"2023-06-03 21:51:38","lastStreamLoadTime":-1,"isQueryDisabled":false,"isLoadDisabled":false}
HeartbeatFailureCounter: 0
NodeRole: computation
*************************** 3. row ***************************
BackendId: 11045
Cluster: default_cluster
IP: 192.168.0.129
HostName: 192.168.0.129
HeartbeatPort: 9050
BePort: 9060
HttpPort: 8040
BrpcPort: 8060
LastStartTime: 2023-06-03 21:49:52
LastHeartbeat: 2023-06-03 21:51:40
Alive: true
SystemDecommissioned: false
ClusterDecommissioned: false
TabletNum: 0
DataUsedCapacity: 0.000
AvailCapacity: 177.319 GB
TotalCapacity: 196.735 GB
UsedPct: 9.87 %
MaxDiskUsedPct: 9.87 %
RemoteUsedCapacity: 0.000
Tag: {"location" : "default"}
ErrMsg:
Version: doris-2.0.0-alpha-a925ec9
Status: {"lastSuccessReportTabletsTime":"2023-06-03 21:51:02","lastStreamLoadTime":-1,"isQueryDisabled":false,"isLoadDisabled":false}
HeartbeatFailureCounter: 0
NodeRole: computation
3 rows in set (0.00 sec)
3. 測試
下面我們以 MySQL Catalog 外表為例來測試彈性節(jié)點的使用
創(chuàng)建MySQL Catalog
CREATE CATALOG mysql properties (
"type"="jdbc",
"jdbc.user"="root",
"jdbc.password"="NewPass4321!",
"jdbc.jdbc_url"="jdbc:mysql://192.168.0.250:3306/test",
"jdbc.driver_url"="mysql-connector-java-8.0.25.jar",
"jdbc.driver_class"="com.mysql.cj.jdbc.Driver"
)
查詢 Catalog 外表
mysql> set enable_profile = true;
Query OK, 0 rows affected (0.00 sec)
mysql> select date,user_src,new_order,payed_order from mysql.test.order_analysis limit 2;
+---------------------+-------------------------+-----------+-------------+
| date | user_src | new_order | payed_order |
+---------------------+-------------------------+-----------+-------------+
| 2015-10-12 00:00:00 | 廣告二維碼 | 15253 | 13210 |
| 2015-10-14 00:00:00 | 微信朋友圈H5頁面 | 17134 | 11270 |
+---------------------+-------------------------+-----------+-------------+
2 rows in set (0.03 sec)
查看 FE Web UI QueryProfile
查看我們剛才執(zhí)行的 SQL Profile 可以看到混卵，這個Catalog外表的計算是在計算節(jié)點上進(jìn)行的映穗，并不是在混合節(jié)點上
將外部表的數(shù)據(jù)導(dǎo)入到 Doris 內(nèi)表里
mysql> create table test_01 as select * from mysql.test.order_analysis;
ERROR 1105 (HY000): Unexpected exception: errCode = 2, detailMessage = Failed to execute CTAS Reason: errCode = 2, detailMessage = Failed to find 3 backend(s) for policy: cluster=default_cluster | query=false | load=false | schedule=true | tags=[{"location" : "default"}] | medium=HDD
mysql>
這里可以看到通過Create table as Select這種才做是失敗的，原因是因為幕随，我這個時候只有一個混合BE節(jié)點蚁滋，默認(rèn)三副本，所以失敗。同時也說明的彈性計算節(jié)點是不帶存儲的辕录，不存儲tablet副本信息睦霎。
下面在創(chuàng)建表的時候指定副本是 1 就可以正常創(chuàng)建表，并將數(shù)據(jù)導(dǎo)入進(jìn)去走诞。因為這里只有一個（192.168.0.114）節(jié)點是mix類型的節(jié)點副女，其他兩個節(jié)點都是計算節(jié)點。
mysql> create table test_01 PROPERTIES("replication_num" = "1") as select * from mysql.test.order_analysis;
Query OK, 5061 rows affected (0.29 sec)
{'label':'insert_9c013d7ccf064a16_a7ca128d72869a35', 'status':'VISIBLE', 'txnId':'1'}
mysql> select count(*) from test_01;
+----------+
| count(*) |
+----------+
| 5061 |
+----------+
1 row in set (0.07 sec)
mysql>
下面我們在 Doris 內(nèi)表上執(zhí)行查詢
我們在Web UI上同樣可以看到內(nèi)表執(zhí)行的節(jié)點是在Mix類型的節(jié)點上蚣旱。
計算節(jié)點下線
下線操作和之前 BE 節(jié)點的下線一樣碑幅，只不過這個下線速度會非常的快，這是因為這個節(jié)點不保存 tablet 數(shù)據(jù)塞绿，下線的時候不需要進(jìn)行tablet 副本的均衡操作沟涨。
alter system DECOMMISSION backend "192.168.0.128:9050";
4. 總結(jié)
是不是使用非常簡單方便，同時對于數(shù)據(jù)湖外表計算需要快速彈性擴縮容的場景异吻，既簡單又快捷裹赴，快快體驗起來吧
