一昂儒，編譯文件的下載準備
- 預(yù)編譯文件下載 Palo文檔PALO - 預(yù)編譯版本下載 | Doris (baidu.com)
- 先確認待安裝的服務(wù)器的CPU是否支持avx2指令，這個過程所有服務(wù)器都需要確定忱反。
0.14.13.1 及之后的版本需要運行環(huán)境的 CPU 支持 avx2 指令伯复，你可以通過 cat /proc/cpuinfo 查看是否支持樱报。如果不支持阵面，請使用帶 no-avx2 后綴的版本绣否。avx2 指令會顯著提升 bloomfilter 等數(shù)據(jù)結(jié)構(gòu)的計算效率誊涯，從而影響索引過濾、runtime filter 等功能的效率枝秤。
使用以下命令查看：
[root@DORIS-FE-PRD01 ~]# cat /proc/cpuinfo
image.png
-
根據(jù)服務(wù)器是否試支持avx2選擇對應(yīng)的版本下載
image.png - 下載完后得到PALO-0.15.1-rc09-binary.tar.gz醋拧，上傳至服務(wù)器
- 上傳完成后使用解壓命令 tar zxvf 解壓得到PALO-0.15.1-rc09-binary目錄，目錄結(jié)構(gòu)如下淀弹，主要關(guān)注be和fe目錄。
tar zxvf 文件夾名稱
二庆械，F(xiàn)E的配置啟動
- 進入fe/conf, vim be.conf 編輯配置文件 關(guān)鍵的幾個配置如下
- meta_dir 屬性默認配置為 ${DORIS_HOME}/doris-meta薇溃，
- 其中 ${DORIS_HOME}為當前的fe的文件夾路徑 屬性值需要提前創(chuàng)建文件夾路徑
- 使用默認地址的話 提前在fe中創(chuàng)建doris-meta文件夾
# meta_dir = ${DORIS_HOME}/doris-meta
- 啟動FE
# 進入 fe的bin目錄
[root@DORIS-FE-PRD01 bin]# cd /home/doris/fe/bin
# 運行啟動腳本
[root@DORIS-FE-PRD01 bin]# sh start_fe.sh --daemon
# 進入 conf目錄
[root@DORIS-FE-PRD01 bin]# cd ../log
# 查看啟動日志
[root@DORIS-FE-PRD01 bin]# tail -f fe.out
# FE的關(guān)閉命令
[root@DORIS-FE-PRD01 bin]# sh stop_fe.sh --daemon
- 需要 外網(wǎng)連接的話 開放外網(wǎng)端口 9050
- 使用裝有mysql的服務(wù)器 測試連接數(shù)據(jù)庫 mysql -h 本機的ip -P 9030 -uroot
- Doris 默認初始啟動沒有密碼
[root@DORIS-FE-PRD01 bin]# mysql -h 本機的ip -P 9030 -uroot
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 5781
Server version: 5.1.0 Doris version 0.15.1-rc09-Unknown
Copyright (c) 2000, 2021, Oracle and/or its affiliates.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql>
三，BE的配置啟動
- 把be文件夾 復(fù)制到子節(jié)點服務(wù)器
- 修改conf/be.conf
- 關(guān)鍵性配置 storage_root_path 數(shù)據(jù)存放目錄 默認為 ${DORIS_HOME}/storage
- 使用默認配置需要提前在be文件夾下創(chuàng)建storage 目錄
主要是配置 storage_root_path：數(shù)據(jù)存放目錄缭乘。默認在be/storage下沐序，需要手動創(chuàng)建該目錄。多個路徑之間使用英文狀態(tài)的分號 ; 分隔（最后一個目錄后不要加 ;）堕绩〔哂祝可以通過路徑區(qū)別存儲目錄的介質(zhì)，HDD或SSD奴紧√亟悖可以添加容量限制在每個路徑的末尾，通過英文狀態(tài)逗號,隔開黍氮。
- 示例1如下：
注意：如果是SSD磁盤要在目錄后面加上.SSD,HDD磁盤在目錄后面加.HDD
storage_root_path=/home/disk1/doris.HDD,50;/home/disk2/doris.SSD,10;/home/disk2/doris
- 啟動關(guān)閉BE節(jié)點
進入be目錄
[root@DORIS-BE-PRD01 conf]# cd /home/doris/be/bin
運行啟動腳本
[root@DORIS-BE-PRD01 bin]# sh start_be.sh --daemon
日志同樣在log目錄下 自行查看
運行暫停腳本
[root@DORIS-BE-PRD01 bin]# sh stop_be.sh --daemon
四唐含，Be接入Fe
- 使用mysql 登入Fe
- 使用如下命令 添加Be節(jié)點
# ALTER SYSTEM ADD BACKEND "Be的主機Ip:端口";
端口默認為 9050
ALTER SYSTEM ADD BACKEND "192.168.16.66:9050";
- 添加完后浅浮，通過show proc '/backends';查看be節(jié)點的狀態(tài)，主要關(guān)注alive節(jié)點存活狀態(tài) 是否正常捷枯。
mysql> show proc '/backends';
+-----------+-----------------+---------------+-----------------------------+---------------+--------+----------+----------+---------------------+---------------------+-------+----------------------+-----------------------+-----------+------------------+---------------+---------------+---------+----------------+--------------------------+--------+---------------------+--------------------------------------------------------------------------------+
| BackendId | Cluster | IP | HostName | HeartbeatPort | BePort | HttpPort | BrpcPort | LastStartTime | LastHeartbeat | Alive | SystemDecommissioned | ClusterDecommissioned | TabletNum | DataUsedCapacity | AvailCapacity | TotalCapacity | UsedPct | MaxDiskUsedPct | Tag | ErrMsg | Version | Status |
+-----------+-----------------+---------------+-----------------------------+---------------+--------+----------+----------+---------------------+---------------------+-------+----------------------+-----------------------+-----------+------------------+---------------+---------------+---------+----------------+--------------------------+--------+---------------------+--------------------------------------------------------------------------------+
| 10009 | default_cluster | 192.168.16.66 | doris-be-prd01.aimatech.com | 9050 | 9060 | 8040 | 8060 | 2022-02-19 10:50:31 | 2022-02-21 11:21:11 | true | false | false | 68 | 2.802 GB | 2.615 TB | 2.619 TB | 0.14 % | 0.42 % | {"location" : "default"} | | 0.15.1-rc09-Unknown | {"lastSuccessReportTabletsTime":"2022-02-21 11:20:46","lastStreamLoadTime":-1} |
+-----------+-----------------+---------------+-----------------------------+---------------+--------+----------+----------+---------------------+---------------------+-------+----------------------+-----------------------+-----------+------------------+---------------+---------------+---------+----------------+--------------------------+--------+---------------------+--------------------------------------------------------------------------------+
1 rows in set (0.02 sec)
五滚秩，Brock插件的配置啟動
六，配置注意事項
1淮捆， Fe和Be 接入通訊失敗 live一直為false
- 查看BE的綁定IP
- Be的話 查看 log下的be.INFO文件郁油，查找 local host ip=
I0408 18:30:13.311982 759996 daemon.cpp:269] Disk Info:
Num disks 3: vda, vdb, vdc
I0408 18:30:13.312005 759996 daemon.cpp:270] Mem Info:
15.51 GB
CGroup Info: Process CGroup Info:
memory.limit_in_bytes=9223372036854771712, cpu cfs limits:
unlimited
I0408 18:30:13.313442 759996 backend_options.cpp:88] priority
cidrs in conf: 192.168.80.90/24
I0408 18:30:13.313583 759996 backend_options.cpp:76] local host ip=192.168.80.23
I0408 18:30:13.314463 759996 storage_engine.cpp:101] starting
backend using uid:c841ea9c2a6e772f-952be54ac80c3988
FE接入BE的時候 使用的IP為 上邊查看出來的綁定IP 端口默認為9050
- 設(shè)置Fe的登入密碼
- 登入 Fe 執(zhí)行 修改賬號密碼的sql即可 sql如下：
SET PASSWORD FOR 'root' = PASSWORD('your_password');
2， 物理刪除Be節(jié)點 （對Be縮容）
- show proc '/backends';查看be節(jié)點的狀態(tài)
- 執(zhí)行 如下兩個命令即可
ALTER SYSTEM DROP BACKEND "be_host:be_heartbeat_service_port"; ALTER SYSTEM DROPP BACKEND "be_host:be_heartbeat_service_port";
3攀痊， BE節(jié)點的重新啟動
- 一定要先關(guān)閉BE節(jié)點 然后等待二到三分鐘 等待端口占用關(guān)掉 已艰，然后再去查看端口占用情況，
[root@localhost conf]# netstat -anp | grep 8040
tcp 0 0 0.0.0.0:8040 0.0.0.0:* LISTEN 823334/palo_be
- 如果端口占用還未被釋放 就手動釋放端口 關(guān)閉線程
- BE啟動報錯 Address already in use
Check failed: s.ok() Internal error: tcp listen failed, errno=98, errmsg=Address already in use
- 這個就是端口占用 啟動失敗 可以查看端口的使用情況 或者更改配置 更換端口
4蚕苇， 初次啟動bin/start_be.sh --daemon時哩掺，啟動不了，出現(xiàn)以下問題
- 原因是文件最大句柄數(shù)太小涩笤。 只需要修改文件最大句柄大小即可
5嚼吞，F(xiàn)e綁定ip 默認都去綁定內(nèi)網(wǎng)的ip 一定要配置這個屬性哦 如下： 24 跟32 不要改 結(jié)尾的0 不要變動 前三位根據(jù)實際的網(wǎng)絡(luò)Ip地址前綴來
image.png
七，日常操作命令
- 創(chuàng)建用戶
CREATE USER 'test' IDENTIFIED BY 'test_passwd';
- 創(chuàng)建數(shù)據(jù)庫
CREATE DATABASE example_db;
- 查看數(shù)據(jù)庫
SHOW DATABASES;
- 賬戶授權(quán)
GRANT ALL ON example_db TO test;
- 查看表
SHOW TABLES;
- 單分區(qū) 建表語句
CREATE TABLE table1
(
siteid INT DEFAULT '10',
citycode SMALLINT,
username VARCHAR(32) DEFAULT '',
pv BIGINT SUM DEFAULT '0'
)
AGGREGATE KEY(siteid, citycode, username)
DISTRIBUTED BY HASH(siteid) BUCKETS 10
PROPERTIES("replication_num" = "1");
- 復(fù)合分區(qū)建表語句
CREATE TABLE table2
(
event_day DATE,
siteid INT DEFAULT '10',
citycode SMALLINT,
username VARCHAR(32) DEFAULT '',
pv BIGINT SUM DEFAULT '0'
)
AGGREGATE KEY(event_day, siteid, citycode, username)
PARTITION BY RANGE(event_day)
(
PARTITION p201706 VALUES LESS THAN ('2017-07-01'),
PARTITION p201707 VALUES LESS THAN ('2017-08-01'),
PARTITION p201708 VALUES LESS THAN ('2017-09-01')
)
DISTRIBUTED BY HASH(siteid) BUCKETS 10
PROPERTIES("replication_num" = "1");
文獻參考：
Apache Doris
Doris集群安裝部署
