在安裝clickhouse集群前式矫，先學(xué)習(xí)一下clickhouse集群的概念婿斥。
shard 數(shù)據(jù)分片
把一份數(shù)據(jù)切分為多份带兜，分別放在不同的數(shù)據(jù)庫(kù)服務(wù)器上汁尺，通過(guò)多臺(tái)服務(wù)器資源提升數(shù)據(jù)訪(fǎng)問(wèn)效率谅摄。主要用于提升性能徒河。如下圖示：
shared
原Collectionl有1TB數(shù)據(jù)，進(jìn)行分片后送漠，數(shù)據(jù)拆分為4份顽照，每份256G。就是說(shuō)：將原來(lái)1TB的數(shù)據(jù)需要1臺(tái)服務(wù)器來(lái)計(jì)算的工作量闽寡，通過(guò)分片后改為：1TB的數(shù)據(jù)用4臺(tái)服務(wù)器來(lái)計(jì)算代兵，每臺(tái)服務(wù)器計(jì)算256G數(shù)據(jù)。
replica 副本
一份shard的副本爷狈。主要用于保證shard的高可用植影。
上圖中ShardA~ShardD等4個(gè)shard其中之一不可用時(shí)，replica將代替不可用的shard淆院，對(duì)外保證Collectionl數(shù)據(jù)一致性何乎。
總結(jié)：
綜上，要讓clickhouse高性能土辩、高可用的運(yùn)行支救，至少需要4臺(tái)服務(wù)器，其中2臺(tái)做shard拷淘，其中2臺(tái)做shard的replica各墨。如下圖：
集群架構(gòu)圖
搭建前準(zhǔn)備
- 準(zhǔn)備一臺(tái)虛擬機(jī)2c4G，安裝配置docker启涯，安裝docker-compose：
# 安裝docker-compose腳本贬堵。
[root@docker ~]# curl -L "https://github.com/docker/compose/releases/download/1.26.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
# 授予執(zhí)行權(quán)限
[root@docker ~]# chmod +x /usr/local/bin/docker-compose
- 編寫(xiě)docker-compose.yml文件
[root@docker opt]# mkdir -p /opt/cluster-ch
[root@docker opt]# cd /opt/cluster-ch/
# 拉取鏡像
[root@docker opt]# docker pull clickhouse-server:20.3
# 編寫(xiě) yml文件
[root@docker cluster-ch]# vi docker-compose.yml
# 在文件中添加
version: '3.7'
services:
clickHouse1:
image: yandex/clickhouse-server:20.3
container_name: clickHouse1
environment:
TZ: Asia/Shanghai
HOSTNAME: clickHouse1
networks:
- net_docker
ulimits:
nofile:
soft: 262144
hard: 262144
volumes:
- ./docker_compose_data/node1/ch_log:/var/log/clickhouse-server
- ./docker_compose_data/node1/ch_data:/var/lib/clickhouse
- ./docker_compose_data/clickhouse-server1:/etc/clickhouse-server
ports:
- 9001:9000
- 8121:8123
- 9011:9009
clickHouse2:
image: yandex/clickhouse-server:20.3
container_name: clickHouse2
environment:
TZ: Asia/Shanghai
HOSTNAME: clickHouse2
networks:
- net_docker
ulimits:
nofile:
soft: 262144
hard: 262144
volumes:
- ./docker_compose_data/node2/ch_log:/var/log/clickhouse-server
- ./docker_compose_data/node2/ch_data:/var/lib/clickhouse
- ./docker_compose_data/clickhouse-server2:/etc/clickhouse-server
ports:
- 9002:9000
- 8122:8123
- 9012:9009
networks:
net_docker:
external: true
- 編寫(xiě)clickhouse的集群配置文件
由于資源有限恃轩，本次搭建一個(gè) 2個(gè) shard ， 0個(gè) replica 的集群環(huán)境黎做。
# 啟動(dòng)一個(gè)clickhouse容器后叉跛，拷貝配置文件所在目錄到 docker-compose.yml文件中指定的目錄下。
[root@docker cluster-ch]# docker run -d --name ch 3d72d9ee2a6b
[root@docker cluster-ch]# docker cp ch:/etc/clickhouse-server docker_compose_data
[root@docker cluster-ch]# cd docker_compose_data/clickhouse-server
[root@docker clickhouse-server]# rm -rf preprocessed
# 編寫(xiě)集群配置文件
[root@docker clickhouse-server]# vi metrika.xml
<yandex>
<!-- 集群配置 -->
<clickhouse_remote_servers>
<cluster_2s_1r>
<!-- 數(shù)據(jù)分片1 -->
<shard>
<internal_replication>true</internal_replication>
<replica>
<host>clickHouse1</host>
<port>9000</port>
<user>default</user>
<password></password>
</replica>
</shard>
<!-- 數(shù)據(jù)分片2 -->
<shard>
<internal_replication>true</internal_replication>
<replica>
<host>clickHouse2</host>
<port>9000</port>
<user>default</user>
<password></password>
</replica>
</shard>
</cluster_2s_1r>
</clickhouse_remote_servers>
<networks>
<ip>::/0</ip>
</networks>
<!-- 數(shù)據(jù)壓縮算法 -->
<clickhouse_compression>
<case>
<min_part_size>10000000000</min_part_size>
<min_part_size_ratio>0.01</min_part_size_ratio>
<method>lz4</method>
</case>
</clickhouse_compression>
<macros>
<shard>shard01</shard>
<replica>replica_shard01</replica>
</macros>
</yandex>
# 配置完成后蒸殿，執(zhí)行：
[root@docker clickhouse-server]# cd ../
[root@docker docker_compose_data]# mv clickhouse-server/ clickhouse-server1
# 配置config.xml
[root@docker docker_compose_data]# vi clickhouse-server1/config.xml
# 在文件末尾筷厘，</yandex> 標(biāo)簽前添加如下內(nèi)容：
<include_from>/etc/clickhouse-server/metrika.xml</include_from>
[root@docker docker_compose_data]# cp -r clickhouse-server1/ clickhouse-server2
[root@docker docker_compose_data]# ls
clickhouse-server1 clickhouse-server2
# 編輯shard2的配置文件，
[root@docker docker_compose_data]# vi clickhouse-server2/metrika.xml
# 將<macros>標(biāo)簽改成如下內(nèi)容：
<macros>
<shard>shard02</shard>
<replica>replica_shard02</replica>
</macros>
- 啟動(dòng)clickhouse集群
[root@docker docker_compose_data]# docker-compose up
....
clickHouse2 | Processing configuration file '/etc/clickhouse-server/config.xml'.
clickHouse2 | Merging configuration file '/etc/clickhouse-server/config.d/docker_related_config.xml'.
clickHouse2 | Include not found: clickhouse_remote_servers
clickHouse2 | Include not found: clickhouse_compression
clickHouse2 | Saved preprocessed configuration to '/var/lib/clickhouse//preprocessed_configs/config.xml'.
clickHouse1 | Processing configuration file '/etc/clickhouse-server/config.xml'.
clickHouse1 | Merging configuration file '/etc/clickhouse-server/config.d/docker_related_config.xml'.
clickHouse1 | Include not found: clickhouse_remote_servers
clickHouse1 | Include not found: clickhouse_compression
clickHouse1 | Saved preprocessed configuration to '/var/lib/clickhouse//preprocessed_configs/config.xml'.
# 沒(méi)有異常輸出宏所，安裝完成
可視化clickehouse客戶(hù)端
網(wǎng)上有很多客戶(hù)端酥艳，個(gè)人使用的是DBeaver免費(fèi)版本，下面介紹一下安裝使用經(jīng)驗(yàn)：
DBeaver CE 和 EE版本安裝文件爬骤，都下載64位 ZIP充石，解壓 EE版后找到drivers文件夾，將文件夾復(fù)制到解壓后DBeaver CE目錄下霞玄。這樣骤铃，再進(jìn)行數(shù)據(jù)庫(kù)連接就不用安裝java的驅(qū)動(dòng)jar包了。
啟動(dòng)DBeaver CE版本前溃列，請(qǐng)先安裝JDK劲厌。
最后連接效果如下圖：
DBeaver CE
