1.環(huán)境準(zhǔn)備
1.1.SSE4.2驗(yàn)證
驗(yàn)證是否支持SSE 4.2指令集,因?yàn)橄蛄炕瘓?zhí)行需要用到這項(xiàng)特性
# grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"
> SSE 4.2 supported
如果不支持SSE指令集悯搔，則不能直接使用先前下載的預(yù)編譯安裝包，需要通過源
碼編譯特定的版本進(jìn)行安裝
ps:如果宿主機(jī)支持,那么看這篇文章關(guān)于虛擬化中cpu的指令集SSE 4.2的不支持,實(shí)在不行,那么換機(jī)器吧
1.2.docker安裝
-
https://hub.docker.com/搜索clickhouse - 拉取鏡像
docker pull clickhouse/clickhouse-server - 啟動(dòng)容器
docker run -d -v /etc/hosts:/etc/hosts:ro -v /etc/localtime:/etc/localtime:ro -v $(realpath ./ch_data):/var/lib/clickhouse/ -v $(realpath ./ch_logs):/var/log/clickhouse-server/ -p 18123:8123 -p19000:9000 --name some-clickhouse-server --ulimit nofile=262144:262144 clickhouse/clickhouse-server
-v /etc/localtime:/etc/localtime:ro掛載宿主機(jī)時(shí)區(qū),ro為只讀,防止容器更改
-v /etc/hosts:/etc/hosts:ro掛載宿主機(jī)的路由表,方便后續(xù)配置集群使用
ClickHouse存儲(chǔ)數(shù)據(jù)的主文件夾$(realpath ./ch_data) 當(dāng)前文件夾下的ch_data文件夾
日志$(realpath ./ch_logs)當(dāng)前文件下的ch_log文件夾
clickhouse-client 端口映射外部19000
http端口映射外部18123
容器名稱some-clickhouse-server
1.3.配置修改
復(fù)制容器中的配置
users.xmlconfig.xml
容器查看命令docker ps -a
sudo docker cp [容器id] /etc/clickhouse-server/users.xml /存放目錄/users.xml
sudo docker cp [容器id] /etc/clickhouse-server/config.xml.xml /存放目錄/config.xml
1.3.1.users.xml配置修改默認(rèn)密碼
生成
sha256_hex方式echo -n root,.123 | openssl dgst -sha256
<users>
<!-- 默認(rèn)賬號(hào) ,賬號(hào)名-->
<default>
<!--密碼-->
<!--
<password>root,.123</password>
-->
<!--加密密碼-->
<password_sha256_hex>a14c4c9d228e0cc32814050fea0f1df49dad0e1857615f5c7900bcb8d33b55a1</password_sha256_hex>
<!--用戶可以從中連接到ClickHouse服務(wù)器的網(wǎng)絡(luò)列表-->
<networks>
<ip>::/0</ip>
</networks>
<!--可以配讀寫,只讀,寫等 不一一列舉,自行查閱-->
<profile>default</profile>
<!--限制用戶使用資源,自行查閱-->
<quota>default</quota>
<!--(超級(jí)權(quán)限)用戶可以創(chuàng)建其他用戶癌椿，并賦予其他用戶權(quán)限 ,0關(guān)閉,1開啟-->
<access_management>1</access_management>
</default>
</users>
1.3.2. 掛載users.xml
加入掛載文件
-v [修改過后的users.xml路徑]:/etc/clickhouse-server/users.xml
1.3.3. config.xml配置集群(3分片1副本)
- 新建一個(gè)文件
vi metrika.xml,內(nèi)容如下,這里replica中的host也就是我們/etc/hosts表中的信息,已經(jīng)掛載到容器內(nèi)了zookeeper使用的是現(xiàn)成的- 我這里拉下來的clickhouse鏡像版本為
21.12.3.32,其中config.xml文件中有測(cè)試分片的配置,找到<remote_servers>標(biāo)簽,刪掉標(biāo)簽以及子標(biāo)簽信息,或者注釋掉,又或者備份一個(gè)作為單機(jī)配置使用
4.這里clickhouse的port為19000,由docker容器化映射的外部端口
5.注意replica中的password不能使用加密密碼,只能使用明文,原網(wǎng)站部署Smartbi MPP分布式集群
<yandex>
<clickhouse_remote_servers>
<!-- 自定義的集群名稱 -->
<ck_cluster>
<!-- 分片信息 -->
<shard>
<weight>1</weight>
<!-- 分布式表寫入數(shù)據(jù)是否只寫入到一個(gè)副本，配合復(fù)制表引擎使用杉允，默認(rèn)false -->
<internal_replication>true</internal_replication>
<!-- 分片副本信息膳犹，這里指定的用戶名密碼只能是明文，如果需要密文密碼需要將配置指向users.xml中的profile中 -->
<replica>
<host>node95</host>
<port>19000</port>
<user>default</user>
<!--不能使用加密密碼-->
<password>root,.123</password>
</replica>
</shard>
<shard>
<weight>1</weight>
<internal_replication>true</internal_replication>
<replica>
<host>node94</host>
<port>19000</port>
<user>default</user>
<password>root,.123</password>
</replica>
</shard>
<shard>
<weight>1</weight>
<internal_replication>true</internal_replication>
<replica>
<host>node93</host>
<port>19000</port>
<user>default</user>
<password>root,.123</password>
</replica>
</shard>
</ck_cluster>
</clickhouse_remote_servers>
<!-- Replicated*MergeTree會(huì)用到zk -->
<zookeeper-servers>
<node index="1">
<host>node95</host>
<port>2181</port>
</node>
<node index="2">
<host>node94</host>
<port>2181</port>
</node>
<node index="3">
<host>node93</host>
<port>2181</port>
</node>
</zookeeper-servers>
<!-- Replicated*MergeTree建表語句的參數(shù)蜂林，指定zk的存儲(chǔ)目錄用 -->
<macros>
<!--集群名稱-->
<layer>ck_cluster</layer>
<!--分片-->
<shard>shard01</shard>
<!--副本-->
<replica>replica01</replica>
</macros>
<!-- 監(jiān)聽網(wǎng)絡(luò)-->
<networks>
<ip>::/0</ip>
</networks>
<!-- 數(shù)據(jù)壓縮算法 -->
<clickhouse_compression>
<case>
<min_part_size>10000000000</min_part_size>
<min_part_size_ratio>0.01</min_part_size_ratio>
<method>lz4</method>
</case>
</clickhouse_compression>
</yandex>
config.xml文件需要修改,添加如下信息
1.1. 添加信息
<include_from>/etc/clickhouse-server/metrika.xml</include_from>指定我們剛才新建metrika.xml文件路徑,這個(gè)路徑是容器內(nèi)的路徑,到時(shí)候需要掛載到容器中
<remote_servers incl="clickhouse_remote_servers" optional="true" />
<zookeeper incl="zookeeper-servers" optional="true" />
1.2.網(wǎng)絡(luò)
查找到<listen_host>標(biāo)簽（注釋里）
如果集群ipv4和ipv6地址都支持遥诉，將：
<listen_host>::</listen_host> 取消注釋
如果集群支持ipv4和不支持ipv6拇泣，將：
<listen_host>0.0.0.0</listen_host> 取消注釋
下面這種方式我沒有成功，應(yīng)該是我的服務(wù)器沒有設(shè)置支持ipv6
<listen_host>::1</listen_host>
<listen_host>127.0.0.1</listen_host>
1.3.遺漏點(diǎn)
之前沒有配置clickhouse中的時(shí)區(qū),文件中的<timezone>內(nèi)容修改為<timezone>Asia/Shanghai</timezone>
1.3.4.重構(gòu)容器
先停止之前的容器
docker stop [容器id]
再刪除容器docker rm [容器id]
啟動(dòng)容器,命令如下:
docker run -d -v /etc/hosts:/etc/hosts:ro -v /etc/localtime:/etc/localtime:ro -v /home/bigdata/clickhouse_docker/metrika.xml:/etc/clickhouse-server/metrika.xml -v /home/bigdata/clickhouse_docker/users.xml:/etc/clickhouse-server/users.xml -v /home/bigdata/clickhouse_docker/config.xml:/etc/clickhouse-server/config.xml -v /home/bigdata/clickhouse_docker/ch_data:/var/lib/clickhouse/ -v /home/bigdata/clickhouse_docker/ch_log:/var/log/clickhouse-server/ -p 18123:8123 -p19000:9000 --name some-clickhouse-server --ulimit nofile=262144:262144 clickhouse/clickhouse-server
1.額外掛載了metrika.xmlconfig.xmluser.xml
2.其他的2個(gè)節(jié)點(diǎn)分別按照以上1.3.3~1.3.4的方式操作
3.補(bǔ)充一個(gè)傳輸?shù)拿?scp -r /home/bigdata/clickhouse_docker 用戶名@主機(jī):/home/bigdata/clickhouse_docker
4.docker鏡像操作保存鏡像到本地 docker save -o 保存的名字.tar 鏡像REPOSITORY 鏡像TAG
如docker save -o clickhouse.tar clickhouse/clickhouse-server latest
加載本地tar到鏡像 docker load -i tar包名
如docker load -i clickhouse.tar
1.4集群驗(yàn)證
登錄clickhouse,執(zhí)行sql
SELECT * FROM system.clusters會(huì)看到以下信息
集群情況查看
1.5分片測(cè)試
- 在3個(gè)節(jié)點(diǎn)都執(zhí)行以下sql,其中
ck_cluster為我們的集群名稱,這點(diǎn)注意
--本地表
create table person_local (ID Int8, Name String, BirthDate Date) ENGINE = MergeTree(BirthDate, (Name, BirthDate), 8192);
--分布表（Distributed）本身不存儲(chǔ)數(shù)據(jù)矮锈，相當(dāng)于路由霉翔，需要指定集群名、數(shù)據(jù)庫(kù)名苞笨、數(shù)據(jù)表名债朵、分片KEY.
這里分片用rand()函數(shù)，表示隨機(jī)分片瀑凝。
create table person_all as person_local ENGINE = Distributed(ck_cluster, default, person_local, rand());
補(bǔ)充:
查詢分布表葱弟，會(huì)根據(jù)集群配置信息，路由到具體的數(shù)據(jù)表猜丹，再把結(jié)果進(jìn)行合并芝加。
person_local 為本地表，數(shù)據(jù)只是在本地
person_all 為分布式表射窒，查詢這個(gè)表藏杖，引擎自動(dòng)把整個(gè)集群數(shù)據(jù)計(jì)算后返回
-
執(zhí)行完畢,結(jié)構(gòu)是這樣的
分片測(cè)試表 - 數(shù)據(jù)插入sql
insert into person_all (*) values ('1','a','2021-10-01');
insert into person_all (*) values ('2','b','2021-10-01');
insert into person_all (*) values ('3','c','2021-10-01');
insert into person_all (*) values ('4','d','2021-10-01');
insert into person_all (*) values ('5','e','2021-10-01');
insert into person_all (*) values ('6','f','2021-10-01');
insert into person_all (*) values ('7','g','2021-10-01');
insert into person_all (*) values ('8','h','2021-10-01');
insert into person_all (*) values ('9','i','2021-10-01');
insert into person_all (*) values ('10','j','2021-10-01');
insert into person_all (*) values ('11','k','2021-10-01');
insert into person_all (*) values ('12','l','2021-10-01');
- 數(shù)據(jù)查詢驗(yàn)證,結(jié)果如下
select * from person_all;
select * from person_local;
- 可以發(fā)現(xiàn)數(shù)據(jù)分片到了三臺(tái)機(jī)器的本地表。
感謝
Clickhouse分布式集群搭建
ClickHouse集群安裝部署流程（踩坑解決）
clickhouse分布式三分片一副本部署
