背景 在執(zhí)行一個較為復(fù)雜的SQL聚合的時候融柬，報錯了：【報錯】DB::Exception: Allocator: Cannot mmap 64.00 MiB., errno: ...
發(fā)簡信
IP屬地：廣東
-
給ClickHouse增加內(nèi)存
-
部署clickhouse cluster(基于docker+zookeeper)安裝zookeeper 雖然不是必要的磅网，但clickhouse官方建議使用zookeeper部署集群，原因是ck的復(fù)制是用zk實現(xiàn)的： ZooKeeper is not a ...
-
用Airflow調(diào)度數(shù)倉（CK）的ETL腳本安裝 前提：安裝了python剩瓶，我這里是python3 下載 按照官網(wǎng)：pip3 install apache-airflow包太多肺魁，下載太慢改為清華的鏡像：pip3 ins...
-
docker mysql +GTID雙主+keepalived
基本思路：先停掉原mysql哟忍，把這個文件夾壓縮了傳到另一臺機器鹅髓。然后解壓，用docker直接掛載解壓后的文件夾廓八。機器1:192.168.10.2機器2:192.168.10....
-
clickhouse 用戶權(quán)限劃分（ACL）
通過配置/etc/clickhouse-server/user.xml來實現(xiàn)奉芦；user.xml如下： distribute engine 的問題 配置了ACL以后赵抢，訪問分布式...
-
Ubuntu上安裝docker
1.更新apt包索引：sudo apt update #這一步可能會報錯, 參考遇到的問題 2.通過HTTPS使用倉庫(repository)安裝：sudo apt in...
-
mysql left join 導(dǎo)致的 Using join buffer (Block Nested Loop)
問題 在給運營部門寫一個簡單的兩表join的時候，發(fā)現(xiàn)線上的數(shù)據(jù)庫很快声功，本地的數(shù)據(jù)庫很慢烦却。 兩個表經(jīng)過條件篩選以后，數(shù)據(jù)量都差不多是5000條减噪。 按理說5000 join 5...
-
漫談事實表如何設(shè)計（四）一.累積型快照事實表的應(yīng)用場景介紹 針對電商交易瑞眼，設(shè)計了交易下單/支付/確認(rèn)收貨事務(wù)事實表龙宏， 用于統(tǒng)計下單/支付/確認(rèn)收貨的子訂單數(shù)、GMV等伤疙。但仍然有很多需求, 此事務(wù)事實...
-
UnicodeEncodeError: 'ascii' codec can't encode characters in position 29-32: ordinal not in range
環(huán)境python3.7程序在本地調(diào)試的時候沒有問題银酗，但是部署到k8s上的時候報錯了【報錯】 看起來應(yīng)該是寫日志的時候，使用了中文導(dǎo)致編碼錯誤 【解決辦法】因為報錯是寫日志發(fā)生...
-
mysqldump導(dǎo)入導(dǎo)出遇到的問題
1.不導(dǎo)出系統(tǒng)數(shù)據(jù)庫徒像，以免在導(dǎo)入的時候出現(xiàn)錯誤：ERROR 1726 (HY000) at line 17288: Storage engine 'InnoDB' does ...
-
python 常用內(nèi)置函數(shù)
1.字符串和bytes互轉(zhuǎn) 方法一：bytes(s) / str(b) 方法二：s.encode() / b.decode() 2.進(jìn)制互轉(zhuǎn) 10轉(zhuǎn)2黍特，8，16 ： bin(...
-
圖片毫無代表性
在澳門賭場洗手間里锯蛀，我看透了人生…...
當(dāng)大多數(shù)人最大的人生起伏不過是年終考核的分?jǐn)?shù)時灭衷，在澳門一眾賭場的角落里，人生的無常與殘忍旁涤，才真正地揭開一點面紗翔曲。 曾經(jīng)有網(wǎng)友寫下自己的見聞： “在去賭場之前，我以為那里都是濫...
-
基于flink sql構(gòu)建實時數(shù)據(jù)倉庫1劈愚、需求背景 根據(jù)目前大數(shù)據(jù)這一塊的發(fā)展部默，已經(jīng)不局限于離線的分析，挖掘數(shù)據(jù)潛在的價值造虎，數(shù)據(jù)的時效性最近幾年變得剛需，實時處理的框架有storm纷闺，spark-streaming...
-
shell+crontab+flock 定時備份
mybackup.sh runbackup.sh crontab -e: 其中算凿，my.lock事先創(chuàng)建份蝴，flock -xn表示獲取文件獨占鎖，如果因上次crontab任務(wù)沒有...
-
Centos7安裝GO
1.下載 2.解壓 3.修改環(huán)境變量 4.編寫helloworld測試 因為go是編譯性語言氓轰。一次編譯多處可以執(zhí)行婚夫。所以把helloword拷貝到任何目錄都能正常執(zhí)行，并且可...
