發(fā)簡(jiǎn)信
IP屬地：云南
-
-
@且汐汐 自己上zk創(chuàng)建即可。
ClickHouse 數(shù)據(jù)遷移[remote表像鸡、clickhouse-copier]
一泣特、 clickhouse-copier 1柿菩、what's this部凑？ clickhouse-copier是官方出的用來(lái)同步數(shù)據(jù)的工具，依賴zk來(lái)滿足跨集群同步數(shù)據(jù)的場(chǎng)景车海。 ...
-
Spring @Configuration 注解介紹
提前說(shuō)明: 下文是我根據(jù)官方文檔進(jìn)行自己的描述和擴(kuò)展, 寫下來(lái)了我覺(jué)得比較值得關(guān)注的地方, 并附帶了自己的介紹, 并不是原封不動(dòng)的拿過(guò)來(lái)了api翻譯了下,越往后越精彩 指示一...
-
關(guān)于在springboot中使用maven的profile打包笛园，無(wú)法替換application.properties中 ${} 占位符的問(wèn)題前言： 最近在項(xiàng)目中使用springboot時(shí)發(fā)現(xiàn)，采用在pom中定義不同的profile侍芝，并且maven打包時(shí) 采用-P參數(shù)并不能替換我application.proper...
-
ClickHouse MergeTree變得更像LSM Tree了棵红？——Polymorphic Parts特性淺析前言 筆者在之前的文章中已經(jīng)提到過(guò)，MergeTree引擎族是ClickHouse強(qiáng)大功能的基礎(chǔ)留量。MergeTree這個(gè)名詞是在我們耳熟能詳?shù)腖SM Tree之上做減法而來(lái)—...
-
ClickHouse遇見(jiàn)RoaringBitmap
Q&A Q：如圖窄赋。 A：當(dāng)然是自帶的哟冬。其實(shí)RoaringBitmap正是ClickHouse位圖的底層實(shí)現(xiàn)（笑 RoaringBitmap的預(yù)備知識(shí)請(qǐng)見(jiàn)這里楼熄。 在CH中產(chǎn)生位...
-
LSM Tree-Based存儲(chǔ)引擎的compaction策略（feat. RocksDB）前言 這篇從半個(gè)月前就開(kāi)始寫忆绰，斷斷續(xù)續(xù)寫到現(xiàn)在，終于能發(fā)了（被簡(jiǎn)書吞了好幾次）可岂，不容易错敢。 最近筆者正在補(bǔ)習(xí)與RocksDB底層相關(guān)的細(xì)節(jié)，因?yàn)椋?次要原因——當(dāng)前所有Flin...
-
@技術(shù)文章收集 可以
ClickHouse 數(shù)據(jù)存儲(chǔ)架構(gòu)優(yōu)化
一缕粹、背景 當(dāng)我進(jìn)組的時(shí)候稚茅，當(dāng)時(shí)的ClickHouse的版本還是在1.x的時(shí)代，partition還不支持自定義平斩，只能按月來(lái)劃分亚享。我們組內(nèi)的數(shù)據(jù)存儲(chǔ)還是按天來(lái)分表設(shè)計(jì)，例如“X...
-
ClickHouse MaterializedView TTL
當(dāng)我們?cè)谑褂梦锘晥D的時(shí)候绘面，不可避免的也會(huì)遇到需要?jiǎng)h除歷史數(shù)據(jù)的需求欺税。由于TTL的特性只支持MergeTree家族不支持物化視圖，難道我們就沒(méi)有其他辦法了嘛揭璃？當(dāng)我們?cè)葎?chuàng)建的...
-
深入學(xué)習(xí)二叉樹(shù)(一) 二叉樹(shù)基礎(chǔ)前言 樹(shù)是數(shù)據(jù)結(jié)構(gòu)中的重中之重晚凿，尤其以各類二叉樹(shù)為學(xué)習(xí)的難點(diǎn)。一直以來(lái)瘦馍，對(duì)于樹(shù)的掌握都是模棱兩可的狀態(tài)歼秽，現(xiàn)在希望通過(guò)寫一個(gè)關(guān)于二叉樹(shù)的專題系列。在學(xué)習(xí)與總結(jié)的同時(shí)更加深入的了...
-
解讀ClickHouse日志中的SQL查詢計(jì)劃
截至目前情组，ClickHouse并未在正式版本中提供查看查詢計(jì)劃的原生EXPLAIN語(yǔ)法燥筷。雖然GitHub上對(duì)應(yīng)的Pull Request已經(jīng)實(shí)現(xiàn)了，但是還沒(méi)有發(fā)布（注：最近已...
-
ElasticsSearch 源碼編譯&啟動(dòng)1院崇、準(zhǔn)備 idea elasticsearch源碼包荆责，可以直接從github上下載。本文使用v7.8.0 gradle亚脆，需要v6.5+ jdk做院，需要jdk12+ 已經(jīng)部署了e...
-
ClickHouse 高階函數(shù)
先來(lái)一個(gè)完整的例子，該示例根據(jù)行為日志計(jì)算用戶訪問(wèn)的top路徑select data, count(1) cn from (with maxIf( c_t , cat=...
-
ElasticSearch 自定義plugin來(lái)控制rebalance觸發(fā)時(shí)間1濒持、backgroupd ElasticSearch有提供豐富的plugin接口键耕，我們自己能實(shí)現(xiàn)plugin來(lái)自定義需求。 我們的ElasticSearch是用來(lái)做時(shí)序性分析...
-
@bellengao 理論上只會(huì)寫入當(dāng)前小時(shí)的分片才對(duì)呀柑营，按天分片的index可以視為冷index了屈雄，影響的應(yīng)該只是reindex的速度。
High cardinality下對(duì)持續(xù)寫入的Elasticsearch索引進(jìn)行聚合查詢的性能優(yōu)化
High cardinality下對(duì)持續(xù)寫入的Elasticsearch索引進(jìn)行聚合查詢的性能優(yōu)化 背景 最近使用騰訊云Elasticsearch Service的用戶提出官套，...
-
基于ClickHouse的用戶行為（路徑）分析實(shí)踐前言 ClickHouse為用戶提供了豐富的多參聚合函數(shù)（parametric aggregate function）和基于數(shù)組+Lambda表達(dá)式的高階函數(shù)（higher-...
-
PB級(jí)大規(guī)模Elasticsearch集群運(yùn)維與調(diào)優(yōu)實(shí)踐背景 某中型互聯(lián)網(wǎng)公司的游戲業(yè)務(wù)酒奶，使用了騰訊云的Elasticsearch產(chǎn)品蚁孔，采用ELK架構(gòu)存儲(chǔ)業(yè)務(wù)日志。因?yàn)橛螒驑I(yè)務(wù)本身的日志數(shù)據(jù)量非常大(寫入峰值在100w qps)惋嚎，...
-
那個(gè)按天分的index需要配置eager_global_ordinals吧杠氢？這樣好像就可以了。
High cardinality下對(duì)持續(xù)寫入的Elasticsearch索引進(jìn)行聚合查詢的性能優(yōu)化
High cardinality下對(duì)持續(xù)寫入的Elasticsearch索引進(jìn)行聚合查詢的性能優(yōu)化 背景 最近使用騰訊云Elasticsearch Service的用戶提出另伍，...
-
你好鼻百，請(qǐng)問(wèn)下，那如果查詢到的index是以天為單位的index（查詢幾個(gè)小時(shí)之前的數(shù)據(jù)）摆尝，那個(gè)index上面的cardinality依舊很高温艇，好像沒(méi)辦法解決啊堕汞？
在低版本上面的execute_hit的bug問(wèn)題好像有個(gè)辦法可以繞過(guò)去勺爱，之前哪里看到忘記了??High cardinality下對(duì)持續(xù)寫入的Elasticsearch索引進(jìn)行聚合查詢的性能優(yōu)化
High cardinality下對(duì)持續(xù)寫入的Elasticsearch索引進(jìn)行聚合查詢的性能優(yōu)化 背景 最近使用騰訊云Elasticsearch Service的用戶提出，...
