引言 最近幾個(gè)月我們小組在做SQL拉數(shù)據(jù)相關(guān)的優(yōu)化工作雕旨,主要涉及Trino姑隅、ES岳悟、Lucene三個(gè)模塊的開(kāi)發(fā)優(yōu)化,具體優(yōu)化包括列存-行轉(zhuǎn)列讀取酝豪、...
說(shuō)明 周末閑來(lái)無(wú)事花點(diǎn)時(shí)間,基于Lucene倒排索引的思想,使用Python簡(jiǎn)單實(shí)現(xiàn)了索引文檔與短語(yǔ)搜索的小功能耸棒,目的是幫助快速理解倒排索引的寫(xiě)...
Debug說(shuō)明 記錄ES數(shù)據(jù)搜索的整個(gè)debug流程,具體細(xì)節(jié)沒(méi)有作過(guò)多的解釋說(shuō)明 Debug的索引报辱,設(shè)置2shard与殃、0replicas,便于...
背景 前段時(shí)間客戶根據(jù)看到的ES日志報(bào)了索引無(wú)法創(chuàng)建的Bug碍现,研發(fā)工作完成差不多后幅疼,開(kāi)始梳理前線客戶Bug,調(diào)研后才發(fā)現(xiàn)原來(lái)是Dangling索...
背景 前段時(shí)間幫著客戶排查ES相關(guān)的問(wèn)題昼接,客戶環(huán)境后期接入的數(shù)據(jù)量比當(dāng)初規(guī)劃的多了很多衣屏,依據(jù)機(jī)器資源的使用情況決定對(duì)當(dāng)前ES集群進(jìn)行擴(kuò)容;由2d...
前言 平時(shí)在研究ES的分布式Doc(文檔)寫(xiě)入操作時(shí)辩棒,我們已經(jīng)知道對(duì)將要寫(xiě)入的Doc狼忱,ES首先會(huì)計(jì)算其應(yīng)該寫(xiě)入到索引的哪個(gè)分片,然后在根據(jù)集群m...
Debug說(shuō)明 記錄ES寫(xiě)入數(shù)據(jù)的整個(gè)Debug流程一睁,具體實(shí)現(xiàn)細(xì)節(jié)沒(méi)有做過(guò)多解釋說(shuō)明 Debug的索引钻弄,設(shè)置1shard、0replicas者吁,便...
引言 我們?cè)谑褂胮ython開(kāi)發(fā)過(guò)程中窘俺,list屬于使用非常廣泛的數(shù)據(jù)結(jié)構(gòu)。不管是自己程序存放數(shù)據(jù)复凳,還是處理接口返回的數(shù)據(jù)瘤泪,我們都更傾向于使用l...
引言 前段時(shí)間,沒(méi)事兒時(shí)翻看了自己剛參加工作時(shí)寫(xiě)的一些代碼育八,發(fā)現(xiàn)代碼中有好幾處分別都用到了lambda表達(dá)式对途,從代碼中會(huì)發(fā)現(xiàn)那時(shí)候的自己對(duì)lam...