RagingBruce

一院尔、添加自定義參數(shù) 在KuduClientConfig中简卧，添加自定義參數(shù)沉噩，如下 public long getSplitSize() { return splitSize; ...

RagingBruce

當(dāng)segment中deleted doc占比超過(guò)50%的時(shí)候儒老，segment也會(huì)重建尺碰。

Elasticsearch 5.x 源碼分析（5）segments merge 流程分析

這兩周主要看了下 Elasticsearch（其實(shí)是Lucene）的 segments 的 merge 流程德澈。事情起因是歇攻，線上的ES有些大索引，其中的segments 個(gè)數(shù)幾...

華安火車(chē)迷

15376 15 19

RagingBruce

binlog不需要回滾梆造，因?yàn)閞edolog已經(jīng)落盤(pán)了缴守，binlog提交就說(shuō)明事務(wù)成功。等恢復(fù)的時(shí)候會(huì)把redolog刷到內(nèi)存頁(yè)镇辉。

Mysql binlog redolog與crash-safe

Part 1 What and Why 什么是redog和binlog? redolog是對(duì)記錄修改之后的物理日志屡穗，物理日志就是說(shuō)redolog保存的是某一行數(shù)據(jù)修改之后的值...

RagingBruce

4972 9 7

RagingBruce

因?yàn)槭聞?wù)是否成功是以binlog為準(zhǔn)的，binlog沒(méi)執(zhí)行忽肛，就說(shuō)明事務(wù)失敗需要回退村砂，所以重啟之后還是會(huì)一致的。

Mysql binlog redolog與crash-safe

Part 1 What and Why 什么是redog和binlog? redolog是對(duì)記錄修改之后的物理日志屹逛，物理日志就是說(shuō)redolog保存的是某一行數(shù)據(jù)修改之后的值...

RagingBruce

4972 9 7

RagingBruce

首先佩服大佬础废，能結(jié)合實(shí)際應(yīng)用分析es。也有小問(wèn)題請(qǐng)教一下罕模，es1.4版本评腺，44萬(wàn)條數(shù)據(jù)，每次scroll size為200淑掌，為什么scroll_id一直不變呢蒿讥？按理來(lái)說(shuō)，scroll到后面抛腕，需要查詢(xún)的shard應(yīng)該越來(lái)越少芋绸，scroll_id也應(yīng)該越來(lái)越短才是吧。scroll_id解析完之后的內(nèi)容是什么呢兽埃？是shard_id和search_id嗎侥钳？如果只是把lastEmittedDoc保存一定時(shí)間，那每次傳一個(gè)不變的scroll_id的意義又何在呢柄错？文檔上有句話：While the _scroll_id may change between requests, it doesn’t always change?—?in any case, only the most recently received _scroll_id should be used.不太理解是什么意思舷夺。希望可以交流一下苦酱，謝謝！

Elasticsearch 5.x 源碼分析（3）from size, scroll 和 search after

前兩天突然被業(yè)務(wù)部的同事問(wèn)了一句：“我現(xiàn)在要做搜索結(jié)果全量導(dǎo)给猾，該用哪個(gè)接口疫萤，性能要好的？”之前雖然是知道這三種方法都是可以做分頁(yè)的深度查詢(xún)敢伸，但是由于具體的代碼實(shí)現(xiàn)細(xì)節(jié)沒(méi)看過(guò)扯饶，...

華安火車(chē)迷

24802 27 35

RagingBruce

Part 1 What and Why 什么是redog和binlog? redolog是對(duì)記錄修改之后的物理日志，物理日志就是說(shuō)redolog保存的是某一行數(shù)據(jù)修改之后的值...

RagingBruce

背景：使用多個(gè)ES集群來(lái)存儲(chǔ)用戶(hù)日志池颈，然后提供給運(yùn)營(yíng)分析尾序。日志采集架構(gòu)大概為nginx-->openresty-->kafka/aws kinesis-->es。但是國(guó)內(nèi)使用...

RagingBruce

新需求->開(kāi)發(fā)->測(cè)試->pr->新需求....躯砰，應(yīng)該是大部分寫(xiě)業(yè)務(wù)的程序員的日常了（架構(gòu)師除外）每币。本文主要講pr這一小步，也是作者痛定思痛之后學(xué)會(huì)的一個(gè)小技巧琢歇。 先說(shuō)下背景...