[Elasticsearch實戰(zhàn)] snapshot 探索

Elasticsearch文檔里對于snapshot有如下描述:
The index snapshot process is incremental. In the process of making the index snapshot Elasticsearch analyses the list of the index files that are already stored in the repository and copies only files that were created or changed since the last snapshot.
這里說snapshot是增量備份的示辈,每次snapshot,es會分析index文件,并且只備份增量部分植捎。
我們從文檔中得到幾個觀點:

一:snapshot是增量備份戴质,對未發(fā)生變化的index重復(fù)備份幾乎沒有資源消耗。

二: 刪除snapshot不會對其它snapshot產(chǎn)生影響。

下面我們通過一些用例來驗證上面的幾個觀點:

  • 步驟1: 創(chuàng)建第一個snapshot_1咖为,備份索引logs-181998
curl -XPUT 'localhost:9200/_snapshot/hdfs_repository/snapshot_1?wait_for_completion=true' -d 
'{
  "indices": "logs-181998",
  "ignore_unavailable": true,
  "include_global_state": false
}'

查看耗時:

{
    "snapshot": {
        "snapshot": "snapshot_1",
        "uuid": "cMIZv6WORLOUoY64dHhw8w",
        "version_id": 5040199,
        "version": "5.4.1",
        "indices": [
            "logs-181998"
        ],
        "state": "SUCCESS",
        "start_time": "2017-06-16T06:50:28.869Z",
        "start_time_in_millis": 1497595828869,
        "end_time": "2017-06-16T06:50:46.975Z",
        "end_time_in_millis": 1497595846975,
        "duration_in_millis": 18106,
        "failures": [],
        "shards": {
            "total": 5,
            "failed": 0,
            "successful": 5
        }
    }
}

可以看到"duration_in_millis": 18106揣炕,18106毫秒帘皿,18秒。
查看hdfs磁盤使用量:

# bin/hdfs dfs -du -h /user/eoi/elasticsearch
1.7 G  /user/eoi/elasticsearch/122_123_es-test
  • 步驟2: 重復(fù)步驟1畸陡,創(chuàng)建第二個snapshot_2鹰溜,備份索引同一個索引logs-181998虽填。
    直接看耗時"duration_in_millis": 287,287毫秒曹动,0.2秒斋日。幾乎沒有耗時。
    查看hdfs磁盤使用量:
# bin/hdfs dfs -du -h /user/eoi/elasticsearch
1.7 G  /user/eoi/elasticsearch/122_123_es-test

磁盤使用量也未增長墓陈。

這說明:snapshot是增量備份恶守,對未發(fā)生變化的index重復(fù)備份幾乎沒有資源消耗。

  • 步驟3:創(chuàng)建第三個snapshot_3贡必,備份2個索引:索引logs-181998和logs-191998兔港。
curl -XPUT 'localhost:9200/_snapshot/hdfs_repository/snapshot_3?wait_for_completion=true' -d 
'{
  "indices": "logs-181998,logs-191998",
  "ignore_unavailable": true,
  "include_global_state": false
}'
  • 注意:索引logs-181998已經(jīng)被3個快照關(guān)聯(lián)過。

  • 步驟4:刪除第一個snapshot_1

curl -XDELETE 'localhost:9200/_snapshot/hdfs_repository/snapshot_1
  • 步驟5:從snapshot_3還原logs-181998
curl -XPUT 'localhost:9200/_snapshot/hdfs_repository/snapshot_3/_restore?wait_for_completion=true' -d 
'{
  "indices": "logs-181998",
  "ignore_unavailable": true,
  "include_global_state": false,
  "rename_pattern": "(.+)",
  "rename_replacement": "restored_$1"
}'

還原成功:

health status index                 uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   logs-181998           w7gmFSdRQOe52Rk2xUzQLw   5   0    2708736            0      338mb          338mb
green  open   restored_logs-181998  7dzT8MjsT666Tnzf_bHNgA   5   0    2708735            0      338mb          338mb

這說明:刪除snapshot不會對其它snapshot產(chǎn)生影響赊级。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末押框,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子理逊,更是在濱河造成了極大的恐慌橡伞,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,839評論 6 482
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件晋被,死亡現(xiàn)場離奇詭異兑徘,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)羡洛,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,543評論 2 382
  • 文/潘曉璐 我一進(jìn)店門挂脑,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人欲侮,你說我怎么就攤上這事崭闲。” “怎么了威蕉?”我有些...
    開封第一講書人閱讀 153,116評論 0 344
  • 文/不壞的土叔 我叫張陵刁俭,是天一觀的道長。 經(jīng)常有香客問我韧涨,道長牍戚,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 55,371評論 1 279
  • 正文 為了忘掉前任虑粥,我火速辦了婚禮如孝,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘娩贷。我一直安慰自己第晰,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 64,384評論 5 374
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著茁瘦,像睡著了一般罗岖。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上腹躁,一...
    開封第一講書人閱讀 49,111評論 1 285
  • 那天桑包,我揣著相機(jī)與錄音,去河邊找鬼纺非。 笑死哑了,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的烧颖。 我是一名探鬼主播弱左,決...
    沈念sama閱讀 38,416評論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼炕淮!你這毒婦竟也來了拆火?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,053評論 0 259
  • 序言:老撾萬榮一對情侶失蹤涂圆,失蹤者是張志新(化名)和其女友劉穎们镜,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體润歉,經(jīng)...
    沈念sama閱讀 43,558評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡模狭,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,007評論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了踩衩。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片嚼鹉。...
    茶點故事閱讀 38,117評論 1 334
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖驱富,靈堂內(nèi)的尸體忽然破棺而出锚赤,到底是詐尸還是另有隱情,我是刑警寧澤褐鸥,帶...
    沈念sama閱讀 33,756評論 4 324
  • 正文 年R本政府宣布线脚,位于F島的核電站,受9級特大地震影響晶疼,放射性物質(zhì)發(fā)生泄漏酒贬。R本人自食惡果不足惜又憨,卻給世界環(huán)境...
    茶點故事閱讀 39,324評論 3 307
  • 文/蒙蒙 一翠霍、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧蠢莺,春花似錦寒匙、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,315評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽考蕾。三九已至,卻和暖如春会宪,著一層夾襖步出監(jiān)牢的瞬間肖卧,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,539評論 1 262
  • 我被黑心中介騙來泰國打工掸鹅, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留塞帐,地道東北人。 一個月前我還...
    沈念sama閱讀 45,578評論 2 355
  • 正文 我出身青樓巍沙,卻偏偏與公主長得像葵姥,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子句携,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 42,877評論 2 345

推薦閱讀更多精彩內(nèi)容

  • 我們的系統(tǒng)中大部分都是時序數(shù)據(jù)榔幸,一些數(shù)據(jù)被清洗后,過期的數(shù)據(jù)意義已經(jīng)不大矮嫉,但是保不齊哪天需要重新清洗或者查閱歷史削咆,...
    RomainXie閱讀 6,642評論 0 1
  • 本人陸陸續(xù)續(xù)接觸了ELK的1.4,2.0蠢笋,2.4态辛,5.0,5.2版本挺尿,可以說前面使用當(dāng)中一直沒有太多感觸奏黑,最近使用...
    三杯水Plus閱讀 4,087評論 0 12
  • 1、ELK平臺介紹 在搜索ELK資料的時候编矾,發(fā)現(xiàn)這篇文章比較好熟史,于是摘抄一小段:以下內(nèi)容來自:http://bai...
    螺旋上升的世界閱讀 3,000評論 0 20
  • 題目: 前十個自然數(shù)的平方的和是 12 + 22 + … + 102 = 385前十個自然數(shù)的和的平方是 (1 +...
    請你吃薯片閱讀 444評論 0 0
  • 云,在天空里窄俏, 雨蹂匹,在樹葉上, 淚水凹蜈,也還在眼簾限寞。 空氣中那一絲絲熟悉的味道正慢慢的,慢慢的在風(fēng)中消散仰坦。 它不是應(yīng)...
    marine_bai閱讀 86評論 0 0