官方文檔-快照和恢復(fù)

對(duì)應(yīng)7.17官方文檔路徑: Snapshot and restore
官方地址如下:
https://www.elastic.co/guide/en/elasticsearch/reference/7.17/snapshot-restore.html

快照和恢復(fù)

快照是正在運(yùn)行的 ES 集群的備份笛园,你可以使用快照做以下事情:

  • 定期備份集群像鸡,無(wú)需停機(jī)
  • 在刪除數(shù)據(jù)或者硬件故障后恢復(fù)數(shù)據(jù)
  • 在集群之間傳輸數(shù)據(jù)
  • 在 cold 和 frozen 數(shù)據(jù)層通過(guò)可搜索快照降低存儲(chǔ)成本

快照工作流程

ES 將快照存儲(chǔ)在集群存儲(chǔ)外的存儲(chǔ)空間內(nèi)悉盆,稱為快照倉(cāng)庫(kù)(snapshot repository)堰乔。在你制作或者恢復(fù)快照之前章鲤,你必須在集群上注冊(cè)一個(gè)快照倉(cāng)庫(kù)莉给,ES 支持多種具備云存儲(chǔ)屬性的存儲(chǔ)庫(kù)楷怒,包括:

  • AWS S3
  • Google Cloud Storage(GCS)
  • Microsoft Azure

在注冊(cè)快照倉(cāng)庫(kù)后拍冠,你可以使用快照生命周期管理(SLM)自動(dòng)創(chuàng)建并管理快照掀虎,你可以通過(guò)恢復(fù)快照(restore)恢復(fù)或者傳輸數(shù)據(jù)。

快照內(nèi)容

默認(rèn)集群快照包含集群狀態(tài)怯屉,全部 data streams易阳,全部 open 狀態(tài)的索引附较,包括系統(tǒng)索引。集群狀態(tài)包含如下內(nèi)容:

  • Persistent 級(jí)別集群配置
  • 索引模板
  • 舊版本索引模板
  • 攝取管道
  • ILM策略
  • 7.12.0 版本后的 feature states

你還可以僅對(duì)集群中的特定數(shù)據(jù)流或索引進(jìn)行快照潦俺。包含數(shù)據(jù)流或索引的快照會(huì)自動(dòng)包含其別名拒课。還原快照時(shí),你可以選擇是否還原這些別名事示。

快照不包含以下內(nèi)容:

  • Transient 級(jí)別集群配置
  • 注冊(cè)過(guò)的快照倉(cāng)庫(kù)
  • 節(jié)點(diǎn)配置文件

Feature states

功能狀態(tài)包含用來(lái)存儲(chǔ)配置早像、歷史記錄和 ES 的其他功能的索引和數(shù)據(jù)流,例如 security 和 kibana 相關(guān)索引肖爵。
功能狀態(tài)通常包含一個(gè)或者多個(gè)系統(tǒng)索引或者數(shù)據(jù)流卢鹦,還可能包含該功能使用的常規(guī)索引和數(shù)據(jù)流。例如遏匆,功能狀態(tài)可能包含該功能執(zhí)行歷史的常規(guī)索引法挨,將此歷史記錄存儲(chǔ)在常規(guī)索引中可以讓您更輕松地搜索它。

快照如何工作

快照會(huì)自動(dòng)刪除重復(fù)數(shù)據(jù)來(lái)節(jié)約存儲(chǔ)空間并減少網(wǎng)絡(luò)傳輸開銷幅聘。備份索引時(shí)凡纳,快照會(huì)復(fù)制一個(gè)索引 segments 的副本并將它們存儲(chǔ)在快照倉(cāng)庫(kù)。由于段是不可變的帝蒿,快照只需要復(fù)制自存儲(chǔ)庫(kù)的最后一個(gè)快照以來(lái)新創(chuàng)建的全部段荐糜。
每個(gè)快照在邏輯上也是獨(dú)立的。當(dāng)你刪除快照時(shí)葛超,ES 只會(huì)刪除該快照專門使用的段暴氏,不會(huì)刪除倉(cāng)庫(kù)中其他快照使用的段。

快照和分片分配

快照從索引的主分片復(fù)制段绣张。當(dāng)你開始制作一個(gè)快照答渔,ES 立刻開始復(fù)制任何可用的主分片的段。如果一個(gè)分片正在啟動(dòng)或者在重新定位中侥涵,ES 將等待這些過(guò)程完成后再進(jìn)行復(fù)制沼撕。如果一個(gè)或多個(gè)主分片不可用宋雏,快照制作將失敗。
一旦快照開始復(fù)制分片的段务豺,ES 將不會(huì)依據(jù)重新平衡和分片分配設(shè)置規(guī)則移動(dòng)分片到其他節(jié)點(diǎn)磨总,在快照完成復(fù)制數(shù)據(jù)后才會(huì)進(jìn)行分片移動(dòng)。

快照開始和結(jié)束時(shí)間

快照不代表某一個(gè)精確時(shí)間點(diǎn)集群的數(shù)據(jù)狀態(tài)笼沥。每個(gè)快照都包含起止時(shí)間蚪燕,快照代表起止時(shí)間范圍內(nèi)的某一個(gè)時(shí)間點(diǎn)每個(gè)分片的數(shù)據(jù)視圖。

快照兼容性

要將快照恢復(fù)到其他集群集群奔浅,快照馆纳、集群和任何恢復(fù)的索引的版本必須兼容。

快照版本兼容

快照版本兼容性

你無(wú)法將快照還原到早期版本的 ES汹桦。例如你無(wú)法將在 7.6.0 中拍攝的快照恢復(fù)到 7.5.0 版本集群厕诡。

索引兼容

你從快照恢復(fù)的任何索引也必須與當(dāng)前集群的版本兼容。如果你嘗試恢復(fù)在不兼容版本集群中創(chuàng)建的索引营勤,則恢復(fù)將失敗。

索引兼容性

你無(wú)法將索引恢復(fù)到早期版本的 ES壹罚。例如你無(wú)法將在 7.6.0 中創(chuàng)建的索引恢復(fù)到 7.5.0 版本集群葛作。
兼容的快照中可包含不兼容版本的索引,例如 6.8 版本集群的快照可以包含 5.6 版本集群創(chuàng)建的索引猖凛。如果你嘗試將 5.6 版本的索引恢復(fù)到 7.17 版本集群中赂蠢,則恢復(fù)將失敗。如果你在升級(jí)集群之前拍攝快照辨泳,請(qǐng)記住這一點(diǎn)虱岂。
為了解決上述問(wèn)題,你可以將索引恢復(fù)到另一個(gè)與索引和當(dāng)前集群都兼容的最新版本的 ES 中菠红,然后你可以使用 remote reindex 方式將數(shù)據(jù)導(dǎo)入當(dāng)前集群第岖,注意只有索引 _source 設(shè)置為 enabled 才可以使用 reindex from remote API。
Reindex from remote 可能比恢復(fù)快照耗費(fèi)更長(zhǎng)的時(shí)間试溯。在正式開始之前蔑滓,使用部分少量數(shù)據(jù)測(cè)試其性能,以估計(jì)你將花費(fèi)的時(shí)間遇绞。

注意事項(xiàng)

其他備份方式

制作快照是備份集群唯一可靠且受支持的方式键袱。你不能通過(guò)復(fù)制節(jié)點(diǎn)的數(shù)據(jù)目錄來(lái)備份 ES 集群,官方?jīng)]有方式支持從文件系統(tǒng)級(jí)別的備份恢復(fù)數(shù)摹闽。如果你嘗試從此類備份中恢復(fù)集群蹄咖,它可能會(huì)因損壞或丟失文件或其他數(shù)據(jù)不一致而報(bào)告失敗,或者它可能已經(jīng)成功地默默地丟失了一些數(shù)據(jù)付鹿。
集群節(jié)點(diǎn)的數(shù)據(jù)目錄副本不能用作備份澜汤,因?yàn)樗皇瞧鋬?nèi)容在單個(gè)時(shí)間點(diǎn)的一致表示蚜迅。您無(wú)法通過(guò)在制作副本時(shí)關(guān)閉節(jié)點(diǎn)來(lái)解決此問(wèn)題,也無(wú)法通過(guò)獲取原子文件系統(tǒng)級(jí)快照來(lái)解決此問(wèn)題银亲,因?yàn)?ES 具有跨越整個(gè)集群的一致性要求慢叨,您必須使用內(nèi)置快照功能進(jìn)行集群備份。

備份創(chuàng)庫(kù)中的內(nèi)容

不要修改備份倉(cāng)庫(kù)中的任何內(nèi)容或運(yùn)行可能會(huì)干擾其內(nèi)容的進(jìn)程务蝠。如果 ES 以外的東西修改了倉(cāng)庫(kù)內(nèi)容拍谐,那么未來(lái)制作快照或者恢復(fù)操作可能會(huì)失敗,報(bào)告損壞或者其他數(shù)據(jù)不一致問(wèn)題馏段,或者默默地丟失了一些數(shù)據(jù)并報(bào)告成功轩拨。

但是,你可以安全的從快照倉(cāng)庫(kù)的備份中恢復(fù)其內(nèi)容院喜,只要:

  1. 在您恢復(fù)其內(nèi)容時(shí)亡蓉,該存儲(chǔ)庫(kù)未向 Elasticsearch 注冊(cè)。
  2. 當(dāng)您完成恢復(fù)存儲(chǔ)庫(kù)時(shí)喷舀,其內(nèi)容與您進(jìn)行備份時(shí)的內(nèi)容完全相同砍濒。
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市硫麻,隨后出現(xiàn)的幾起案子爸邢,更是在濱河造成了極大的恐慌,老刑警劉巖拿愧,帶你破解...
    沈念sama閱讀 216,591評(píng)論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件杠河,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡浇辜,警方通過(guò)查閱死者的電腦和手機(jī)券敌,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,448評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)柳洋,“玉大人待诅,你說(shuō)我怎么就攤上這事∩旁睿” “怎么了咱士?”我有些...
    開封第一講書人閱讀 162,823評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)轧钓。 經(jīng)常有香客問(wèn)我序厉,道長(zhǎng),這世上最難降的妖魔是什么毕箍? 我笑而不...
    開封第一講書人閱讀 58,204評(píng)論 1 292
  • 正文 為了忘掉前任弛房,我火速辦了婚禮,結(jié)果婚禮上而柑,老公的妹妹穿的比我還像新娘文捶。我一直安慰自己荷逞,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,228評(píng)論 6 388
  • 文/花漫 我一把揭開白布粹排。 她就那樣靜靜地躺著种远,像睡著了一般。 火紅的嫁衣襯著肌膚如雪顽耳。 梳的紋絲不亂的頭發(fā)上坠敷,一...
    開封第一講書人閱讀 51,190評(píng)論 1 299
  • 那天,我揣著相機(jī)與錄音射富,去河邊找鬼膝迎。 笑死,一個(gè)胖子當(dāng)著我的面吹牛胰耗,可吹牛的內(nèi)容都是我干的限次。 我是一名探鬼主播,決...
    沈念sama閱讀 40,078評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼柴灯,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼卖漫!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起赠群,我...
    開封第一講書人閱讀 38,923評(píng)論 0 274
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤懊亡,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后乎串,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,334評(píng)論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡速警,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,550評(píng)論 2 333
  • 正文 我和宋清朗相戀三年叹誉,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片闷旧。...
    茶點(diǎn)故事閱讀 39,727評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡长豁,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出忙灼,到底是詐尸還是另有隱情匠襟,我是刑警寧澤,帶...
    沈念sama閱讀 35,428評(píng)論 5 343
  • 正文 年R本政府宣布该园,位于F島的核電站酸舍,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏里初。R本人自食惡果不足惜啃勉,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,022評(píng)論 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望双妨。 院中可真熱鬧淮阐,春花似錦叮阅、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,672評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至状您,卻和暖如春勒叠,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背竞阐。 一陣腳步聲響...
    開封第一講書人閱讀 32,826評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工缴饭, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人骆莹。 一個(gè)月前我還...
    沈念sama閱讀 47,734評(píng)論 2 368
  • 正文 我出身青樓颗搂,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親幕垦。 傳聞我的和親對(duì)象是個(gè)殘疾皇子丢氢,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,619評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容