Elasticsearch系列(11)Search之跨集群搜索

跨集群搜索(Cross-cluster search)允許我們對一個或多個遠(yuǎn)程集群運(yùn)行單個搜索請求频敛。例如鲫剿,我們可以使用跨集群搜索來過濾和分析存儲在不同數(shù)據(jù)中心的集群上的日志數(shù)據(jù)。

遠(yuǎn)程集群配置

通過集群更新設(shè)置API( cluster update settings API)請求添加三個遠(yuǎn)程集群:cluster_one、cluster_two和cluster_three修噪。

PUT _cluster/settings
{
  "persistent": {
    "cluster": {
      "remote": {
        "cluster_one": {
          "seeds": [
            "127.0.0.1:9300"
          ]
        },
        "cluster_two": {
          "seeds": [
            "127.0.0.1:9301"
          ]
        },
        "cluster_three": {
          "seeds": [
            "127.0.0.1:9302"
          ]
        }
      }
    }
  }
}

搜索單個遠(yuǎn)程集群

搜索遠(yuǎn)程集群cluster_one,索引為my_index_01:

GET /cluster_one:my_index_01/_search
{
  "query": { "match": { "content": "Fox" } },
  "_source": ["id", "user.*"]
}

返回結(jié)果片段如下:

{
    "_index" : "cluster_one:my_index_01",
    "_type" : "_doc",
    "_id" : "2",
    "_score" : 0.18232156,
    "_source" : {
      "user.age" : 26,
      "user.name" : "fake",
      "id" : "00000002"
    }
}

搜索多個遠(yuǎn)程集群

在三個集群(cluster_one路媚、cluster_two和cluster_three)中搜索索引my_index_01:

GET /cluster_one:my_index_01,cluster_two:my_index_01,cluster_three:my_index_01/_search
{
  "query": { "match": { "content": "Fox" } },
  "_source": ["id", "user.*"]
}

忽略不可用集群

默認(rèn)情況下黄琼,如果請求中的任何集群不可用,跨集群搜索將返回一個錯誤整慎。要在跨集群搜索期間跳過不可用的集群脏款,將參數(shù)skip_unavailable集群設(shè)置為true。下面的集群更新設(shè)置API請求( cluster update settings API)將cluster_two的skip_unavailable設(shè)置更改為true裤园。

PUT _cluster/settings
{
  "persistent": {
    "cluster.remote.cluster_two.skip_unavailable": true
  }
}

如果在跨集群搜索期間撤师,cluster_two斷開連接或不可用,那么Elasticsearch將不會在最終結(jié)果中包含來自該集群的匹配文檔拧揽。

跨集群搜索如何處理網(wǎng)絡(luò)延遲

因為跨集群搜索涉及到向遠(yuǎn)程集群發(fā)送請求剃盾,所以任何網(wǎng)絡(luò)延遲都可能影響搜索速度腺占。為了避免緩慢的搜索,跨集群搜索提供了處理網(wǎng)絡(luò)延遲的兩種選擇:

  • 最小化網(wǎng)絡(luò)往返
    默認(rèn)情況下采用最小化網(wǎng)絡(luò)往返痒谴,Elasticsearch通過減少遠(yuǎn)程集群之間的網(wǎng)絡(luò)往返次數(shù)衰伯,從而減少了網(wǎng)絡(luò)延遲對搜索速度的影響。然而积蔚,Elasticsearch不能減少大型搜索請求的網(wǎng)絡(luò)往返意鲸,比如那些包含滾動(scroll)或內(nèi)部命中集(inner hits)的搜索請求。
  • 非最小化網(wǎng)絡(luò)往返
    對于包含滾動(scroll)或內(nèi)部命中集(inner hits)的搜索請求尽爆,Elasticsearch向每個遠(yuǎn)程集群發(fā)送多個傳出和傳入請求怎顾,通過將ccs_minimize_roundtrips參數(shù)設(shè)置為false來選擇此選項,雖然這種方法通常比較慢漱贱,但它可以很好地用于低延遲的網(wǎng)絡(luò)槐雾。ccs_minimize_roundtrips參數(shù)設(shè)置為false示例如下:
GET /cluster_one:my_index_01,cluster_two:my_index_01,cluster_three:my_index_01/_search?ccs_minimize_roundtrips=false
{"query":{"match":{"content":"Fox"}},"_source":["id","user.*"]}

最小化網(wǎng)絡(luò)往返

以下是跨集群搜索選擇最小化網(wǎng)絡(luò)往返時的工作原理:
(1)向本地集群發(fā)送跨集群搜索請求。該集群中的協(xié)調(diào)節(jié)點(diǎn)接收并解析請求饱亿。

(2)協(xié)調(diào)節(jié)點(diǎn)向每個集群(包括本地集群)發(fā)送一個搜索請求蚜退。每個集群獨(dú)立執(zhí)行搜索請求,將自己的集群級設(shè)置應(yīng)用于請求彪笼。

(3)每個遠(yuǎn)程集群將其搜索結(jié)果發(fā)送回協(xié)調(diào)節(jié)點(diǎn)钻注。

(4)從每個集群收集結(jié)果之后,協(xié)調(diào)節(jié)點(diǎn)在跨集群搜索響應(yīng)中返回最終結(jié)果配猫。

非最小化網(wǎng)絡(luò)往返

以下是跨集群搜索選擇非最小化網(wǎng)絡(luò)往返時的工作原理:
(1)向本地集群發(fā)送跨集群搜索請求幅恋。該集群中的協(xié)調(diào)節(jié)點(diǎn)接收并解析請求。


(2)協(xié)調(diào)節(jié)點(diǎn)向每個遠(yuǎn)程集群發(fā)送一個搜索分片API(search shards API)請求泵肄。

(3)每個遠(yuǎn)程集群將其響應(yīng)發(fā)送回協(xié)調(diào)節(jié)點(diǎn)捆交,此響應(yīng)包含關(guān)于跨集群搜索請求將執(zhí)行的索引(indices)和分片(shard)的信息。

(4)協(xié)調(diào)節(jié)點(diǎn)向每個分片(包括它自己集群中的分片)發(fā)送搜索請求腐巢,每個分片(shard)獨(dú)立執(zhí)行搜索請求品追。

(5)每個分片(shard)將其搜索結(jié)果發(fā)送回協(xié)調(diào)節(jié)點(diǎn)。

(6)從每個集群收集結(jié)果之后冯丙,協(xié)調(diào)節(jié)點(diǎn)在跨集群搜索響應(yīng)中返回最終結(jié)果肉瓦。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市胃惜,隨后出現(xiàn)的幾起案子泞莉,更是在濱河造成了極大的恐慌,老刑警劉巖船殉,帶你破解...
    沈念sama閱讀 216,372評論 6 498
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件鲫趁,死亡現(xiàn)場離奇詭異,居然都是意外死亡利虫,警方通過查閱死者的電腦和手機(jī)挨厚,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,368評論 3 392
  • 文/潘曉璐 我一進(jìn)店門堡僻,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人疫剃,你說我怎么就攤上這事苦始。” “怎么了慌申?”我有些...
    開封第一講書人閱讀 162,415評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長理郑。 經(jīng)常有香客問我蹄溉,道長,這世上最難降的妖魔是什么您炉? 我笑而不...
    開封第一講書人閱讀 58,157評論 1 292
  • 正文 為了忘掉前任柒爵,我火速辦了婚禮,結(jié)果婚禮上赚爵,老公的妹妹穿的比我還像新娘棉胀。我一直安慰自己,他們只是感情好冀膝,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,171評論 6 388
  • 文/花漫 我一把揭開白布唁奢。 她就那樣靜靜地躺著,像睡著了一般窝剖。 火紅的嫁衣襯著肌膚如雪麻掸。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,125評論 1 297
  • 那天赐纱,我揣著相機(jī)與錄音脊奋,去河邊找鬼。 笑死疙描,一個胖子當(dāng)著我的面吹牛诚隙,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播起胰,決...
    沈念sama閱讀 40,028評論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼久又,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了待错?” 一聲冷哼從身側(cè)響起籽孙,我...
    開封第一講書人閱讀 38,887評論 0 274
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎火俄,沒想到半個月后犯建,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,310評論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡瓜客,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,533評論 2 332
  • 正文 我和宋清朗相戀三年适瓦,在試婚紗的時候發(fā)現(xiàn)自己被綠了竿开。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,690評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡玻熙,死狀恐怖否彩,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情嗦随,我是刑警寧澤列荔,帶...
    沈念sama閱讀 35,411評論 5 343
  • 正文 年R本政府宣布,位于F島的核電站枚尼,受9級特大地震影響贴浙,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜署恍,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,004評論 3 325
  • 文/蒙蒙 一崎溃、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧盯质,春花似錦袁串、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,659評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至朵逝,卻和暖如春蔚袍,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背配名。 一陣腳步聲響...
    開封第一講書人閱讀 32,812評論 1 268
  • 我被黑心中介騙來泰國打工啤咽, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人渠脉。 一個月前我還...
    沈念sama閱讀 47,693評論 2 368
  • 正文 我出身青樓宇整,卻偏偏與公主長得像,于是被迫代替她去往敵國和親芋膘。 傳聞我的和親對象是個殘疾皇子鳞青,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,577評論 2 353