ElasticSearch 學(xué)習(xí)筆記 20191215

基礎(chǔ)概念

NRT (Near Realtime)

ES的查詢不是實(shí)時的,進(jìn)索引后再查出缴挖,延遲不會超過1秒

集群 Cluster

Cluster 是 Node 的集合铺呵,Cluster的名字唯一

節(jié)點(diǎn) Node

節(jié)點(diǎn)存儲數(shù)據(jù)斧拍,參與Index&Search運(yùn)算

索引 Index

索引是文檔的集合酒奶,索引名稱只能是小寫的

文檔 Document

文檔是信息的基本單元,被Index的信息屑埋,就是文檔豪筝;文檔的格式只能是JSON;

分片(Shards)& 副本(Replicas)

一個索引里的數(shù)據(jù)量可能有10億條摘能,占用1T的存儲空間续崖,如果只有1個Node可能運(yùn)算、存儲能力都跟不上团搞;解決辦法是严望,分割1個Index到N個Shards,每個Shard有Index的完整功能莺丑,可以被分配到任意1個Node上去著蟹,這樣便于分割或橫向擴(kuò)展ES集群墩蔓;通過這種分布式&并發(fā)梢莽,能夠通過增加Node提高性能及吞吐量;
副本的能力:1)提升高可用能力奸披;2)跟分片類似昏名,也能提升并發(fā)能力、吞吐量阵面;

總結(jié)

每個Index可分割為多個Shard轻局,每個Index可以有0個副本或多個副本;擁有副本的Index样刷,會擁有兩類分片:Primary Shard 仑扑、Replica Shard,副本數(shù)量可隨時動態(tài)的調(diào)整置鼻;

_shrink and _split镇饮,這倆接口可給已存在的Index增加或減少Shard數(shù)量;

每個分片的最大數(shù)量是:2,147,483,519

安裝

待補(bǔ)充

查看索引基本信息

ES提供了1個強(qiáng)大的 REST API 給我們提供了跟ES Cluster交互的通道箕母,主要功能如下:

  • 查看 集群 節(jié)點(diǎn) 索引 的健康狀況储藐、數(shù)據(jù);
  • 管理 集群 節(jié)點(diǎn) 索引數(shù)據(jù) 元數(shù)據(jù)嘶是;
  • 索引的 CURD 操作钙勃、查詢操作;
  • 執(zhí)行高級查詢操作:paging聂喇、sorting辖源、filtering、scripting、aggregations等同木;

查看Cluster信息

GET /_cat/health?v

epoch      timestamp cluster                 status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1576394406 07:20:06  elasticsearch green          11         8    336 168    0    0        0             0                  -                100.0%

查看Node信息

GET /_cat/nodes?v

ip          heap.percent ram.percent cpu load_1m load_5m load_15m node.role master name
172.17.3.14           44          95  20    5.78    5.08     4.75 di        -      5xa5kOK
172.17.3.10           69          95  28    6.54    5.09     4.66 di        -      4dnxamP
172.17.3.15           74          95  22    4.83    4.87     4.52 di        -      Bs4CG9y
172.17.3.20            2          75   0    0.00    0.01     0.05 mi        -      rzZXZ5T
172.17.3.9            57          95  20    5.40    4.95     4.51 di        -      Hh9uMaU
172.17.3.18            3          75   0    0.00    0.04     0.06 mi        *      HFYmHzu
172.17.3.16           49          95  28    5.49    4.52     4.32 di        -      EaECxZP
172.17.3.19            1          75   0    0.00    0.01     0.05 mi        -      -vvjApo
172.17.3.13           56          95  23    6.22    5.17     4.59 di        -      HuQhdN6
172.17.3.11           50          95  21    6.26    5.44     5.01 di        -      iJDUeJ7
172.17.3.12           44          95  33    5.33    5.05     5.02 di        -      aDS9FZm

查看索引信息

GET /_cat/indices?v

health status index                      uuid                   pri rep docs.count docs.deleted store.size pri.store.size
green  open   abnormal-92        -ASolaunSieNjRuJOfp8-Q   1   0     138684           26    593.8mb        593.8mb
green  open   ac-apply-batch-91  R6HR3kX1QNK8PfvnuI6AFg   1   1     473153            0    556.9mb        278.4mb
green  open   ac-apply-daily-91  bJbruUXmSxmBPxk3B1PywQ   1   1     292742            0    297.9mb        148.9mb
green  open   ac-apply-order-91  mNOtjL28Tiin4vdKxrP_QA   8   1   14093331            0     15.6gb          7.8gb
green  open   accounts-91        8DxWjlImQAOFFZskWINimQ   8   0    7451614            0     18.9gb         18.9gb
green  open   amap-zone-90       nw91DRxoRY6okv2queOmLg   1   0          0            0       261b           261b
green  open   approval-90        hmmn4TlvQiGuW2x5-HdUaA   1   0          0            0       261b           261b
green  open   batch-96           rtST_ROXTNKv5CHgvbiJnQ   8   0   20728026            0     92.1gb         92.1gb
green  open   batch-account-91   oH-lw8NURlmkTyuHchxFIQ   1   0    5003832            0      3.1gb          3.1gb
green  open   batch-invoice-91   EUEnLoyQRxGqGWTJ2y7Yog   1   0          0            0       261b           261b
green  open   co-dy-batch-90     TFGohd0cQhqJeXde14BGjQ   1   0          0            0       261b           261b
green  open   co-dy-ticket-90    iDletuK-QWqR5sCq1_Bzrw   1   0          0            0       261b           261b
green  open   company-info-94    6kt2KEPJQOWwOSwmYNb3Ew   1   0          0            0       261b           261b
green  open   customer-95        59wvGQ8CSTyupNlJVAGlQg   8   0          0            0        2kb            2kb
green  open   customer-proj-90   AxGfRZDoTNK3ZDA_lah4Gg   1   0       1140            0    659.7kb        659.7kb
green  open   driver-91          V9B8s6bqTMaKWpU0MXnkjQ   1   0          0            0       261b           261b
green  open   fuel-card-92       SvENC7tKTAqV2y9xVsKOiQ   1   0          0            0       261b           261b
green  open   fuel-carrier-90    MURSlOJaTVKHYXujok7YRw   1   0          0            0       261b           261b
green  open   goods-90           lvZFldjQQP6srkgBSWYygA   1   0      21601            0     27.6mb         27.6mb
green  open   goods-category-90  nPR0BmKASoiKxY-7PUtE3g   1   0        440            0      120kb          120kb
green  open   insurance-90       60jVebmbS7erCy5IrgMTWQ   1   0          0            0       261b           261b
green  open   line-91            F0w6DvAHSU26VFXsps_yoQ   1   0          0            0       261b           261b
green  open   log-92             2EUyrFSYScS1xug9KPdt5Q   8   0    5928788            1     70.6gb         70.6gb
green  open   loss-91            hx0KQR5-QUqq0IXBpSkPig   1   0        339            0    551.8kb        551.8kb
green  open   material-91        pA0ZZF3DSqWlL0Y1B1WSgg   1   0        330            0      7.9mb          7.9mb
green  open   material-apply-91  ry3G3knsSFK89KwWCzE_mA   1   0       1567            0      1.5mb          1.5mb

創(chuàng)建索引

PUT /customer?pretty

{
  "acknowledged" : true,
  "shards_acknowledged" : true,
  "index" : "customer"
}

索引&查詢數(shù)據(jù)

PUT /customer/_doc/1?pretty
{
  "name": "John Doe"
}
// 索引新增Document結(jié)果
{
  "_index" : "customer",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "failed" : 0
  },
  "_seq_no" : 0,
  "_primary_term" : 1
}

// 獲取數(shù)據(jù)
GET /customer/_doc/1?pretty
// 返回的結(jié)果
{
  "_index" : "customer",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 2,
  "_seq_no" : 1,
  "_primary_term" : 1,
  "found" : true,
  "_source" : {
    "name" : "John Doe"
  }
}

// 刪除索引

API的模式
<HTTP Verb> /<Index>/<Type>/<ID>

更新Document

// 更新name值
POST /customer/_doc/1/_update?pretty
{
  "doc": { "name": "Jane Doe" }
}
// 更新的同時新增字段
POST /customer/_doc/1/_update?pretty
{
  "doc": { "name": "Jane Doe", "age": 20 }
}
// 通過script動態(tài)更新Document數(shù)據(jù)
POST /customer/_doc/1/_update?pretty
{
  "script" : "ctx._source.age += 5"
}
// 刪除Document數(shù)據(jù)
DELETE /customer/_doc/2?pretty

批量操作

// 批量更新兩條數(shù)據(jù)
POST /customer/_doc/_bulk?pretty
{"index":{"_id":"1"}}
{"name": "John Doe" }
{"index":{"_id":"2"}}
{"name": "Jane Doe" }

// 更新1條數(shù)據(jù) 刪除1條數(shù)據(jù)
POST /customer/_doc/_bulk?pretty
{"update":{"_id":"1"}}
{"doc": { "name": "John Doe becomes Jane Doe" } }
{"delete":{"_id":"2"}}

批量操作浮梢,如果其中某條執(zhí)行失敗,其余的會繼續(xù)執(zhí)行

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末彤路,一起剝皮案震驚了整個濱河市秕硝,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌洲尊,老刑警劉巖远豺,帶你破解...
    沈念sama閱讀 211,639評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異坞嘀,居然都是意外死亡躯护,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,277評論 3 385
  • 文/潘曉璐 我一進(jìn)店門丽涩,熙熙樓的掌柜王于貴愁眉苦臉地迎上來棺滞,“玉大人,你說我怎么就攤上這事矢渊〖套迹” “怎么了?”我有些...
    開封第一講書人閱讀 157,221評論 0 348
  • 文/不壞的土叔 我叫張陵矮男,是天一觀的道長移必。 經(jīng)常有香客問我,道長毡鉴,這世上最難降的妖魔是什么崔泵? 我笑而不...
    開封第一講書人閱讀 56,474評論 1 283
  • 正文 為了忘掉前任,我火速辦了婚禮猪瞬,結(jié)果婚禮上憎瘸,老公的妹妹穿的比我還像新娘。我一直安慰自己陈瘦,他們只是感情好幌甘,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,570評論 6 386
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著甘晤,像睡著了一般含潘。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上线婚,一...
    開封第一講書人閱讀 49,816評論 1 290
  • 那天遏弱,我揣著相機(jī)與錄音,去河邊找鬼塞弊。 笑死漱逸,一個胖子當(dāng)著我的面吹牛泪姨,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播饰抒,決...
    沈念sama閱讀 38,957評論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼肮砾,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了袋坑?” 一聲冷哼從身側(cè)響起仗处,我...
    開封第一講書人閱讀 37,718評論 0 266
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎枣宫,沒想到半個月后婆誓,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,176評論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡也颤,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,511評論 2 327
  • 正文 我和宋清朗相戀三年洋幻,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片翅娶。...
    茶點(diǎn)故事閱讀 38,646評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡文留,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出竭沫,到底是詐尸還是另有隱情燥翅,我是刑警寧澤,帶...
    沈念sama閱讀 34,322評論 4 330
  • 正文 年R本政府宣布输吏,位于F島的核電站权旷,受9級特大地震影響替蛉,放射性物質(zhì)發(fā)生泄漏贯溅。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,934評論 3 313
  • 文/蒙蒙 一躲查、第九天 我趴在偏房一處隱蔽的房頂上張望它浅。 院中可真熱鬧,春花似錦镣煮、人聲如沸姐霍。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,755評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽镊折。三九已至,卻和暖如春介衔,著一層夾襖步出監(jiān)牢的瞬間恨胚,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,987評論 1 266
  • 我被黑心中介騙來泰國打工炎咖, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留赃泡,地道東北人寒波。 一個月前我還...
    沈念sama閱讀 46,358評論 2 360
  • 正文 我出身青樓,卻偏偏與公主長得像升熊,于是被迫代替她去往敵國和親俄烁。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,514評論 2 348

推薦閱讀更多精彩內(nèi)容