前言
?? Elasticsearch是一個(gè)基于Lucene的搜索服務(wù)器蕾总。它提供了一個(gè)分布式多用戶能力的全文搜索引擎氓仲，基于RESTful web接口。Elasticsearch是用Java語言開發(fā)的讯赏，并作為Apache許可條款下的開放源碼發(fā)布义黎，是一種流行的企業(yè)級(jí)搜索引擎润文。Elasticsearch用于云計(jì)算中姐呐，能夠達(dá)到實(shí)時(shí)搜索，穩(wěn)定典蝌，可靠曙砂，快速，安裝使用方便骏掀。官方客戶端在Java鸠澈、.NET（C#）乔夯、PHP、Python款侵、Apache Groovy末荐、Ruby和許多其他語言中都是可用的。根據(jù)DB-Engines的排名顯示新锈，Elasticsearch是最受歡迎的企業(yè)搜索引擎甲脏，其次是Apache Solr，也是基于Lucene妹笆。
簡(jiǎn)介
??Elasticsearch 是一個(gè)分布式块请、高擴(kuò)展、高實(shí)時(shí)的搜索與數(shù)據(jù)分析引擎拳缠。它能很方便的使大量數(shù)據(jù)具有搜索墩新、分析和探索的能力。充分利用Elasticsearch的水平伸縮性窟坐，能使數(shù)據(jù)在生產(chǎn)環(huán)境變得更有價(jià)值海渊。Elasticsearch 的實(shí)現(xiàn)原理主要分為以下幾個(gè)步驟，首先用戶將數(shù)據(jù)提交到Elasticsearch 數(shù)據(jù)庫中哲鸳，再通過分詞控制器去將對(duì)應(yīng)的語句分詞臣疑，將其權(quán)重和分詞結(jié)果一并存入數(shù)據(jù)，當(dāng)用戶搜索數(shù)據(jù)時(shí)候徙菠，再根據(jù)權(quán)重將結(jié)果排名讯沈，打分，再將返回結(jié)果呈現(xiàn)給用戶婿奔。
??Elasticsearch是與名為L(zhǎng)ogstash的數(shù)據(jù)收集和日志解析引擎以及名為Kibana的分析和可視化平臺(tái)一起開發(fā)的缺狠。這三個(gè)產(chǎn)品被設(shè)計(jì)成一個(gè)集成解決方案，稱為“Elastic Stack”（以前稱為“ELK stack”）萍摊。
??Elasticsearch可以用于搜索各種文檔挤茄。它提供可擴(kuò)展的搜索，具有接近實(shí)時(shí)的搜索记餐，并支持多租戶驮樊。Elasticsearch是分布式的薇正，這意味著索引可以被分成分片片酝，每個(gè)分片可以有0個(gè)或多個(gè)副本。每個(gè)節(jié)點(diǎn)托管一個(gè)或多個(gè)分片挖腰，并充當(dāng)協(xié)調(diào)器將操作委托給正確的分片雕沿。再平衡和路由是自動(dòng)完成的。相關(guān)數(shù)據(jù)通常存儲(chǔ)在同一個(gè)索引中猴仑，該索引由一個(gè)或多個(gè)主分片和零個(gè)或多個(gè)復(fù)制分片組成审轮。一旦創(chuàng)建了索引肥哎，就不能更改主分片的數(shù)量。
??Elasticsearch使用Lucene疾渣，并試圖通過JSON和Java API提供其所有特性篡诽。它支持facetting和percolating，如果新文檔與注冊(cè)查詢匹配榴捡，這對(duì)于通知非常有用杈女。另一個(gè)特性稱為“網(wǎng)關(guān)”，處理索引的長(zhǎng)期持久性吊圾；例如达椰，在服務(wù)器崩潰的情況下，可以從網(wǎng)關(guān)恢復(fù)索引项乒。Elasticsearch支持實(shí)時(shí)GET請(qǐng)求啰劲，適合作為NoSQL數(shù)據(jù)存儲(chǔ)，但缺少分布式事務(wù)檀何。
歷史與發(fā)展
??Shay Banon在2004年創(chuàng)造了Elasticsearch的前身蝇裤，稱為Compass。在考慮Compass的第三個(gè)版本時(shí)频鉴，他意識(shí)到有必要重寫Compass的大部分內(nèi)容猖辫，以“創(chuàng)建一個(gè)可擴(kuò)展的搜索解決方案”。因此砚殿，他創(chuàng)建了“一個(gè)從頭構(gòu)建的分布式解決方案”啃憎，并使用了一個(gè)公共接口，即HTTP上的JSON似炎，它也適用于Java以外的編程語言辛萍。Shay Banon在2010年2月發(fā)布了Elasticsearch的第一個(gè)版本。
??Elasticsearch BV成立于2012年羡藐，主要圍繞Elasticsearch及相關(guān)軟件提供商業(yè)服務(wù)和產(chǎn)品贩毕。2014年6月，在成立公司18個(gè)月后仆嗦，該公司宣布通過C輪融資籌集7000萬美元辉阶。這輪融資由新企業(yè)協(xié)會(huì)(NEA)牽頭。其他投資者包括Benchmark Capital和Index Ventures瘩扼。這一輪融資總計(jì)1.04億美元
??2015年3月谆甜，Elasticsearch公司更名為Elastic。
??在2018年6月集绰，Elastic提交了首次公開募股申請(qǐng)规辱，估值在15億到30億美元之間。公司于2018年10月5日在紐約證券交易所掛牌上市栽燕。一些組織將Elasticsearch作為托管服務(wù)提供罕袋。這些托管服務(wù)提供托管改淑、部署、備份和其他支持浴讯。大多數(shù)托管服務(wù)還包括對(duì)Kibana的支持朵夏。
??Elasticsearch 自從誕生以來，其應(yīng)用越來越廣泛榆纽，特別是大數(shù)據(jù)領(lǐng)域侍郭，功能也越來越強(qiáng)大，但是如何有效的監(jiān)控管理 Elasticsearch 一直是公司所面對(duì)的難題掠河，由于 Elasticsearch 集群的穩(wěn)定性亮元，決定了其業(yè)務(wù)發(fā)展的高度，對(duì)于一個(gè)應(yīng)用來說其穩(wěn)定是第一目標(biāo)唠摹，所以完善的監(jiān)控體系是必不可少的爆捞。此外，Elasticsearch 寫入和查詢對(duì)資源的消耗都很大勾拉，如何合理有效地控制資源煮甥，既能滿足寫入和查詢的需求，又能滿足資源充分利用藕赞，這是公司必須面對(duì)的問題成肘。
??在國(guó)內(nèi)，還沒較為完善的面向 Elasticsearch 的監(jiān)控管理平臺(tái)斧蜕，很多企業(yè)往往只關(guān)注搭建一套簡(jiǎn)單分布式的集群環(huán)境双霍，而對(duì)這個(gè)集群的缺乏監(jiān)控和管理，元數(shù)據(jù)混亂批销，寫入和查詢耦合洒闸，缺乏監(jiān)控一旦集群出現(xiàn)問題，就會(huì)導(dǎo)致數(shù)據(jù)丟失均芽，甚至很容易導(dǎo)致線上應(yīng)用故障丘逸。相比于小公司，中大型公司的資金較為充足掀宋，所以中大型公司深纲，會(huì)選擇為每個(gè)應(yīng)用去維護(hù)一套集群，但是這每當(dāng)資源不夠需要擴(kuò)容或者縮容時(shí)劲妙，極其不方便湃鹊，需要增加刪除節(jié)點(diǎn)，其運(yùn)維成本過高是趴。而且對(duì)每個(gè)應(yīng)用來說涛舍，可能不能夠充分利用資源澄惊，但是如果和其他應(yīng)用混合部署唆途，但是又涉及到復(fù)雜的資源分配問題富雅，而且隨著應(yīng)用的發(fā)展，資源經(jīng)常需要變動(dòng)肛搬。在國(guó)外没佑，ELasticsearch 的應(yīng)用也很廣泛，也有對(duì) Elasticsearch 進(jìn)行很好的監(jiān)控和管理温赔，Amazon AWS中也有基于 Elasticsearch 構(gòu)建的平臺(tái)服務(wù)蛤奢，幫助電商應(yīng)用程序，網(wǎng)站等提供安全陶贼、高可靠啤贩、低成本、低延時(shí)拜秧、高吞吐量的個(gè)性化搜索痹屹。雖然，對(duì)集群進(jìn)行了監(jiān)控和管理枉氮，但是管理的維度還是集群級(jí)別的志衍，而對(duì)于應(yīng)用往往是模板級(jí)別的，如果應(yīng)用無法與集群一一對(duì)應(yīng)聊替，那就無法進(jìn)行更高效的管理楼肪。這無法滿足公司級(jí)別想要高效利用資源唤崭，集群內(nèi)部能支持多個(gè)應(yīng)用的場(chǎng)景务唐。
有關(guān)概念
cluster：代表一個(gè)集群盗似，集群中有多個(gè)節(jié)點(diǎn)牡彻，其中有一個(gè)為主節(jié)點(diǎn)分预，這個(gè)主節(jié)點(diǎn)是可以通過選舉產(chǎn)生的羡亩，主從節(jié)點(diǎn)是對(duì)于集群內(nèi)部來說的媒佣。es的一個(gè)概念就是去中心化斋扰，字面上理解就是無中心節(jié)點(diǎn)爷速，這是對(duì)于集群外部來說的央星，因?yàn)閺耐獠縼砜磂s集群，在邏輯上是個(gè)整體惫东，你與任何一個(gè)節(jié)點(diǎn)的通信和與整個(gè)es集群通信是等價(jià)的莉给。
shards：代表索引分片，es可以把一個(gè)完整的索引分成多個(gè)分片廉沮，這樣的好處是可以把一個(gè)大的索引拆分成多個(gè)颓遏，分布到不同的節(jié)點(diǎn)上。構(gòu)成分布式搜索滞时。分片的數(shù)量只能在索引創(chuàng)建前指定叁幢，并且索引創(chuàng)建后不能更改。
replicas：代表索引副本坪稽，es可以設(shè)置多個(gè)索引的副本曼玩，副本的作用一是提高系統(tǒng)的容錯(cuò)性鳞骤，當(dāng)某個(gè)節(jié)點(diǎn)某個(gè)分片損壞或丟失時(shí)可以從副本中恢復(fù)。二是提高es的查詢效率黍判，es會(huì)自動(dòng)對(duì)搜索請(qǐng)求進(jìn)行負(fù)載均衡豫尽。
recovery：代表數(shù)據(jù)恢復(fù)或叫數(shù)據(jù)重新分布，es在有節(jié)點(diǎn)加入或退出時(shí)會(huì)根據(jù)機(jī)器的負(fù)載對(duì)索引分片進(jìn)行重新分配顷帖，掛掉的節(jié)點(diǎn)重新啟動(dòng)時(shí)也會(huì)進(jìn)行數(shù)據(jù)恢復(fù)美旧。
river：代表es的一個(gè)數(shù)據(jù)源，也是其它存儲(chǔ)方式（如：數(shù)據(jù)庫）同步數(shù)據(jù)到es的一個(gè)方法贬墩。它是以插件方式存在的一個(gè)es服務(wù)榴嗅，通過讀取river中的數(shù)據(jù)并把它索引到es中，官方的river有couchDB的陶舞，RabbitMQ的录肯，Twitter的，Wikipedia的吊说。
gateway：代表es索引快照的存儲(chǔ)方式论咏，es默認(rèn)是先把索引存放到內(nèi)存中，當(dāng)內(nèi)存滿了時(shí)再持久化到本地硬盤颁井。gateway對(duì)索引快照進(jìn)行存儲(chǔ)厅贪，當(dāng)這個(gè)es集群關(guān)閉再重新啟動(dòng)時(shí)就會(huì)從gateway中讀取索引備份數(shù)據(jù)。es支持多種類型的gateway雅宾，有本地文件系統(tǒng)（默認(rèn)）养涮，分布式文件系統(tǒng)，Hadoop的HDFS和amazon的s3云存儲(chǔ)服務(wù)眉抬。
discovery.zen：代表es的自動(dòng)發(fā)現(xiàn)節(jié)點(diǎn)機(jī)制贯吓，es是一個(gè)基于p2p的系統(tǒng)，它先通過廣播尋找存在的節(jié)點(diǎn)蜀变，再通過多播協(xié)議來進(jìn)行節(jié)點(diǎn)之間的通信悄谐，同時(shí)也支持點(diǎn)對(duì)點(diǎn)的交互。
Transport：代表es內(nèi)部節(jié)點(diǎn)或集群與客戶端的交互方式库北，默認(rèn)內(nèi)部是使用tcp協(xié)議進(jìn)行交互爬舰，同時(shí)它支持http協(xié)議（json格式）、thrift寒瓦、servlet情屹、memcached、zeroMQ等的傳輸協(xié)議（通過插件方式集成）杂腰。
轉(zhuǎn)載：百度百科
