分布式搜索引擎ElasticSearch

今天學(xué)習(xí)這個東西Elasticsearch障斋。

Elasticsearch是一個搜索引擎纵潦,建立在Lucene之上徐鹤,Lucene是一個全文搜索引擎庫,最先進的邀层,豐富特點的搜索引擎

庫返敬。

Lucene只是一個庫,要駕馭它寥院,你需要用java集成Lucene,

更糟糕的是劲赠,你需要了解信息搜索如何工作的,Lucene很復(fù)雜秸谢。

(PS:不懂Lucene,只會用還不是盲人一個么)

Elasticsearch使用Lucene凛澎,提供全文搜索,隱藏Lucene的復(fù)雜性估蹄。

Elasticsearch同時也是一個:

分布式塑煎,實時文檔存儲,每個域都被索引臭蚁,可以被搜素最铁。

一個分布式的搜索引擎,可以實時分析垮兑。

可以擴展到數(shù)百臺服務(wù)器冷尉,巨大的數(shù)據(jù)。集成在一個獨立的服務(wù)器系枪,你可以通過REST風(fēng)格的API來訪問雀哨。

很容易上手,對新手隱藏了復(fù)雜的搜索理論私爷,你很快就掌握它震束。


ElasticSearch的一些概念:

集群 (cluster)

在一個分布式系統(tǒng)里面,可以通過多個elasticsearch運行實例組成一個集群,這個集群里面有一個節(jié)點叫做主節(jié)點(master),elasticsearch是去中心化的,所以這里的主節(jié)點是動態(tài)選舉出來的,不存在單點故障。

在同一個子網(wǎng)內(nèi)当犯,只需要在每個節(jié)點上設(shè)置相同的集群名,elasticsearch就會自動的把這些集群名相同的節(jié)點組成一個集群。節(jié)點和節(jié)點之間通訊以及節(jié)點之間的數(shù)據(jù)分配和平衡全部由elasticsearch自動管理割疾。

在外部看來elasticsearch就是一個整體嚎卫。

節(jié)點(node)

每一個運行實例稱為一個節(jié)點,每一個運行實例既可以在同一機器上,也可以在不同的機器上.所謂運行實例,就是一個服務(wù)器進程.在測試環(huán)境內(nèi),可以在一臺服務(wù)器上運行多個服務(wù)器進程,在生產(chǎn)環(huán)境建議每臺服務(wù)器運行一個服務(wù)器進程

索引(index)

這里的索引是名詞不是動詞,在elasticsearch里面支持多個索引。類似于關(guān)系數(shù)據(jù)庫里面每一個服務(wù)器可以支持多個數(shù)據(jù)庫一樣宏榕。在每一索引下面又支持多種類型拓诸,類似于關(guān)系數(shù)據(jù)庫里面的一個數(shù)據(jù)庫可以有多張表。但是本質(zhì)上和關(guān)系數(shù)據(jù)庫有很大的區(qū)別麻昼。這里暫時可以這么理解

分片(shards)

把一個索引分解為多個小的索引奠支,每一個小的索引叫做分片。分片后就可以把各個分片分配到不同的節(jié)點中

副本(replicas)

每一個分片可以有0到多個副本抚芦,每個副本都是分片的完整拷貝倍谜,可以用來增加速度迈螟,同時也可以提高系統(tǒng)的容錯性,一旦某個節(jié)點數(shù)據(jù)損壞尔崔,其他節(jié)點可以代替他.

介紹下es的幾個概念:

cluster

代表一個集群答毫,集群中有多個節(jié)點,其中有一個為主節(jié)點季春,這個主節(jié)點是可以通過選舉產(chǎn)生的洗搂,主從節(jié)點是對于集群內(nèi)部來說的。es的一個概念就是去中心化载弄,字面上理解就是無中心節(jié)點耘拇,這是對于集群外部來說的,因為從外部來看es集群宇攻,在邏輯上是個整體惫叛,你與任何一個節(jié)點的通信和與整個es集群通信是等價的。

shards

代表索引分片尺碰,es可以把一個完整的索引分成多個分片挣棕,這樣的好處是可以把一個大的索引拆分成多個,分布到不同的節(jié)點上亲桥。構(gòu)成分布式搜索洛心。分片的數(shù)量只能在索引創(chuàng)建前指定,并且索引創(chuàng)建后不能更改题篷。

replicas

代表索引副本词身,es可以設(shè)置多個索引的副本,副本的作用一是提高系統(tǒng)的容錯性番枚,當(dāng)個某個節(jié)點某個分片損壞或丟失時可以從副本中恢復(fù)法严。二是提高es的查詢效率,es會自動對搜索請求進行負(fù)載均衡葫笼。

recovery

代表數(shù)據(jù)恢復(fù)或叫數(shù)據(jù)重新分布深啤,es在有節(jié)點加入或退出時會根據(jù)機器的負(fù)載對索引分片進行重新分配,掛掉的節(jié)點重新啟動時也會進行數(shù)據(jù)恢復(fù)路星。

river

代表es的一個數(shù)據(jù)源溯街,也是其它存儲方式(如:數(shù)據(jù)庫)同步數(shù)據(jù)到es的一個方法。它是以插件方式存在的一個es服務(wù)洋丐,通過讀取river中的數(shù)據(jù)并把它索引到es中呈昔,官方的river有couchDB的,RabbitMQ的友绝,Twitter的堤尾,Wikipedia的,river這個功能將會在后面的文件中重點說到迁客。

gateway

代表es索引的持久化存儲方式郭宝,es默認(rèn)是先把索引存放到內(nèi)存中辞槐,當(dāng)內(nèi)存滿了時再持久化到硬盤。當(dāng)這個es集群關(guān)閉再重新啟動時就會從gateway中讀取索引數(shù)據(jù)剩蟀。es支持多種類型的gateway催蝗,有本地文件系統(tǒng)(默認(rèn)),分布式文件系統(tǒng)育特,Hadoop的HDFS和amazon的s3云存儲服務(wù)丙号。

discovery.zen

代表es的自動發(fā)現(xiàn)節(jié)點機制,es是一個基于p2p的系統(tǒng)缰冤,它先通過廣播尋找存在的節(jié)點犬缨,再通過多播協(xié)議來進行節(jié)點之間的通信,同時也支持點對點的交互棉浸。

Transport

代表es內(nèi)部節(jié)點或集群與客戶端的交互方式怀薛,默認(rèn)內(nèi)部是使用tcp協(xié)議進行交互,同時它支持http協(xié)議(json格式)迷郑、thrift枝恋、servlet、memcached嗡害、zeroMQ等的傳輸協(xié)議(通過插件方式集成)焚碌。

更多詳細信息可以在Elasticsearch 權(quán)威指南(中文版)

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市霸妹,隨后出現(xiàn)的幾起案子蛾默,更是在濱河造成了極大的恐慌芹关,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,839評論 6 482
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件宅荤,死亡現(xiàn)場離奇詭異裆针,居然都是意外死亡掌逛,警方通過查閱死者的電腦和手機痴施,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,543評論 2 382
  • 文/潘曉璐 我一進店門味榛,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人良价,你說我怎么就攤上這事寝殴。” “怎么了棚壁?”我有些...
    開封第一講書人閱讀 153,116評論 0 344
  • 文/不壞的土叔 我叫張陵,是天一觀的道長栈虚。 經(jīng)常有香客問我袖外,道長,這世上最難降的妖魔是什么魂务? 我笑而不...
    開封第一講書人閱讀 55,371評論 1 279
  • 正文 為了忘掉前任曼验,我火速辦了婚禮泌射,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘鬓照。我一直安慰自己熔酷,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 64,384評論 5 374
  • 文/花漫 我一把揭開白布豺裆。 她就那樣靜靜地躺著拒秘,像睡著了一般。 火紅的嫁衣襯著肌膚如雪臭猜。 梳的紋絲不亂的頭發(fā)上躺酒,一...
    開封第一講書人閱讀 49,111評論 1 285
  • 那天,我揣著相機與錄音蔑歌,去河邊找鬼羹应。 笑死,一個胖子當(dāng)著我的面吹牛次屠,可吹牛的內(nèi)容都是我干的园匹。 我是一名探鬼主播,決...
    沈念sama閱讀 38,416評論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼劫灶,長吁一口氣:“原來是場噩夢啊……” “哼裸违!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起浑此,我...
    開封第一講書人閱讀 37,053評論 0 259
  • 序言:老撾萬榮一對情侶失蹤累颂,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后凛俱,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體紊馏,經(jīng)...
    沈念sama閱讀 43,558評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,007評論 2 325
  • 正文 我和宋清朗相戀三年蒲犬,在試婚紗的時候發(fā)現(xiàn)自己被綠了朱监。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,117評論 1 334
  • 序言:一個原本活蹦亂跳的男人離奇死亡原叮,死狀恐怖赫编,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情奋隶,我是刑警寧澤擂送,帶...
    沈念sama閱讀 33,756評論 4 324
  • 正文 年R本政府宣布,位于F島的核電站唯欣,受9級特大地震影響嘹吨,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜境氢,卻給世界環(huán)境...
    茶點故事閱讀 39,324評論 3 307
  • 文/蒙蒙 一蟀拷、第九天 我趴在偏房一處隱蔽的房頂上張望碰纬。 院中可真熱鬧,春花似錦问芬、人聲如沸悦析。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,315評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽强戴。三九已至,卻和暖如春炕柔,著一層夾襖步出監(jiān)牢的瞬間酌泰,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,539評論 1 262
  • 我被黑心中介騙來泰國打工匕累, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留陵刹,地道東北人。 一個月前我還...
    沈念sama閱讀 45,578評論 2 355
  • 正文 我出身青樓欢嘿,卻偏偏與公主長得像衰琐,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子炼蹦,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 42,877評論 2 345

推薦閱讀更多精彩內(nèi)容