ES分布式架構(gòu)
ES底層是基于lucene的顿锰，核心思想是在多臺服務(wù)器上啟動多個es進程實例蛔糯，組成一個es集群
建立一個索引時，將索引拆分成多個shard幌甘，每個shard存儲部分?jǐn)?shù)據(jù)潮售，然后這個shard有多個備份，每個shard都有一個primary shard锅风，負責(zé)寫入數(shù)據(jù)饲做，但是還有幾個replica shard，每個primary shard寫入數(shù)據(jù)之后就會同步到其他幾個replica shard上去
通過這個replica的方案遏弱，每個shard有多個備份，如果某個機器宕機了塞弊，還有別的數(shù)據(jù)副本備份在其他機器漱逸，從而實現(xiàn)了高可用
es集群有多個節(jié)點，會自動選舉出一個master的節(jié)點游沿，這個master節(jié)點主要是管理維護索引元數(shù)據(jù)饰抒，負責(zé)切換primary shard和replica shard身份，如果master節(jié)點宕機了诀黍，就會重新選舉出一個節(jié)點為master袋坑；如果其他節(jié)點宕機了，就會由master節(jié)點將那臺機器的primary shard的身份轉(zhuǎn)移到其他機器的replica shard眯勾，接著如果修復(fù)了那臺機器枣宫，master節(jié)點會控制將缺失的replica shard分配過去，同步修改數(shù)據(jù)吃环，讓集群恢復(fù)正常
ES的結(jié)構(gòu)
es中存儲數(shù)據(jù)的基本單位是索引（index）也颤，索引相當(dāng)于mysql的一個數(shù)據(jù)庫，索引之后是類型（type）(mysql數(shù)據(jù)庫里的表)郁轻，一個索引可以有多個type翅娶，每個type的字段差不多文留，但是會略有一點區(qū)別；type之后是mapping竭沫，mapping代表這個type的結(jié)構(gòu)定義燥翅，每個type會有一個mapping，定義表里面有哪些字段和類型蜕提；之后是document森书，類似于mysql的一條記錄，往index的type里面插入一條數(shù)據(jù)贯溅，就是指插入一條document;每個document有多個field拄氯，每個field代表這個document的一個字段的值，類似mysql的一個字段
ES寫數(shù)據(jù)過程
客戶端選擇一個node發(fā)送請求它浅，這個node這時被稱作coordinating node（協(xié)調(diào)節(jié)點）译柏，coordinating node對document進行路由，將請求轉(zhuǎn)發(fā)給對應(yīng)的帶有primary shard的node姐霍，coordinating node 如果發(fā)現(xiàn)primary node和所有的replica node都寫完之后鄙麦，會返回響應(yīng)結(jié)果給客戶端
ES讀數(shù)據(jù)過程
可以通過doc id來查詢，會根據(jù)doc id進行hash镊折，判斷doc id被分配到那個shard上去胯府，從那個shard去查詢
- 客戶端發(fā)送一個請求到任意一個node，這個node這時被稱作coordinating node（協(xié)調(diào)節(jié)點）
- coordinating node對doc id進行hash恨胚，并將請求轉(zhuǎn)發(fā)給對應(yīng)的node骂因，此時會使用round-robin隨機輪詢算法，在primary shard以及其所有的replica shard里面隨機選一個赃泡，讓讀請求負載均衡
- 接受請求的node返回document給coordinating node寒波，coordinating node 返回document給客戶端
ES搜索數(shù)據(jù)過程
- 客戶端發(fā)送請求到一個node，這個node這時被稱作coordinating node（協(xié)調(diào)節(jié)點）
- coordinating node會將搜索請求轉(zhuǎn)發(fā)到所有的shard對應(yīng)的primary shard和replica node
- query phrase:每個shard將自己的的搜索結(jié)果返回給coordinating node升熊，由coordinating node對結(jié)果進行合并俄烁，排序，分頁等级野，產(chǎn)出最終結(jié)果
- fetch Phrase:coordinating node根據(jù)doc id去各個節(jié)點拉取實際的document數(shù)據(jù)页屠，最終返回給客戶端
ES寫數(shù)據(jù)底層原理
- coordinating node將document路由之后，實際寫數(shù)據(jù)的primary shard會先將document寫入內(nèi)存buffer蓖柔，在buffer里的時候數(shù)據(jù)是搜索不到的辰企，同時將數(shù)據(jù)寫入translog日志文件。如果buffer快滿了况鸣，或者到一定時間蟆豫，就會將buffer數(shù)據(jù)refresh到一個新的segment file，但是此時數(shù)據(jù)不是直接進入segment file磁盤文件懒闷，而是先進入os cache十减。
- 每隔1s栈幸，es將buffer寫入一個新的segment file，每秒鐘會產(chǎn)生一個新的磁盤文件segment file帮辟，這個segment file就存儲著最近1s內(nèi)buffer寫入的數(shù)據(jù)
- 如果buffer沒有數(shù)據(jù)速址，不會執(zhí)行refresh操作；如果有由驹，默認(rèn)是1s1次refresh
- 只要buffer被寫進了os cache芍锚，就可以被檢索到，所以寫入的數(shù)據(jù)默認(rèn)是1s后能看到蔓榄，所以es被稱作準(zhǔn)實時的
- 當(dāng)重復(fù)上述步驟時并炮，translog會越來越大，當(dāng)translog大到一定長度時甥郑，就會觸發(fā)commit操作
- commit第一步逃魄，會將buffer數(shù)據(jù)refresh到os cache中去，然后清空buffer澜搅，然后將一個commit point寫入磁盤伍俘，里面標(biāo)識著這個commit point對應(yīng)的所有的segment file
- 同時強行將os cache中的數(shù)據(jù)fsync到磁盤文件中去
- 最后清空translog日志，重啟一個translog
- 這個commit叫flush勉躺，默認(rèn)是30分鐘一次
translog:在執(zhí)行commit之前癌瘾，數(shù)據(jù)要么在buffer，要么在os cache饵溅，都屬于內(nèi)存區(qū)域妨退，一旦機器宕機，數(shù)據(jù)就會丟失蜕企，所以translog日志能夠幫助在宕機的時候恢復(fù)數(shù)據(jù)
translog其實也是先寫入 os cache 的咬荷，默認(rèn)每隔5秒刷一次到磁盤中去，所以默認(rèn)情況下糖赔，可能有 5 秒的數(shù)據(jù)會僅僅停留在 buffer 或者 translog 文件的 os cache 中，如果此時機器掛了轩端，會丟失 5 秒鐘的數(shù)據(jù)放典。
刪除/更新底層原理
如果是刪除操作，commit的時候會生成一個.del文件基茵，里面將某個doc標(biāo)識為deleted狀態(tài)奋构，那么搜索的時候根據(jù).del文件就知道這個doc被刪除了
如果是更新操作，就是將原來的doc標(biāo)識為deleted狀態(tài)拱层，然后重新寫入一條數(shù)據(jù)
buffer 每次 refresh 一次弥臼，就會產(chǎn)生一個 segment file，所以默認(rèn)情況下是 1 秒鐘一個 segment file根灯，這樣下來 segment file會越來越多径缅，此時會定期執(zhí)行merge掺栅。每次merge的時候，會將多個segment file合并成一個纳猪，同時這里會將標(biāo)識為deleted的doc給物理刪除掉氧卧，然后將新的segment file寫入磁盤，這里會寫一個commit point氏堤，標(biāo)識所有新的segment file沙绝，然后打開 segment file供搜索使用，同時刪除舊的segment file鼠锈。
倒排索引
- 在搜索引擎中闪檬，每個文檔都有一個對應(yīng)的文檔ID，文檔內(nèi)容被表示為一系列關(guān)鍵詞的集合
倒排索引就是關(guān)鍵詞到文檔ID的映射购笆，每個關(guān)鍵詞都對應(yīng)這一系列的文件粗悯，這些文件中都出現(xiàn)了關(guān)鍵詞
| DocID | Doc |
|---|---|
| 1 | 谷歌地圖之父跳槽 Facebook |
| 2 | 谷歌地圖之父加盟 Facebook |
| 3 | 谷歌地圖創(chuàng)始人拉斯離開谷歌加盟 Facebook |
| 4 | 谷歌地圖之父跳槽 Facebook 與 Wave 項目取消有關(guān) |
| 5 | 谷歌地圖之父拉斯加盟社交網(wǎng)站 Facebook |
對文檔進行分詞之后，得到以下倒排索引
| WordId | Word | DocIds |
|---|---|---|
| 1 | 谷歌 | 1由桌，2为黎，3，4行您，5 |
| 2 | 地圖 | 1铭乾，2，3娃循，4炕檩，5 |
| 3 | 之父 | 1，2捌斧，4笛质，5 |
| 4 | 跳槽 | 1，4 |
| 5 | 1捞蚂，2妇押，3，4姓迅，5 | |
| 6 | 加盟 | 2敲霍，3，5 |
| 7 | 創(chuàng)始人 | 3 |
| 8 | 拉斯 | 3丁存，5 |
| 9 | 離開 | 3 |
| 10 | 與 | 4 |
| .. | .. | .. |
另外肩杈，實用的倒排索引還可以記錄更多的信息，比如文檔頻率信息解寝，表示在文檔集合中有多少個文檔包含某個單詞扩然。
那么，有了倒排索引聋伦，搜索引擎可以很方便地響應(yīng)用戶的查詢夫偶。比如用戶輸入查詢 Facebook界睁，搜索系統(tǒng)查找倒排索引，從中讀出包含這個單詞的文檔索守，這些文檔就是提供給用戶的搜索結(jié)果晕窑。
