Elasticsearch Write Debug 詳細記錄

Debug說明

記錄ES寫入數(shù)據(jù)的整個Debug流程，具體實現(xiàn)細節(jié)沒有做過多解釋說明
Debug的索引衫贬，設(shè)置1shard四啰、0replicas，便于理清主線
先創(chuàng)建索引驮樊，其次再執(zhí)行寫入薇正；因此這里Debug的過程暫時不涉及創(chuàng)建索引的操作
ES version：5.6.16
一個ES節(jié)點（master and data）

Debug記錄

## 創(chuàng)建索引
curl -XPUT localhost:9200/twitter -H "Content-Type:application/json" -d '{"settings":{"index":{"number_of_shards":1, "number_of_replicas":0}}}'

## 執(zhí)行具體的寫入操作
curl -XPOST localhost:9200/twitter/doc -H "Content-Type:application/json" -d '{"name":"tony","age":13}'

Elasticsearch接口主要以RestAPI的方式向外提供，上述我們通過curl的方式執(zhí)行的寫入操作即屬于RestAPI囚衔；ES源碼中所有Rest請求的父類均為BaseRestHandler挖腰，因此這里我們在如下的位置打上DEBUG斷點開始調(diào)試：

通過curl發(fā)送寫入請求，進入Debug流程佳魔；當前handleRequest函數(shù)主要是對請求參數(shù)以及請求體做一些操作曙聂，因此往下執(zhí)行，進入action.accept(channel)方法中鞠鲜；此時執(zhí)行流程進入到了RestIndexAction類的channel -> client.index(...)位置，如下：

Step into 上述client.index(...)方法中断国，此時流程進入到AbstractClient抽象類的index(...)方法內(nèi)贤姆，如下：

接著Step into execute(...)方法內(nèi)，此時流程進入到AbstractClient抽象類的execute(...)方法內(nèi)稳衬，如下：

接著Step into doExecute(...)方法內(nèi)霞捡，此時流程進入到NodeClient類的doExecute(...)方法內(nèi)，如下：

接著Step into executeLocally(...)方法內(nèi)薄疚，此時流程進入到NodeClient類的executeLocally(...)方法內(nèi)碧信，如下：

接著Step into 上述execute(...)方法內(nèi)，這里可以看到ES將Rest類型的請求轉(zhuǎn)換成了內(nèi)部的Transport類型街夭，此時執(zhí)行流程進入到抽象類TransportAction的execute(...)方法內(nèi)砰碴，如下：

接著Step into 上述圖片中的execute(...)方法內(nèi)，此時流程進入到TransportAction類的execute(...)方法內(nèi)板丽，如下：

接著Step into 請求過濾鏈中的proceed(...)方法呈枉，如下：

TransportAction類的proceed(...)方法，主要是以請求過濾鏈的方式對一些邏輯進行處理，而且此處proceed(...)方法后面也會再次進入猖辫；Step into this.action.doExecute(...)方法酥泞，如下：

此時執(zhí)行流程進入到TransportSingleItemBullkWriteAction類的doExecute(...)方法內(nèi)，Step into bulkAction.execute(...)方法啃憎，如下：

再次經(jīng)過請求過濾鏈之后芝囤，流程開始進入到處理實體類TransportBulkAction類的doExecute(...)方法內(nèi)，如下：

該函數(shù)主要對請求體中所涉及到的索引進行檢測辛萍，如果不存在則會執(zhí)行創(chuàng)建操作悯姊；如果索引已存在，則接著往下執(zhí)行具體的寫入操作叹阔。這個函數(shù)體邏輯還是值得深入研究的挠轴，包含的信息很多；這里暫時不對此做分析耳幢。由于這里的寫入數(shù)據(jù)是在創(chuàng)建完成索引之后進行的岸晦；因此這里不需要當前請求再創(chuàng)建索引了；此時邏輯會進入無需創(chuàng)建索引的操作睛藻，如下：

接著Step into executeBulk(...)方法內(nèi)启上，此時流程進入到TransportBulkAction類的executeBulk(...)方法，如下：

BulkOperation繼承ES的AbstractRunnable抽象類店印，而AbstractRunnable類實現(xiàn)了Java的Runnable接口冈在，層次關(guān)系為：

因此主要的執(zhí)行邏輯會放在run()方法中，此處Step into BulkOperation類的run()方法內(nèi)按摘，如下：

接著Step into doRun()方法包券，如下：

此時，真實進入BulkOperation類的doRun()方法中炫贤，方法內(nèi)做了大量的核心工作溅固，比如maping操作、根據(jù)路由信息找出doc對應(yīng)的shardID等兰珍，可以做深入研究侍郭；這里直接跳轉(zhuǎn)到shardBulkAction對象的execute(...)方法處，如下：

接著Step into shardBulkAction的execute(...)方法內(nèi)掠河，執(zhí)行經(jīng)過如下：

接著Step into this.action.doExecute(...)方法內(nèi)亮元，此時執(zhí)行流程進入TransportReplicationAction類的doExecute(...)方法內(nèi)，如下：

接著Step into doRun()方法內(nèi)唠摹，此時執(zhí)行流程進入到TransportReplicationAction類的doRun()方法內(nèi)爆捞，如下：

如果要寫入的primary shard所在的節(jié)點是當前執(zhí)行的節(jié)點，則執(zhí)行performLocalAction(...)方法跃闹，否則執(zhí)行performRemoteAction(...);由于當前Debug的ES節(jié)點集master與data于一身嵌削，因此這里會執(zhí)行performLocalAction(...)方法毛好，如下：

Step into performLocalAction(...)方法內(nèi)，執(zhí)行流程經(jīng)過：

執(zhí)行到這里苛秕，ES會將具體的寫入請求操作發(fā)送到具體的data節(jié)點上去執(zhí)行真實的寫入肌访，這里Step into sendRequest(...)方法內(nèi)，執(zhí)行流程經(jīng)過：

寫入流程執(zhí)行到這里艇劫，算是進入了真正的寫入邏輯了吼驶；primary shard的寫入操作由primary.perform(request)完成，可以Debug進入查看店煞，數(shù)據(jù)主要寫入Lucene中蟹演；Step into primary.perform(request)繼續(xù)跟蹤可以完整了解到寫入Lucene的整個邏輯，這里暫時不涉及Lucene的寫入邏輯顷蟀。執(zhí)行完primaryShard的操作后接著需要獲取當前最新的cluster state酒请，最后會執(zhí)行performOnReplicas(...)副本的寫入操作。這也驗證了ES文檔中常說的先寫primaryShard鸣个，后寫replicaShard的順序羞反。由于這里沒有副本寫入，因此不會執(zhí)行performOnReplicas(...)真實的操作囤萤。最后successfulShards.incrementAndGet()統(tǒng)計執(zhí)行寫入操作成功的shard數(shù)量昼窗。到這里整個寫入的操作算是執(zhí)行完畢了（由此處一直往下Step over，代碼執(zhí)行邏輯便會結(jié)束）涛舍。這就是整個寫入的執(zhí)行邏輯澄惊。

Debug小結(jié)

上述是從整體上梳理了ES執(zhí)行寫入操作的流程，從最開始的Debug富雅，一直跟蹤代碼的執(zhí)行流程掸驱，經(jīng)過哪個類哪個方法，直到最后邏輯的完成没佑。這一篇文檔算是給想要研究ES寫入流程源碼操作的同學(xué)的一個宏觀上的認知亭敢；其中一些實現(xiàn)細節(jié)并沒有做深入的說明。ES的代碼結(jié)構(gòu)很復(fù)雜图筹，寫入流程也很復(fù)雜。在我們宏觀上有了對ES寫入流程的認知后让腹，后續(xù)若要研究某些具體的問題远剩，能夠比較快速的深入到具體的類具體的方法內(nèi)去做深入的研究。從上述的Debug整個流程來看骇窍，我們暫時可以學(xué)習(xí)到如下幾點：

ES所有Rest請求的Handler類均繼承BaseRestHandler
ES內(nèi)部最終都會將用戶執(zhí)行的Rest請求轉(zhuǎn)換成內(nèi)部的Transport相關(guān)的請求處理
ES內(nèi)部抽象出了AbstractRunnable的抽象類瓜晤，然后在run()方法內(nèi)定義具體的執(zhí)行流程與規(guī)范，比如doRun腹纳、onFailure痢掠、onAfter
ES協(xié)調(diào)節(jié)點用于接受請求驱犹，然后根據(jù)路由信息最終要將請求發(fā)送到真實的節(jié)點上來做執(zhí)行
ES的寫入確實是先執(zhí)行primaryShard的操作，其次再執(zhí)行replicaShard的寫入操作
ES的代碼結(jié)構(gòu)與邏輯都很復(fù)雜足画，所以我們在調(diào)試的過程中要使用一些技巧雄驹，方便我們盡快找到核心邏輯
- 比如這里當前用一個節(jié)點即作為master又作為data
- 為Debug的索引只創(chuàng)建一個primaryShard、0 replicaShard
- 當然這些只是為了在剛開始接觸ES代碼時淹辞，減少Debug的難度医舆；研究真實的問題時，Debug也是很復(fù)雜的

由于自己當時對ES與Java了解不夠深象缀，所以整個寫入流程的打通花費了自己很長的時間蔬将，在此做個文檔一方面是記錄下來，方便自己以后查看央星；另一方面也是希望幫到和我當初一樣處境的同學(xué)霞怀，盡快走通流程，然后往下繼續(xù)做ES源碼的深入分析莉给。后續(xù)會繼續(xù)將自己學(xué)習(xí)ES相關(guān)的內(nèi)容與大家一起分享毙石，一起學(xué)習(xí)。