Debug說(shuō)明
- 記錄ES數(shù)據(jù)搜索的整個(gè)debug流程,具體細(xì)節(jié)沒(méi)有作過(guò)多的解釋說(shuō)明
- Debug的索引舱殿,設(shè)置2shard、0replicas,便于理解每個(gè)分片的執(zhí)行主線
- ES version:5.6.16
- 一個(gè)ES節(jié)點(diǎn)(master and data)
Debug記錄
接著往下Step Over豌鹤,則可完成主體的執(zhí)行流程。到這里枝缔,整個(gè)Search的執(zhí)行流程主線梳理完成布疙,簡(jiǎn)單小記下其中比較核心的知識(shí)點(diǎn):
- 從代碼中可明顯的看出,ES的Search分為query和fetch兩個(gè)階段愿卸;query階段從查詢涉及的每個(gè)分片中獲取滿足條件的docIdsList灵临,然后對(duì)此進(jìn)行合并且排序篩選出需要的docIdsToLoad,最后fetch階段根據(jù)docIdsToLoad去查詢涉及的每個(gè)分片趴荸,獲取最終的結(jié)果
- ES的搜索類型包括QUERY_THEN_FETCH儒溉、QUERY_AND_FETCH、DFS_QUERY_THEN_FETCH三種发钝;其中QUERY_THEN_FETCH是ES默認(rèn)的查詢方式顿涣;如果想要獲取更準(zhǔn)確的評(píng)分則可以使用DFS_QUERY_THEN_FETCH的查詢方式,但同樣伴隨著更多的資源消耗酝豪;QUERY_AND_FETCH適用場(chǎng)景更少涛碑,即當(dāng)此次request設(shè)計(jì)的分片數(shù)為1時(shí),在執(zhí)行完query后緊接著執(zhí)行fetch孵淘;QUERY_AND_FETCH已經(jīng)被標(biāo)記為deprecated狀態(tài)
- performPhaseOnShard函數(shù)對(duì)request中涉及到的每個(gè)shard蒲障,均會(huì)封裝成一個(gè)線程,然后通過(guò)ES的search線程池的方式執(zhí)行并管理具體的任務(wù)
- 每個(gè)分片的執(zhí)行結(jié)果是以channel send response的方式發(fā)送到協(xié)調(diào)節(jié)點(diǎn)參與匯總的工作瘫证,協(xié)調(diào)節(jié)點(diǎn)對(duì)各分片結(jié)果的處理入口是在InitialSearchPhase類的onShardResult方法中揉阎;query階段處理完成,會(huì)緊接著由協(xié)調(diào)節(jié)點(diǎn)發(fā)起背捌,進(jìn)入fetch階段
- ES中通過(guò)implements Runnable余黎,實(shí)現(xiàn)了自己的AbstractRunnable,并override run函數(shù)载萌,對(duì)其中的執(zhí)行順序進(jìn)行了規(guī)約惧财,比如定義執(zhí)行體為doRun巡扇,發(fā)生異常了會(huì)執(zhí)行onFailure,結(jié)束后會(huì)執(zhí)行onAfter垮衷;熟悉了這個(gè)厅翔,有助于理解其中的一些函數(shù)調(diào)用邏輯
- ES會(huì)把最初的Rest請(qǐng)求給轉(zhuǎn)換成內(nèi)部統(tǒng)一的Transport的方式處理,比如TransportAction搀突,search邏輯對(duì)應(yīng)的TransportSearchAction類等
小結(jié)
與Elasticsearch Write Debug 詳細(xì)記錄這篇文檔形成呼應(yīng)刀闷,本篇文檔詳細(xì)的記錄了ES整個(gè)search主線邏輯,也是希望幫助那些剛剛接觸ES源碼的同學(xué)快速上車仰迁,早點(diǎn)理清代碼主線甸昏,然后再針對(duì)某個(gè)具體的模塊做深入的研究。文檔中并沒(méi)有涉及到多少硬核知識(shí)徐许,主要的重心還是放在了執(zhí)行主線上施蜜;ES的源碼比較復(fù)雜,需要日拱一卒堅(jiān)持不斷的研究雌隅,與大家一起學(xué)習(xí)翻默,一起進(jìn)步