最近在使用Jaeger提供的Spark Job時(shí)出現(xiàn)了OOM的問題耕姊，特記錄一下優(yōu)化過程
問題介紹
如下双戳，我司采用Jaeger+Opentracing的解決方案來搭建我司的全鏈路追蹤系統(tǒng)忍疾，但是目前的Jaeger缺失對(duì)鏈路數(shù)據(jù)的分析括儒。目前提供的就是一個(gè)Spark Job來計(jì)算服務(wù)間的依賴關(guān)系。
如下圖谓形，圖中的DB钉跷，我司采用的是Elasticsearch弥鹦，而且為了減少Spark環(huán)境的維護(hù)工作以及資源的消耗，我們使用了Jaeger官方提供的jaegertracing/spark-dependencies,就直接在單機(jī)上跑Spark Job爷辙。在上線初期彬坏，數(shù)據(jù)量不大，一直運(yùn)行良好膝晾。但是隨著接入的系統(tǒng)越來越多栓始，數(shù)據(jù)量變得越來越大，導(dǎo)致最近幾次跑Spark Job經(jīng)常OOM血当，所以就有了今天這篇文章幻赚。
解決方案
OOM的常用解決方案，很簡單就是加內(nèi)存臊旭。確實(shí)我們也試著加了內(nèi)存去跑落恼。一開始只配置了4G的內(nèi)存，后來配置了10G內(nèi)存去跑离熏，也還是不行佳谦。那是不是還需要加內(nèi)存去跑呢？其實(shí)我們知道一直加內(nèi)存一定是可以搞定的滋戳，實(shí)在不行的話钻蔑，我們還可以使用幾臺(tái)機(jī)器搭建一個(gè)Spark集群來搞定啥刻，反正加內(nèi)存，堆機(jī)器就肯定可以搞定矢棚。
然后現(xiàn)實(shí)預(yù)算是這樣的
所以郑什，我們能不能使用最小的代價(jià)把這件事搞定了。
于是我們就去github上使用蹩腳的英語去騷擾作者了蒲肋，有啥既省錢又方便的解決方案嗎蘑拯？然而作者一般的建議放集群上跑。
這純粹是意淫啊兜粘，我并沒有去開源項(xiàng)目上騷擾作者申窘，我也建議不要一有問題就去問開源作者，首先自己要思考解決方案孔轴，然后實(shí)在不行的話抱著試一試的想法去提問剃法。
那怎么辦呢？
我們可以切換一個(gè)思路路鹰，既然是因?yàn)閿?shù)據(jù)量太大導(dǎo)致OOM了贷洲，那我們能不能減少數(shù)據(jù)量去跑任務(wù)呢？于是就開始一頓猛操作晋柱，發(fā)現(xiàn)有以下幾個(gè)解決方案
1.給官方提PR优构，支持在Spark Job中配置查詢語句（縮小數(shù)據(jù)量）
es讀取Spark數(shù)據(jù)可參考es-spark，es-spark 處理邏輯可參考ElasticsearchDependenciesJob2.使用ES的reindex功能雁竞，講一小時(shí)內(nèi)的數(shù)據(jù)量導(dǎo)入到一個(gè)新的索引钦椭。具體參考elasticsearch官方文檔 reindex
-
3.使用alias + filter功能。給原索引在1小時(shí)內(nèi)的數(shù)據(jù)加一個(gè)別名碑诉。
具體參考elasticsearch官方文檔 aliases
方案比較
第一種方案彪腔，如果不是很著急而且作者也同意的話也算是一個(gè)比較經(jīng)濟(jì)實(shí)惠而且優(yōu)雅的解決方案。但是就是時(shí)間長一點(diǎn)进栽，而且需要一定的源代碼修改能力德挣。
第二種方案，要稍微犧牲一點(diǎn)ES的資源快毛，就是額外多索引一份數(shù)據(jù)給Spark Job,并且需要管理額外的索引和別名格嗅。也算可以接受。
第三種方案祸泪，既不需要消耗額外的資源吗浩，也不需要修改官方代碼，只需要管理別名没隘，配置一下Spark Job就可以了懂扼。總體來說是目前最優(yōu)的解決方案。
所以阀湿，我們選擇方案三：使用alias + filter
實(shí)戰(zhàn)
如果對(duì)ES的別名機(jī)制還不太了解的小伙伴赶熟，建議先看一下ES的官方文檔。簡單來說別名就像是數(shù)據(jù)庫中的視圖(view)陷嘴。
步驟一：給原索引加上別名
如下映砖，我們給2019-08-13索引14點(diǎn)到15點(diǎn)的數(shù)據(jù)加上了別名，實(shí)際操作的時(shí)候需要加上定時(shí)任務(wù)灾挨，每天都需要給新生成的索引加上別名邑退。可以使用es官方提供的curator來管理定時(shí)任務(wù)劳澄。
POST /_aliases
{
"actions" : [
{
"add" : {
"index" : "jaeger-span-2019-08-13",
"alias" : "hour-jaeger-span-2019-08-13",
"filter": {
"range": {
"startTime": {
"gte": 1565676000000000,
"lte": 1565679600000000
}
}
}
}
}
]
}
步驟二：修改Spark Job配置
修改Spakr Job的ES_INDEX_PREFIX配置
ES_INDEX_PREFIX=hour
注意這里的hour就是上面別名的前綴地技。實(shí)際Spark Job在執(zhí)行的時(shí)候?qū)嶋H獲取的索引名稱規(guī)則是${ES_INDEX_PREFIX}-jaeger-span-yyyy-MM-dd。所以這里ES_INDEX_PREFIX設(shè)置為hour
步驟三：管理所產(chǎn)生的依賴索引別名
當(dāng)跑完上面的任務(wù)的時(shí)候秒拔，新生成的依賴索引名稱是hour-jaeger-dependencies-2019-08-13莫矗，然而默認(rèn)的依賴索引應(yīng)該是jaeger-dependencies-2019-08-13，索引需要給新生成的索引添加別名砂缩。
當(dāng)然如果你們是自己獲取的依賴關(guān)系作谚，然后自己去畫依賴圖（官方的依賴圖不夠好）的話，那么就可以改變一下索引就可以了庵芭，如果使用的是自帶的依賴圖的話妹懒，那就需要管理一下別名。我司就是直接自己畫的依賴圖喳挑，所以不需要加別名彬伦，直接獲取就好滔悉。
優(yōu)化方案注意點(diǎn)
- 該優(yōu)化方案的前提是依賴關(guān)系不怎么變化或者能接受依賴關(guān)系比較大的延遲伊诵。所以我們可以根據(jù)1個(gè)小時(shí)的數(shù)據(jù)中的依賴關(guān)系來表示一整天的依賴關(guān)系。
- 選取的時(shí)間段一定要是業(yè)務(wù)相對(duì)而言比較頻繁的時(shí)候回官，不然容易導(dǎo)致確實(shí)部分服務(wù)的依賴曹宴。如一些運(yùn)維使用的系統(tǒng)，正常在上班時(shí)間使用得較多歉提，所以要盡量選取自己公司流量不大的系統(tǒng)的業(yè)務(wù)高峰期笛坦，流量大（C端業(yè)務(wù)）的系統(tǒng)不用管，肯定會(huì)有數(shù)據(jù)的苔巨。
- 如果比較難以選擇一個(gè)時(shí)間段來保證所有的系統(tǒng)都會(huì)有業(yè)務(wù)發(fā)生版扩，那么就需要多個(gè)時(shí)間段來跑任務(wù)，然后使用定時(shí)任務(wù)來合并依賴結(jié)果
