可恨的Solr6.3不穩(wěn)定根源終于找到了

一、背景

前段時(shí)間供屉,一連參與了兩次客戶的Solr問題解決,非常具有參考價(jià)值溺蕉,特別是第二次伶丐,網(wǎng)上用Solr的人越來越少,寫下總結(jié)焙贷,希望給使用Solr也遇到類似的問題的朋友一點(diǎn)提示吧撵割。

二贿堰、MMapDirectory報(bào)錯(cuò)

2.1 報(bào)錯(cuò)現(xiàn)象

報(bào)錯(cuò)的信息還是比較直接提示Map映射失敗辙芍,并給出了"sysctl vm.max_map_count”等需要修改的提示。

2.2 解決辦法

1羹与、按照如下方式修改內(nèi)存映射的限制參數(shù)
vi /etc/sysctl.conf
vm.max_map_count=262144
#生效配置
sysctl –p
說明:設(shè)置可以使用的使用虛擬內(nèi)存的限制和最大線程數(shù)故硅。
2、更改程序可以使用最大內(nèi)存限制
ulimit -m unlimited 在.bashrc中加入 或更改配置文件:/etc/security/limits.conf
說明:設(shè)置程序可以使用的最大內(nèi)存纵搁。
3吃衅、更改程序可以使用的最大虛擬內(nèi)存限制
ulimit -v unlimited 在.bashrc中加入 或更改配置文件:/etc/security/limits.conf【按照這里面的格式來改】
說明:設(shè)置程序可以使用的最大虛擬內(nèi)存。

但是我們由于沒有root用戶腾誉,所以只能采用利用其它Directory徘层,如下:

<directoryFactory name="DirectoryFactory"
class="${solr.directoryFactory:solr.NRTCachingDirectoryFactory}"/>

三、Solr和Zookeeper超時(shí)問題

這是這個(gè)系統(tǒng)第二次的問題了利职,很尷尬趣效,首先同事查到是Zookeeper顯示會(huì)話超時(shí),然后我查了下Solr的GC日志發(fā)現(xiàn)有回收內(nèi)存占用時(shí)間太長的情況猪贪,120秒跷敬,遠(yuǎn)遠(yuǎn)超過了我們?cè)O(shè)置的20秒的超時(shí)時(shí)間,所以報(bào)錯(cuò)热押。
我們?cè)O(shè)置的Solr運(yùn)行內(nèi)存為96G內(nèi)存西傀,按照一般情況來說,這個(gè)是足夠的了桶癣,為什么會(huì)出現(xiàn)這種問題拥褂,用:

jmap -dump:live,format=b,file=out.txt pid

將內(nèi)存輸出到out.txt,直接看的話并沒有發(fā)現(xiàn)什么異常信息牙寞,我們對(duì)照了Solr的故障機(jī)器和其他正常機(jī)器的內(nèi)存占用情況饺鹃,發(fā)現(xiàn)FieldInfo這個(gè)對(duì)象特別多,這個(gè)是索引中字段元數(shù)據(jù)信息的,這個(gè)為什么會(huì)多那尤慰,其他同事查了下索引發(fā)現(xiàn)馏锡,有幾個(gè)索引的字段名超長,這導(dǎo)致字段名占內(nèi)存很大伟端,后面我們通過下線索引的方式驗(yàn)證了下杯道,確實(shí)是這個(gè)問題,有問題的索引下線后责蝠,GC的時(shí)間減少了党巾,再也沒有出現(xiàn)過這個(gè)問題,而且Solr的節(jié)點(diǎn)內(nèi)存占用穩(wěn)定在64G左右霜医。

四齿拂、總結(jié)

Solr性能不錯(cuò),靈活性也還行肴敛,穩(wěn)定性差些署海,有些系統(tǒng)參數(shù)沒有修改竟然沒有提示,這點(diǎn)比ES做的差医男,ES你如果參數(shù)沒有修改是直接不讓你啟動(dòng)的砸狞。
項(xiàng)目實(shí)施中,要多研究下業(yè)務(wù)數(shù)據(jù)镀梭,數(shù)據(jù)是業(yè)務(wù)的核心刀森,從數(shù)據(jù)中可以發(fā)現(xiàn)很多問題,如果這次可以及時(shí)查詢分析报账,就很容易發(fā)現(xiàn)這個(gè)問題研底。

血淋淋的教訓(xùn),希望對(duì)大家有點(diǎn)幫助透罢。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末榜晦,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子琐凭,更是在濱河造成了極大的恐慌芽隆,老刑警劉巖,帶你破解...
    沈念sama閱讀 212,542評(píng)論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件统屈,死亡現(xiàn)場(chǎng)離奇詭異胚吁,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)愁憔,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,596評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門腕扶,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人吨掌,你說我怎么就攤上這事半抱∨。” “怎么了?”我有些...
    開封第一講書人閱讀 158,021評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵窿侈,是天一觀的道長炼幔。 經(jīng)常有香客問我,道長史简,這世上最難降的妖魔是什么乃秀? 我笑而不...
    開封第一講書人閱讀 56,682評(píng)論 1 284
  • 正文 為了忘掉前任,我火速辦了婚禮圆兵,結(jié)果婚禮上跺讯,老公的妹妹穿的比我還像新娘。我一直安慰自己殉农,他們只是感情好刀脏,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,792評(píng)論 6 386
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著超凳,像睡著了一般愈污。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上聪建,一...
    開封第一講書人閱讀 49,985評(píng)論 1 291
  • 那天钙畔,我揣著相機(jī)與錄音,去河邊找鬼金麸。 笑死,一個(gè)胖子當(dāng)著我的面吹牛簿盅,可吹牛的內(nèi)容都是我干的挥下。 我是一名探鬼主播,決...
    沈念sama閱讀 39,107評(píng)論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼桨醋,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼棚瘟!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起喜最,我...
    開封第一講書人閱讀 37,845評(píng)論 0 268
  • 序言:老撾萬榮一對(duì)情侶失蹤偎蘸,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后瞬内,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體迷雪,經(jīng)...
    沈念sama閱讀 44,299評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,612評(píng)論 2 327
  • 正文 我和宋清朗相戀三年虫蝶,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了章咧。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,747評(píng)論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡能真,死狀恐怖赁严,靈堂內(nèi)的尸體忽然破棺而出扰柠,到底是詐尸還是另有隱情,我是刑警寧澤疼约,帶...
    沈念sama閱讀 34,441評(píng)論 4 333
  • 正文 年R本政府宣布卤档,位于F島的核電站,受9級(jí)特大地震影響程剥,放射性物質(zhì)發(fā)生泄漏裆装。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,072評(píng)論 3 317
  • 文/蒙蒙 一倡缠、第九天 我趴在偏房一處隱蔽的房頂上張望哨免。 院中可真熱鬧,春花似錦昙沦、人聲如沸琢唾。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,828評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽采桃。三九已至,卻和暖如春丘损,著一層夾襖步出監(jiān)牢的瞬間普办,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,069評(píng)論 1 267
  • 我被黑心中介騙來泰國打工徘钥, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留衔蹲,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 46,545評(píng)論 2 362
  • 正文 我出身青樓呈础,卻偏偏與公主長得像舆驶,于是被迫代替她去往敵國和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子而钞,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,658評(píng)論 2 350

推薦閱讀更多精彩內(nèi)容