ES容易忽視的集群配置

一 前言

目前生產(chǎn)系統(tǒng)由Solr轉(zhuǎn)ES了油够,在這邊就記錄下在使用過程中容易忽視的配置吧蚁袭,其實(shí)我也是才用,如果有什么錯誤的地方石咬,多指正揩悄。

二、配置

1鬼悠、ES的段合并是限速的

默認(rèn)是20MB/s 删性,如果是SSD磁盤建議增大:

PUT /_cluster/settings
{
    "persistent" : {
        "indices.store.throttle.max_bytes_per_sec" : "100mb"
    }
}

如果臨時導(dǎo)入數(shù)據(jù)先可以不要合并,再打開的時候合并:

PUT /_cluster/settings
{
    "transient" : {
        "indices.store.throttle.type" : "none" 
    }
}

導(dǎo)入數(shù)據(jù)完成none改成merge焕窝。

2蹬挺、fieldData 數(shù)據(jù)緩存限制

ES配置中提到的FieldData指的是字段數(shù)據(jù)。當(dāng)排序(sort)它掂,統(tǒng)計(jì)(aggs)時汗侵,ES把涉及到的字段數(shù)據(jù)全部讀取到內(nèi)存(JVM Heap)中進(jìn)行操作。相當(dāng)于進(jìn)行了數(shù)據(jù)緩存,提升查詢效率晰韵,而且默認(rèn)是不清除的发乔,容易造成OOM。

網(wǎng)上借來圖

參考網(wǎng)上說明:
***上圖是ES的JVM Heap中的狀況雪猪,可以看到有兩條界限:驅(qū)逐線 和 斷路器栏尚。當(dāng)緩存數(shù)據(jù)到達(dá)驅(qū)逐線時,會自動驅(qū)逐掉部分?jǐn)?shù)據(jù)只恨,把緩存保持在安全的范圍內(nèi)译仗。當(dāng)用戶準(zhǔn)備執(zhí)行某個查詢操作時,斷路器就起作用了官觅,緩存數(shù)據(jù)+當(dāng)前查詢需要緩存的數(shù)據(jù)量到達(dá)斷路器限制時纵菌,會返回Data too large錯誤,阻止用戶進(jìn)行這個查詢操作休涤。 ***

PUT _cluster/settings
{ 
  "persistent" :
  { 
    "indices.breaker.fielddata.limit":"50%", 
    "indices.breaker.request.limit":"40%", 
    "indices.breaker.total.limit":"70%" 
    }
}

3咱圆、去掉操作索引匹配符號

PUT /_cluster/settings
{
         "persistent" : {
             "action.destructive_requires_name":true
         }
}

禁止使用通配符,禁止的目的是為了誤刪除功氨。

默認(rèn)情況下序苏,可以通過以下方法刪除所有的索引:

 curl -XDELETE http://localhost:9200/_all
 curl -XDELETE http://localhost:9200/*

_all ,* 通配所有的索引 。
如果需要一次刪除多個索引 可以通過將兩個索引名都寫進(jìn)去捷凄,中間用逗號分隔忱详。
比如:
curl -XDELETE http://localhost:9200/twitter,my_index

其他說明

ES關(guān)閉一個索引的速度非常快跺涤,嘗試過關(guān)閉一個1T大小的索引匈睁,耗時只要十幾秒,打開也差不多的時間桶错,只是在打開的時候回存在著集群瞬間變紅软舌,因?yàn)榉制姆峙湫枰^程。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末牛曹,一起剝皮案震驚了整個濱河市佛点,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌黎比,老刑警劉巖超营,帶你破解...
    沈念sama閱讀 216,843評論 6 502
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異阅虫,居然都是意外死亡演闭,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,538評論 3 392
  • 文/潘曉璐 我一進(jìn)店門颓帝,熙熙樓的掌柜王于貴愁眉苦臉地迎上來米碰,“玉大人窝革,你說我怎么就攤上這事÷雷” “怎么了虐译?”我有些...
    開封第一講書人閱讀 163,187評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長吴趴。 經(jīng)常有香客問我漆诽,道長,這世上最難降的妖魔是什么锣枝? 我笑而不...
    開封第一講書人閱讀 58,264評論 1 292
  • 正文 為了忘掉前任厢拭,我火速辦了婚禮,結(jié)果婚禮上撇叁,老公的妹妹穿的比我還像新娘供鸠。我一直安慰自己,他們只是感情好陨闹,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,289評論 6 390
  • 文/花漫 我一把揭開白布楞捂。 她就那樣靜靜地躺著,像睡著了一般正林。 火紅的嫁衣襯著肌膚如雪泡一。 梳的紋絲不亂的頭發(fā)上颤殴,一...
    開封第一講書人閱讀 51,231評論 1 299
  • 那天觅廓,我揣著相機(jī)與錄音,去河邊找鬼涵但。 笑死杈绸,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的矮瘟。 我是一名探鬼主播瞳脓,決...
    沈念sama閱讀 40,116評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼澈侠!你這毒婦竟也來了劫侧?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,945評論 0 275
  • 序言:老撾萬榮一對情侶失蹤哨啃,失蹤者是張志新(化名)和其女友劉穎烧栋,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體拳球,經(jīng)...
    沈念sama閱讀 45,367評論 1 313
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡审姓,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,581評論 2 333
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了祝峻。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片魔吐。...
    茶點(diǎn)故事閱讀 39,754評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡扎筒,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出酬姆,到底是詐尸還是另有隱情嗜桌,我是刑警寧澤,帶...
    沈念sama閱讀 35,458評論 5 344
  • 正文 年R本政府宣布轴踱,位于F島的核電站症脂,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏淫僻。R本人自食惡果不足惜诱篷,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,068評論 3 327
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望雳灵。 院中可真熱鬧棕所,春花似錦、人聲如沸悯辙。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,692評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽躲撰。三九已至针贬,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間拢蛋,已是汗流浹背桦他。 一陣腳步聲響...
    開封第一講書人閱讀 32,842評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留谆棱,地道東北人快压。 一個月前我還...
    沈念sama閱讀 47,797評論 2 369
  • 正文 我出身青樓,卻偏偏與公主長得像垃瞧,于是被迫代替她去往敵國和親蔫劣。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,654評論 2 354