logstash-output-索引-配置參考

logstash output配置:

output{
  elasticsearch {
    hosts =>  ['10.15.12.181:9200', '10.18.171.17:9200', '10.15.12.153:9200', '10.15.12.95:9200', '10.15.12.97:9200', '10.19.23.206:9200', '10.19.23.205:9200', '10.15.12.130:9200', '10.15.12.131:9200', '10.17.118.171:9200', '10.15.12.96:9200', '10.15.12.182:9200', '10.15.12.155:9200', '10.18.171.18:9200',"10.19.23.206:9200"] 
    index => "log-dui-rsyslog-audit-%{+YYYY.MM.dd}"
  }
}

索引template

curl -H "Content-Type:application/json" -X PUT  http://10.15.12.96:9200/_template/cleanning-log -d 
'{"index_patterns":["cleanning-log-*"],"settings":{"index":{"number_of_shards":"5","number_of_replicas":"1","search.slowlog.threshold.query.warn":"10s","search.slowlog.threshold.query.info":"5s","search.slowlog.threshold.query.debug":"500ms","refresh_interval":"120s","blocks":{"read_only_allow_delete":"false"}}},"index.mapping.total_fields.limit":5000,"mappings":{"_default_":{"dynamic_templates":[{"message_field":{"path_match":"message","match_mapping_type":"string","mapping":{"type":"text","norms":false}}},{"string_fields":{"match":"*","match_mapping_type":"string","mapping":{"type":"text","norms":false,"fields":{"keyword":{"type":"keyword","ignore_above":256}}}}}],"properties":{"@timestamp":{"type":"date"},"message":{"properties":{"time":{"properties":{"kernel":{"properties":{"result":{"type":"float"},"start":{"type":"float"},"stop":{"type":"float"}}}}}}},"@version":{"type":"keyword"},"geoip":{"dynamic":true,"properties":{"ip":{"type":"ip"},"location":{"type":"geo_point"},"latitude":{"type":"half_float"},"longitude":{"type":"half_float"}}}}}}}'

格式化(json)template

{
    "index_patterns": ["cleanning-log-*"],
    "settings": {
        "index": {
            "number_of_shards": "5",
            "number_of_replicas": "1",
            "search.slowlog.threshold.query.warn": "10s",
            "search.slowlog.threshold.query.info": "5s",
            "search.slowlog.threshold.query.debug": "500ms",
            "refresh_interval": "120s",
            "blocks": {
                "read_only_allow_delete": "false"
            }
        }
    },
    "index.mapping.total_fields.limit": 5000,
    "mappings": {
        "_default_": {
            "dynamic_templates": [{
                "message_field": {
                    "path_match": "message",
                    "match_mapping_type": "string",
                    "mapping": {
                        "type": "text",
                        "norms": false
                    }
                }
            }, {
                "string_fields": {
                    "match": "*",
                    "match_mapping_type": "string",
                    "mapping": {
                        "type": "text",
                        "norms": false,
                        "fields": {
                            "keyword": {
                                "type": "keyword",
                                "ignore_above": 256
                            }
                        }
                    }
                }
            }],
            "properties": {
                "@timestamp": {
                    "type": "date"
                },
                "message": {
                    "properties": {
                        "time": {
                            "properties": {
                                "kernel": {
                                    "properties": {
                                        "result": {
                                            "type": "float"
                                        },
                                        "start": {
                                            "type": "float"
                                        },
                                        "stop": {
                                            "type": "float"
                                        }
                                    }
                                }
                            }
                        }
                    }
                },
                "@version": {
                    "type": "keyword"
                },
                "geoip": {
                    "dynamic": true,
                    "properties": {
                        "ip": {
                            "type": "ip"
                        },
                        "location": {
                            "type": "geo_point"
                        },
                        "latitude": {
                            "type": "half_float"
                        },
                        "longitude": {
                            "type": "half_float"
                        }
                    }
                }
            }
        }
    }
}
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖今布,帶你破解...
    沈念sama閱讀 216,591評論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異拭抬,居然都是意外死亡部默,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,448評論 3 392
  • 文/潘曉璐 我一進(jìn)店門玖喘,熙熙樓的掌柜王于貴愁眉苦臉地迎上來甩牺,“玉大人,你說我怎么就攤上這事累奈”崤桑” “怎么了?”我有些...
    開封第一講書人閱讀 162,823評論 0 353
  • 文/不壞的土叔 我叫張陵澎媒,是天一觀的道長搞乏。 經(jīng)常有香客問我,道長戒努,這世上最難降的妖魔是什么请敦? 我笑而不...
    開封第一講書人閱讀 58,204評論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮储玫,結(jié)果婚禮上侍筛,老公的妹妹穿的比我還像新娘。我一直安慰自己撒穷,他們只是感情好匣椰,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,228評論 6 388
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著端礼,像睡著了一般禽笑。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上蛤奥,一...
    開封第一講書人閱讀 51,190評論 1 299
  • 那天佳镜,我揣著相機(jī)與錄音,去河邊找鬼凡桥。 笑死蟀伸,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播望蜡,決...
    沈念sama閱讀 40,078評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼唤崭,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,923評論 0 274
  • 序言:老撾萬榮一對情侶失蹤晰骑,失蹤者是張志新(化名)和其女友劉穎蔫耽,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,334評論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,550評論 2 333
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了酸茴。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,727評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡兢交,死狀恐怖薪捍,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情配喳,我是刑警寧澤酪穿,帶...
    沈念sama閱讀 35,428評論 5 343
  • 正文 年R本政府宣布,位于F島的核電站晴裹,受9級特大地震影響被济,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜涧团,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,022評論 3 326
  • 文/蒙蒙 一只磷、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧泌绣,春花似錦钮追、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,672評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至仿滔,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間犹芹,已是汗流浹背崎页。 一陣腳步聲響...
    開封第一講書人閱讀 32,826評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留腰埂,地道東北人飒焦。 一個月前我還...
    沈念sama閱讀 47,734評論 2 368
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親牺荠。 傳聞我的和親對象是個殘疾皇子翁巍,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,619評論 2 354

推薦閱讀更多精彩內(nèi)容