一屠列、引子
目前的數據同步啦逆,mappings映射會自動創(chuàng)建,但是分詞不會笛洛,還是會使用默認的夏志,而我們需要中文分詞器,這個時候就需要自定義模板功能來設置分詞了苛让。
二沟蔑、設置自定義模板
1.查看Logstash默認模板POSTMAN
GET? ?/_template/logstash
2.復制后修改模板
在/usr/local/logstash-6.4.3/sync/下創(chuàng)建文件logstash-ik.json,內容為:
{
? ? "order": 0,
? ? "version": 1,
? ? "index_patterns": ["*"],
? ? "settings": {
? ? ? ? "index": {
? ? ? ? ? ? "refresh_interval": "5s"
? ? ? ? }
? ? },
? ? "mappings": {
? ? ? ? "_default_": {
? ? ? ? ? ? "dynamic_templates": [
? ? ? ? ? ? ? ? {
? ? ? ? ? ? ? ? ? ? "message_field": {
? ? ? ? ? ? ? ? ? ? ? ? "path_match": "message",
? ? ? ? ? ? ? ? ? ? ? ? "match_mapping_type": "string",
? ? ? ? ? ? ? ? ? ? ? ? "mapping": {
? ? ? ? ? ? ? ? ? ? ? ? ? ? "type": "text",
? ? ? ? ? ? ? ? ? ? ? ? ? ? "norms": false
? ? ? ? ? ? ? ? ? ? ? ? }
? ? ? ? ? ? ? ? ? ? }
? ? ? ? ? ? ? ? },
? ? ? ? ? ? ? ? {
? ? ? ? ? ? ? ? ? ? "string_fields": {
? ? ? ? ? ? ? ? ? ? ? ? "match": "*",
? ? ? ? ? ? ? ? ? ? ? ? "match_mapping_type": "string",
? ? ? ? ? ? ? ? ? ? ? ? "mapping": {
? ? ? ? ? ? ? ? ? ? ? ? ? ? "type": "text",
? ? ? ? ? ? ? ? ? ? ? ? ? ? "norms": false,
? ? ? ? ? ? ? ? ? ? ? ? ? ? "analyzer": "ik_max_word",
? ? ? ? ? ? ? ? ? ? ? ? ? ? "fields": {
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? "keyword": {
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? "type": "keyword",
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? "ignore_above": 256
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? }
? ? ? ? ? ? ? ? ? ? ? ? ? ? }
? ? ? ? ? ? ? ? ? ? ? ? }
? ? ? ? ? ? ? ? ? ? }
? ? ? ? ? ? ? ? }
? ? ? ? ? ? ],
? ? ? ? ? ? "properties": {
? ? ? ? ? ? ? ? "@timestamp": {
? ? ? ? ? ? ? ? ? ? "type": "date"
? ? ? ? ? ? ? ? },
? ? ? ? ? ? ? ? "@version": {
? ? ? ? ? ? ? ? ? ? "type": "keyword"
? ? ? ? ? ? ? ? },
? ? ? ? ? ? ? ? "geoip": {
? ? ? ? ? ? ? ? ? ? "dynamic": true,
? ? ? ? ? ? ? ? ? ? "properties": {
? ? ? ? ? ? ? ? ? ? ? ? "ip": {
? ? ? ? ? ? ? ? ? ? ? ? ? ? "type": "ip"
? ? ? ? ? ? ? ? ? ? ? ? },
? ? ? ? ? ? ? ? ? ? ? ? "location": {
? ? ? ? ? ? ? ? ? ? ? ? ? ? "type": "geo_point"
? ? ? ? ? ? ? ? ? ? ? ? },
? ? ? ? ? ? ? ? ? ? ? ? "latitude": {
? ? ? ? ? ? ? ? ? ? ? ? ? ? "type": "half_float"
? ? ? ? ? ? ? ? ? ? ? ? },
? ? ? ? ? ? ? ? ? ? ? ? "longitude": {
? ? ? ? ? ? ? ? ? ? ? ? ? ? "type": "half_float"
? ? ? ? ? ? ? ? ? ? ? ? }
? ? ? ? ? ? ? ? ? ? }
? ? ? ? ? ? ? ? }
? ? ? ? ? ? }
? ? ? ? }
? ? },
? ? "aliases": {}
}
3.修改同步的配置文件/usr/local/logstash-6.4.3/sync/logstash-db-sync.conf
# 定義模板名稱
template_name => "myik"
# 模板所在位置
template => "/usr/local/logstash-6.4.3/sync/logstash-ik.json"
# 重寫模板
template_overwrite => true
# 默認為true狱杰,false關閉logstash自動管理模板功能瘦材,如果自定義模板,則設置為false
manage_template => false
4.重新運行
./logstash? -f? /usr/local/logstash-6.4.3/sync/logstash-db-sync.conf