使用Logstash也可以完成同步兩個Elasticsearch集群中的數(shù)據(jù)擂红，比如把數(shù)據(jù)從自建的Elasticsearch集群同步到騰訊云上的Elasticsearch集群焚刺，或者同步兩個騰訊云上的Elasticsearch集群中的數(shù)據(jù)帐姻。本文介紹如何使用騰訊云Logstash產(chǎn)品，同步兩個Elasticsearch集群中的數(shù)據(jù)。
創(chuàng)建管道
在“管道管理”頁面蛮拔，點擊“新建管道”按鈕碟摆，創(chuàng)建一個管道：
image
進(jìn)入管道配置頁面晃财，點擊“引用模板”按鈕，同時引用“input-elasticsearch”和“output-elasticsearch”兩個模板：
image
image
在管道配置中，分別針對“input-elasticsearch”和“output-elasticsearch”進(jìn)行配置断盛，一些關(guān)鍵的配置參數(shù)說明如下：
input-elasticsearch
- hosts: elasticsearch集群地址列表
- user: elasticsearch集群賬號
- password: elasticsearch集群密碼
- index: 索引名稱
- query: es查詢語句罗洗，用于查詢某一部分的數(shù)據(jù)
- schedule: 是否開啟定時任務(wù)持續(xù)從elasticsearch集群中拉取數(shù)據(jù)，如果不配置钢猛，則只會拉取一次
- scroll: 批量從elasticsearch集群中拉取數(shù)據(jù)時伙菜，用于保持scroll context的時間，默認(rèn)為"1m"
- size: 批量從elasticsearch集群中拉取數(shù)據(jù)時命迈，每個批次拉取多少條數(shù)據(jù)贩绕，默認(rèn)為1000
- type: 標(biāo)識字段
- docinfo: 是否在event中填充索引名稱，type以及id等文檔元信息壶愤，默認(rèn)為false
查看更多參數(shù)淑倾，可以參考input-elasticsearch
output-elasticsearch
- hosts: elasticsearch集群地址列表
- user: elasticsearch集群賬號
- password: elasticsearch集群密碼
- index: 索引名稱
- document_type: 索引type，對于不同版本的ES集群征椒，該字段有不同的默認(rèn)值娇哆，5.x及以下的集群，默認(rèn)會使用input中指定的type字段勃救，如果type字段不存在碍讨，則該字段的值為doc;6.x的集群，該字段默認(rèn)值為doc蒙秒；7.x的集群勃黍，該字段默認(rèn)值為_doc; 8.x的集群，不會使用該字段
- document_id: 文檔ID
查看更多參數(shù)税肪，可以參考output-elasticsearch
在配置完管道后溉躲，點擊“保存并部署”創(chuàng)建一個管道并自動部署:
image
查看日志
在控制臺查看Logstash的運行日志，如果沒有ERROR級別的日志益兄，則說明管道運行正常：
image
查看數(shù)據(jù)寫入情況
進(jìn)入到output-elasticsearch中定義的輸出端的ES集群對應(yīng)的kibana頁面锻梳，在Dev tools工具欄里查看索引是否存在，以及索引的文檔數(shù)量是否正確：
image
