1 介紹
官網(wǎng)地址：https://www.elastic.co/cn/logstash
Logstash 是一個功能強大的工具，可與各種部署集成蠢甲。 它提供了大量插件莉炉，可幫助你解析片择，豐富义郑，轉換和緩沖來自各種來源的數(shù)據(jù)喳坠。 如果你的數(shù)據(jù)需要 Beats 中沒有的其他處理迂尝，則需要將 Logstash 添加到部署中脱茉。
Logstash 是 Elastic 棧非常重要的一部分，但是它不僅僅為 Elasticsearch 所使用垄开。它可以介紹廣泛的各種數(shù)據(jù)源琴许。Logstash 可以幫利用它自己的Filter幫我們對數(shù)據(jù)進行解析，豐富溉躲，轉換等榜田。
最后，它可以把自己的數(shù)據(jù)輸出到各種需要的數(shù)據(jù)儲存地锻梳，這其中包括 Elasticsearch箭券。
簡單點來說 Logstash 是一個數(shù)據(jù)流引擎：
它是用于數(shù)據(jù)物流的開源流式ETL引擎
在幾分鐘內建立數(shù)據(jù)流管道
具有水平可擴展及韌性且具有自適應緩沖
不可知的數(shù)據(jù)源
具有200多個集成和處理器的插件生態(tài)系統(tǒng)
使用 Elastic Stack 監(jiān)視和管理部署
我們可以通過設置自增id主鍵或者時間來控制數(shù)據(jù)的自動同步，時間就是用于給logstash進行識別的 疑枯。
id： 假設現(xiàn)在有1000條數(shù)據(jù)辩块，Logstatsh識別后會進行一次同步，同步完會記錄這個id為1000，以后數(shù)據(jù)庫新增數(shù)據(jù)废亭，那么id會一直累加国章，logstash會有定時任務，發(fā)現(xiàn)有id大于1000了豆村，則增量加入到es中 液兽。
時間： 同理，一開始同步1000條數(shù)據(jù)掌动，每條數(shù)據(jù)都有一個字段四啰，為time，初次同步完畢后粗恢，記錄這個time拟逮，下次同步的時候進行時間比對，如果超過這個時間的适滓，那么就可以做同步敦迄，這里可以同步新增數(shù)據(jù)，或者修改元數(shù)據(jù)凭迹，因為同一條數(shù)據(jù)的時間更改會被識別罚屋，而id則不會。
2 工作原理
官網(wǎng)地址：https://www.elastic.co/guide/en/logstash/current/index.html
Logstash 包含3個主要部分： 輸入(inputs)嗅绸，過濾器(filters)和輸出(outputs)脾猛。 你必須定義這些過程的配置才能使用 Logstash，盡管不是每一個都必須的鱼鸠。在有些情況下猛拴，我們可以甚至沒有過濾器。在過濾器的部分蚀狰，它可以對數(shù)據(jù)源的數(shù)據(jù)進行分析愉昆，豐富，處理等等麻蹋。
3 相關信息
- 博文不易跛溉，辛苦各位猿友點個關注和贊，感謝
