本文作者：羅海鵬，叩丁狼高級講師案站。原創(chuàng)文章躬审，轉載請注明出處。

前言

在第九章節(jié)中蟆盐，我們已經安裝好Logstash組件了承边，并且啟動實例測試它的數(shù)據(jù)輸入和輸出，但是用的是最簡單的控制臺標準輸入和標準輸出石挂，那這節(jié)我們就來深入的學習Logstash的詳細使用博助。

常用啟動參數(shù)

我們在上一節(jié)中演示了啟動Logstash的實例，其中我們啟動的時候給Logstash腳本傳入了-e的參數(shù)痹愚，但實際上富岳，Logstash的啟動參數(shù)有很多蛔糯，我們來看一下各個啟動參數(shù)的作用：

• -e #立即啟動實例，例如：./logstash -e "input {stdin {}} output {stdout {}}"
• -f #指定啟動實例的配置文件窖式，例如：./logstash -f config/test.conf
• -t #測試配置文件的正確性蚁飒，例如：./logstash -f config/test.conf -t
• -l #指定日志文件名稱，例如：./logstash -f config/test.conf -l logs/test.log
• -w #指定filter線程數(shù)量萝喘，不指定默認是5淮逻，例如：./logstash-f config/test.conf -w 8

配置文件語法

文件結構

我們剛剛知道，啟動參數(shù)可以指定一個配置文件阁簸，那么接下來就有必要來了解一下配置文件的結構：
Logstash通過{}來定義區(qū)域爬早，區(qū)域內可以定義插件，一個區(qū)域內可以定義多個插件强窖，如下：

input {
    #標準輸入源插件
    stdin {
    }
    #普通文件源插件
    file {
        path => ["/var/log/*.log", "/var/log/message"]
       ....
    }
   ......
}
filter {
      #grok過濾插件
      grok {
            match => ["message", "%{HTTPDATE:logdate}"]
            .....
      }
     #date過濾插件
     date {
            match => ["logdate", "dd/MMM/yyyy:HH:mm:ss Z"]
           .....
    }
   .....
}
output {
     stdout {
     }
     elasticsearch {
        hosts => ["127.0.0.1:9200"]
        ....
    }
    .....
}

我們先大概了解一下配置文件的結構，接下來我們再詳細看這些插件的配置削祈。

數(shù)據(jù)類型

Logstash配置文件支持的數(shù)據(jù)類型有：
1翅溺、Boolean，例如：ssl_enable => true
2髓抑、Number咙崎，例如：port => 33
3、String吨拍，例如：name => “Hello world”
4褪猛、hash，例如：options => {key1 => “value1”, key2 => “value2”}
5羹饰、array伊滋，例如：match => [“datetime”, “UNIX”, “ISO8601”]

字段引用

Logstash數(shù)據(jù)流中的數(shù)據(jù)被稱之為Event對象，Event以JSON結構構成队秩，Event的屬性被稱之為字段笑旺，如果你想在配置文件中引用這些字段，只需要把字段的名字寫在中括號[]里就行了馍资，如[type]筒主，對于嵌套字段每層字段名稱都寫在[]里就可以了，比如：[tags][type]鸟蟹；除此之外乌妙，對于Logstash的arrag類型支持下標與倒序下表，如：[tags][type][0]和[tags][type][-1]
以下的內容就是一個Event對象：

{
      "message" => "hello logstash",
      "@version" => "1",
      "@timestamp" => 2018-08-13T17:32:01.122Z,
      "host" => "localhost.localdomain"
}

條件判斷

Logstash支持下面的操作符：
1建钥、==(等于), !=(不等于), <(小于), >(大于), <=(小于等于), >=(大于等于)
2藤韵、=~(匹配正則), !~（不匹配正則）
3、in(包含), not in(不包含)
4熊经、and(與), or(或), nand(非與), xor(非或)
5荠察、()(復合表達式), !()(對復合表達式結果取反)
例如以下的條件判斷：

if "_grokparsefailure" not in [tags] {
} 
else if [status] !~ /^2\d\d/ or ( [url] == "/noc.gif" nand [geoip][city] != "beijing" ) {
} 
else {
}

環(huán)境變量引用

Logstash支持引用系統(tǒng)環(huán)境變量置蜀，環(huán)境變量不存在時可以設置默認值，例如：

export TCP_PORT=12345
input {
  tcp {
    port => "${TCP_PORT:54321}"
  }
}

常用輸入插件

在第九章中悉盆，我們已經使用是標準輸入盯荤，以鍵盤的輸入數(shù)據(jù)作為Logstash數(shù)據(jù)源，但實際上我們也知道焕盟，Logstash的數(shù)據(jù)源有很多秋秤，每種數(shù)據(jù)源都有相應的配置，在Logstash中脚翘，這些數(shù)據(jù)源的相應配置稱為插件灼卢，我們常用的輸入插件有：file、jdbc来农、redis鞋真、tcp、syslog沃于，這些輸入插件會監(jiān)聽數(shù)據(jù)源的數(shù)據(jù)涩咖，如果新增數(shù)據(jù)，將數(shù)據(jù)封裝成Event進程處理或者傳遞繁莹，更多的輸入插件大家可以看Logstash官網檩互，接下來我們以file和jdbc兩個輸入插件作為例子，來學習輸入插件的使用咨演，其他輸入插件使用起來大同小異闸昨，大家自行擴展。

file輸入插件

讀取文件插件主要用來抓取文件的數(shù)據(jù)變化信息薄风，以此作為Logstash的數(shù)據(jù)源饵较。

• 配置示例：

  input{
  file {
    path => ["/var/log/*.log", "/var/log/message"]
    type => "system"
    start_position => "beginning"
  }
  }
  output{
  stdout{}
  }
  
  

• 常用參數(shù)

jdbc輸入插件

該插件可以使用jdbc把關系型數(shù)據(jù)庫的數(shù)據(jù)作為Logstash的數(shù)據(jù)源

• 配置示例：

  input {
  jdbc {
    jdbc_driver_library => "/opt/logstash/mysql-connector-java-5.1.36-bin.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://localhost:3306/mydb"
    jdbc_user => "mysql"
    jdbc_password => "123456"
    parameters => { "favorite_artist" => "Beethoven" }
    schedule => "* * * * *"
    statement => "SELECT * from songs where artist = :favorite_artist"
  }
  }
  output{
  stdout{}
  }
  
  

• 常用參數(shù)(空 = 同上)

常用過濾插件

豐富的過濾器插件的是 logstash威力如此強大的重要因素淀散，過濾器插件主要處理流經當前Logstash的事件信息，可以添加字段蚜锨、移除字段档插、轉換字段類型，通過正則表達式切分數(shù)據(jù)等亚再，也可以根據(jù)條件判斷來進行不同的數(shù)據(jù)處理方式郭膛。我們常用的過濾插件有：grok、date氛悬、geoip则剃、mutate耘柱、json、Split棍现、ruby调煎，更多的過濾插件大家可以看Logstash官網，接下來我們以grok轴咱、date和geoip這3個過濾插件作為例子汛蝙，來學習過濾插件的使用，其他過濾插件使用起來大同小異朴肺，大家自行擴展窖剑。

grok正則插件

grok正則捕獲是Logstash中將非結構化數(shù)據(jù)解析成結構化數(shù)據(jù)以便于查詢的最好工具，非常適合解析system log戈稿，web log西土， database log等任意的 log文件。

• 內置正則表達式調用
  grok提供100多個常用正則表達式可供使用鞍盗，這100多個正則表達式定義在logstash/vendor/bundle/jruby/x.x/gems/logstash-patterns-core-xxx/patterns/grok-patterns文件中需了，想要靈活的匹配各種數(shù)據(jù)，那么必須查看該文件般甲，大概了解grok提供了什么內置的正則表達式肋乍。調用它們的語法如下：%{SYNTAX:SEMANTIC}
  SYNTAX：表示內置的正則表達式的名稱
  SEMANTIC：表示在Event中創(chuàng)建該字段名來存儲匹配到的值
  例如：輸入的數(shù)據(jù)內容為“[debug] 127.0.0.1 - test log content”，我們想提取127.0.0.1這個IP地址敷存，那么可以使用以下語法來匹配：%{IP:client}墓造，將獲得“client: 127.0.0.1”的結果，該結果將成為Event的一個新的字段和字段值锚烦；如果你在捕獲數(shù)據(jù)時想進行數(shù)據(jù)類型轉換可以使用%{NUMBER:num:int}這種語法觅闽，默認情況下，所有的返回結果都是string類型涮俄，當前Logstash所支持的轉換類型僅有“int”和“float”蛉拙；

• 自定義表達式調用
  與預定義表達式相同，你也可以將自定義的表達式配置到Logstash中彻亲，然后就可以像于定義的表達式一樣使用孕锄；以下是操作步驟說明：
  1、在Logstash根目錄下創(chuàng)建文件夾“patterns”苞尝，在“patterns”文件夾中創(chuàng)建文件“extra”（文件名稱無所謂畸肆，可自己選擇有意義的文件名稱）；
  2野来、在文件“extra”中添加表達式恼除，格式：patternName regexp，名稱與表達式之間用空格隔開即可，例如：POSTFIX_QUEUEID [0-9A-F]{10,11}
  3豁辉、使用自定義的表達式時需要在grok插件配置“patterns_dir”屬性令野，屬性值為extra文件所在的目錄。

• 配置示例
  日志文件http.log每行內容為：55.3.244.1 GET /index.html 15824 0.043 message-id:BEF25A72965
  grok表達式：表達式：%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}
  配置文件內容：

  input {
  file {
    path => "/var/log/http.log"
  }
  }
  filter {
  grok {
    patterns_dir => ["./patterns"]
    match => {"message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration} message\-id:%{POSTFIX_QUEUEID:queueid}"}
  }
  }
  output{
    stdout{}
  }
  
  

  輸出結果：

  client: 55.3.244.1
  method: GET
  request: /index.html
  bytes: 15824
  duration: 0.043
  queueid: BEF25A72965
  
  

• 示例解析
  1徽级、/var/log/http.log文件每一行的格式為55.3.244.1 GET /index.html 15824 0.043 message-id:BEF25A72965气破，到時候會把每一行數(shù)據(jù)封裝成一個Event。
  2餐抢、使用grok過濾插件處理該文件现使，match為匹配Event中的message，message就是該文件的一行數(shù)據(jù)旷痕，比如55.3.244.1 GET /index.html 15824 0.043 message-id:BEF25A72965碳锈。
  3、匹配message的內容使用%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration} message\-id:%{POSTFIX_QUEUEID:queueid}表達式欺抗，把一條message拆成client售碳、method、request绞呈、bytes贸人、duration、queueid這6個字段佃声，并添加到Event中艺智。
  4、其中%{POSTFIX_QUEUEID:queueid}為自定義表達式的調用圾亏，其他5個是grok內置的表達式調用十拣，如果需要使用自定義表達式，則需要在grok插件配置patterns_dir屬性召嘶，屬性值數(shù)據(jù)類型為array父晶，就是自定義表達式定義的文件所在的目錄哮缺。
  5弄跌、在表達式中，特殊字符需要使用\來轉義尝苇，比如-铛只，""，[]這些特殊字符糠溜，所以我們上面實例中的message-id數(shù)據(jù)在用表達式匹配的時候是使用了message\-id去匹配了淳玩。

• 常用參數(shù)(空 = 同上)

date時間處理插件

在講date插件的使用前些侍，我們需要先講解一下Logstash的時間記錄方式。在Logstash產生了一個Event對象的時候政模，會給該Event設置一個時間岗宣，字段為“@timestamp”，同時淋样，我們的日志內容一般也會有時間狈定，但是這兩個時間是不一樣的，因為日志內容的時間是該日志打印出來的時間习蓬，而“@timestamp”字段的時間是input插件接收到了一條數(shù)據(jù)并創(chuàng)建Event的時間纽什，所有一般來說的話“@timestamp”的時間要比日志內容的時間晚一點，因為Logstash監(jiān)控數(shù)據(jù)變化躲叼，數(shù)據(jù)輸入芦缰，創(chuàng)建Event導致的時間延遲。這兩個時間都可以使用枫慷，具體要根據(jù)自己的需求來定让蕾。
但是不管“@timestamp”字段的時間還是日志內容中的時間，其時間格式一般都不是我們想要的或听，所以我們就需要使用date插件探孝，把時間格式轉成我們想要的格式，比如：比如將Apr 17 09:32:01（MMM dd HH:mm:ss）轉換為04-17 09:32:01 （MM-dd HH:mm:ss）誉裆。

• 配置示例：

  filter {
    date {
        match => ["timestamp","dd/MMM/YYYY:HH:mm:ss Z"]
    } 
  }
  
  

• 示例解析
  timestamp是自定義的Event字段织鲸，用于存放通過grok解析到的日志內容中的時間，dd/MMM/YYYY:HH:mm:ss Z是日志內容中的時間格式妇拯，比如：16/Sep/2018:00:42:38 +0800再沧，匹配到了之后，date插件會默認把該時間轉成本地格式的時間斩跌，并且覆蓋掉Event為我們創(chuàng)建的[@timestamp](https://github.com/timestamp "@timestamp")字段中的時間绍些。

• 常用參數(shù)(空 = 同上)

geoip插件

geoip插件是用于根據(jù)IP地址來確定該IP的歸屬地氮帐，默認的數(shù)據(jù)來源于Maxmind公司GeoLite2（https://dev.maxmind.com/geoip/geoip2/geolite2/）數(shù)據(jù)庫锻霎，該數(shù)據(jù)庫內嵌在geoip插件中，存儲位置為：logstash/vendor/bundle/jruby/x.x/gems/logstash-filter-geoip-x.x-java/vendor目錄中揪漩，數(shù)據(jù)庫文件名分別為GeoLite2-City.mmdb和GeoLite2-ASN.mmdb旋恼。
從Maxmind的描述 ——“GeoLite2數(shù)據(jù)庫是免費的IP地理位置數(shù)據(jù)庫，可與MaxMind收費的GeoIP2數(shù)據(jù)庫相媲美奄容，但沒有GeoIP2準確”冰更。 有關更多詳細信息，請參閱GeoIP Lite2許可證昂勒。
Maxmind的商業(yè)數(shù)據(jù)庫GeoIP2（https://www.maxmind.com/en/geoip2-databases）也支持geoip插件蜀细。簡單來說就是兩個數(shù)據(jù)庫一個免費的一個商業(yè)的，免費的不如商業(yè)的地理位置精準戈盈。
如果您需要使用內嵌的GeoLite2以外的數(shù)據(jù)庫奠衔，則可以直接從Maxmind網站下載數(shù)據(jù)庫，并使用數(shù)據(jù)庫選項指定其位置（下面會講到如果使用數(shù)據(jù)選項）塘娶。

• 配置示例：

  filter {
     if [remote_ip] !~ "^127\.|^192\.168\.|^172\.1[6-9]\.|^172\.2[0-9]\.|^172\.3[01]\.|^10\." {
        geoip {
             source => "remote_ip"
             database => "/usr/share/GeoIP/GeoLite2-Country.mmdb"
        }
    }
  }
  
  

• 示例解析
  由于geoip使用的ip數(shù)據(jù)庫不能匹配私網地址归斤，所以在使用geoip插件前，先判斷一下ip地址是否為私網ip刁岸，如果不是脏里，這使用geoip插件。source為指定一個ip地址虹曙，為其查詢歸屬地等信息迫横，remote_ip為Event中存儲ip地址的自定義字段，database為IP地址數(shù)據(jù)庫所在的位置酝碳，不指定的話矾踱，使用geoip插件內置的GeoLite2-City默認數(shù)據(jù)庫。

• 常用參數(shù)(空 = 同上)

常用輸出插件

經過以上的學習贵少，我們已經學習了Logstash三大主件中的其中兩個了呵俏，分別是input和filter，那現(xiàn)在我們就來學習最后一個組件：output滔灶。
每個數(shù)據(jù)流經過input和filter后柴信，最終要由output輸出，以上的內容我們都是使用最簡單的標準輸出：stdout宽气，把數(shù)據(jù)輸出到顯示器随常，但實際上stdout只是Logstash的其中一個輸出插件而已，它的常用輸出插件有：Elasticsearch萄涯，Redis绪氛，F(xiàn)ile，TCP等等涝影，更多的輸出插件大家可以看Logstash官網枣察，接下來我們以Elasticsearch和Redis輸出插件作為例子，來學習輸出插件的使用燃逻，其他過濾插件使用起來大同小異序目，大家自行擴展。

elasticsearch輸出插件

用于將Event信息寫入到Elasticsearch中伯襟，官方推薦插件猿涨，ELK技術棧必備插件。

• 配置示例

  output {
    elasticsearch {
        hosts => ["127.0.0.1:9200"]
        index => "logstash-%{type}-%{+YYYY.MM.dd}"
        document_type => "%{type}"
    }
  }
  
  

• 常用參數(shù)(空 = 同上)

redis輸出插件

用于將Event寫入Redis中進行緩存，由于Redis數(shù)據(jù)庫是先把數(shù)據(jù)存在內存的事镣，所以效率會非常高步鉴，是一個常用的logstash輸出插件

• 配置示例

  output {
    redis {
        host => ["127.0.0.1"]
        port => 6379
        data_type => "list"
        key => "logstash-list"
    }
  }
  
  

• 常用參數(shù)(空 = 同上)

后記

那到這里即供，我們已經介紹了Logstash配置文件的語法和常用插件的配置方式了定拟，這些常用的插件都是使用頻率非常高的，所有我們后面需要來做一個Logstash的實戰(zhàn)案例逗嫡，綜合運用我們這章所學的內容青自。

想獲取更多技術視頻，請前往叩丁狼官網：http://www.wolfcode.cn/openClassWeb_listDetail.html