如何使用 Filebeat 收集日誌

Filebeat 是個檔案分析工具，最常用來收集日誌檔，收集的過程分為

收集數據 (讀取日誌)
解析數據

常見的日誌格式(IIS、NGINX、MySQL)大多可透過 Filebeat 內建模組來解析，也可透過新增模組來客製格式，以下會說明該如何新增或設定 Filebeat 模組。
傳送數據 (Logstash 或 Elasticsearch 儲存)

版本

Filebeat 6

安裝請參考下一篇文章Windows 如何安裝 Filebeat

設定模組

Filebeat 提供多樣模組來收集常見的日誌，這邊以 IIS 日誌為例，說明如何設定模組。

設定日誌路徑

編輯 [Windows 安裝路徑]\filebeat\module\iis\access\manifest.yml

  #加入 IIS 日誌路徑
  default.paths:
    default:
      - C:/inetpub/logs/LogFiles/*/*.log

啟用模組

開啟 IIS 模組，在 PowerShell 執行下方命令

  cd [Windows 安裝路徑]
  .\filebeat.exe modules enable iis

新增模組

新增一個模組後，可看到所產生的檔案結構，以下方我所建立的 nlog module 為例

filebeat
├ module
│   ⎩ nlog
│       ⎩ app
│           ├ manifest.yaml
│           ├ config
│           │   ⎩ fileset.yml
│           ⎩ ingest
│               ⎩ pipeline.json
├ modules.d
│   ⎩ nlog.yml.disabled

新增一個模組需透過 Beats 程式碼來逹成，這裡只會說明新模組需要作那些設定，完整資訊請參考 github Beats repository

manifest.yaml

manifest 控制檔，設定模組參考位置

  #日誌路徑
  var:
    － name: paths
      os.windows
        － C:/log/*.log  
  #template 參考路徑
  input: config/fileset.yml  
  #Ingest Pipeline 參考路徑
  ingest_pipeline: ingest/pipeline.json

fileset.yml

fileset 輸入組態檔，設定輸入位置、排除輸入檔案、排除輸入行及多行組合
```
  #排除 .gz 檔
  exclude_files: [".gz$"]
```
pipeline.json

lasticsearch ingest node pipeline configurations
modules.yml.disabled

模組開關

測試模組

新增或設定好模組，先由測試確認完後再上線

測試設定檔

 .\filebeat.exe test config -c filebeat.yml
 .\filebeat.exe test output filebeat.yml

執行 Filebeat
```
 .\filebeat.exe -e -c filebeat.yml -d "*"
```
注意
請先清除前次測試所讀取的記錄，刪除目錄 filebeat\data\registry

檢查 Ingest & Pipeline

透過 elasticsearch api 查詢 Ingest & pipeline (例如 IIS 模組 pipeline filebeat-6.7.0-iis-access-default)

 curl -X GET http://elasticsearch:9200/_cat/indices?v
 curl -X GET http://elasticsearch:9200/_ingest/pipeline
 curl -X GET http://elasticsearch:9200/_ingest/pipeline/filebeat-6.7.0-iis-access-default

如果測試 pipeline 有問題，需要刪除舊的 pipeline.json

 curl -X DELETE http://elasticsearch:9200/_ingest/pipeline/filebeat-6.7.0-iis-access-default

確認資料

開啟 Kibana，透過 Logs 介面，確認是否有顯示 log 資料

參考

Elastic 官網

如何使用 Filebeat 收集日誌

設定模組

新增模組

測試模組

參考

See Also