如何使用 Logstash 解析來自 S3 的數據並推送到 Elastic Search，然后推送到 Kibana

Question

我每分鍾在 S3 存儲桶中創建一個日志文件。 數據以“\\x01”分隔。 其中一列是時間戳字段。

我想將此數據加載到彈性搜索中。

我嘗試使用以下logstash conf。 但它似乎不起作用。 我沒有看到任何輸出。 我從http://brewhouse.io/blog/2014/11/04/big-data-with-elk-stack.html 獲取了一些參考

Logstash 配置文件如下：

input {
  s3 {
    bucket => "mybucketname"
    credentials => [ "accesskey", "secretkey" ]
  }
}
filter {
  csv {
   columns => [ "col1", "col2", "@timestamp" ]
   separator => "\x01"
  }
}
output {
  stdout { } 
}

如何修改此文件以接收每分鍾傳入的新文件？

然后我最終希望將 Kibana 連接到 ES 以可視化更改。

Answer 1

只需使用 logstash-forwarder 從 S3 發送文件，您將必須生成證書進行授權。

有一個非常好的教程： https : //www.digitalocean.com/community/tutorials/how-to-use-logstash-and-kibana-to-centralize-logs-on-centos-7

如果您收到 I/O 錯誤，您可以通過設置集群來解決它們：

在 logstash.conf 中：

output {
    elasticsearch {
        host => "127.0.0.1"
        cluster => CLUSTER_NAME
    }

在 elasticsearch.yml 中：

cluster.name: CLUSTER_NAME

如果您在生成證書時遇到問題，可以使用以下方法生成它們： https : //raw.githubusercontent.com/driskell/log-courier/develop/src/lc-tlscert/lc-tlscert.go

我還在 CentOS 上為 logstash-forwarder 找到了更好的 init.d： http ://smuth.me/posts/centos-6-logstash-forwarder-init-script.html