如何使用 Logstash 解析来自 S3 的数据并推送到 Elastic Search，然后推送到 Kibana

Question

我每分钟在 S3 存储桶中创建一个日志文件。 数据以“\\x01”分隔。 其中一列是时间戳字段。

我想将此数据加载到弹性搜索中。

我尝试使用以下logstash conf。 但它似乎不起作用。 我没有看到任何输出。 我从http://brewhouse.io/blog/2014/11/04/big-data-with-elk-stack.html 获取了一些参考

Logstash 配置文件如下：

input {
  s3 {
    bucket => "mybucketname"
    credentials => [ "accesskey", "secretkey" ]
  }
}
filter {
  csv {
   columns => [ "col1", "col2", "@timestamp" ]
   separator => "\x01"
  }
}
output {
  stdout { } 
}

如何修改此文件以接收每分钟传入的新文件？

然后我最终希望将 Kibana 连接到 ES 以可视化更改。

Answer 1

只需使用 logstash-forwarder 从 S3 发送文件，您将必须生成证书进行授权。

有一个非常好的教程： https : //www.digitalocean.com/community/tutorials/how-to-use-logstash-and-kibana-to-centralize-logs-on-centos-7

如果您收到 I/O 错误，您可以通过设置集群来解决它们：

在 logstash.conf 中：

output {
    elasticsearch {
        host => "127.0.0.1"
        cluster => CLUSTER_NAME
    }

在 elasticsearch.yml 中：

cluster.name: CLUSTER_NAME

如果您在生成证书时遇到问题，可以使用以下方法生成它们： https : //raw.githubusercontent.com/driskell/log-courier/develop/src/lc-tlscert/lc-tlscert.go

我还在 CentOS 上为 logstash-forwarder 找到了更好的 init.d： http ://smuth.me/posts/centos-6-logstash-forwarder-init-script.html