熟悉Logstash输出插件

Question

我试图使用flunetd从scribe服务器读取并输出这些日志暂时存储在logstash中。 我知道将scribe_central日志记录到另一个中央记录器是非常愚蠢的，但我们需要在我们当前的架构中完成。

有谁知道是否有任何插件可以做到这一点？ 我搜索了谷歌但找不到任何东西。

Answer 1

对于Scribe < - > Fluentd，有一个流畅的插件 - 抄写员 ：

对于Fluentd < - > Logstash，有两个选项：

1. 在中间使用Redis，并在Logstash端使用fluent-plugin-redis和input_redis。 所以它将是Fluentd - > Redis - > Logstash。 这就是Logstash推荐的日志托运人+ Logstash。
2. 或者，您可以使用Fluentd的out_forward插件和Logstash的TCP输入。 Logstash具有Fluentd编解码器来处理来自Fluentd的输入。

Answer 2

您可以将它直接转发到您的logstash tcp输入:)

我写了一个flunetd输出插件，用于通过安全的 tcp连接将流畅的事件转发到通用接收器（也可以配置为非安全的）。

要将插件添加到流畅的代理程序，请使用以下命令：

gem install fluent-plugin-loomsystems

还看到完整的原始答案 ，祝你好运。

Answer 3

我在配置片段下面使用了来自jrstd和http输入的http输出的logstash：

fluentd：

<match **>
    @type http
    endpoint_url http://logstash-box:8080/
    http_method put
    serializer json
    raise_on_error false
</match>

Logstash：

input {
    http {
        port => 8080 
    }
}

Obs：您可能必须安装插件gem install fluent-plugin-out-http