带有ELK堆栈的索引文档URL

Question

我想使用logstash加载以下文档，以通过弹性搜索对其进行索引：

https://www.ibm.com/support/knowledgecenter/SSEPGG_10.1.0/com.ibm.db2.luw.common.doc/doc/t0020018.html

目前，我可以用elasticsearch索引所有日志，但是我不确定如何用url索引文档。

这种情况是否适用于logstash，如果是，请对此提供帮助。

Answer 1

您可以通过在logstash配置本身中使用最近发布的http poller插件来尝试一下 。 input可能看起来像这样：

input {
  http_poller {
    urls => {
      myurl=> "https://www.ibm.com/support/knowledgecenter/SSEPGG_10.1.0/com.ibm.db2.luw.common.doc/doc/t0020018.html"
      }
    }
    request_timeout => 60
    interval => 60
    codec => "json"  <--- to decode the results to json
  }
}

以上只是一个示例，您可以重现。 希望这可以帮助！