帶有ELK堆棧的索引文檔URL

Question

我想使用logstash加載以下文檔，以通過彈性搜索對其進行索引：

https://www.ibm.com/support/knowledgecenter/SSEPGG_10.1.0/com.ibm.db2.luw.common.doc/doc/t0020018.html

目前，我可以用elasticsearch索引所有日志，但是我不確定如何用url索引文檔。

這種情況是否適用於logstash，如果是，請對此提供幫助。

Answer 1

您可以通過在logstash配置本身中使用最近發布的http poller插件來嘗試一下 。 input可能看起來像這樣：

input {
  http_poller {
    urls => {
      myurl=> "https://www.ibm.com/support/knowledgecenter/SSEPGG_10.1.0/com.ibm.db2.luw.common.doc/doc/t0020018.html"
      }
    }
    request_timeout => 60
    interval => 60
    codec => "json"  <--- to decode the results to json
  }
}

以上只是一個示例，您可以重現。 希望這可以幫助！