使用Python中的Logstash将数据导入Elastic Search

Question

我已经使用logstash的命令行将JSON文件导入到ElasticSearch索引中。 我使用以下命令：

。\\ logstash -f logstash.conf

logstash.conf文件中提供了要导入文件的路径。 我已经能够使用命令行来实现这一点。

但是我如何在python中做同样的事情呢？ 目的是使用python（带或不带logstash）将批量数据导入Elasticsearch索引

Answer 1

您可以使用批量加载程序http://elasticsearch-py.readthedocs.io/en/master/helpers.html?highlight=bulk#bulk-helpers

如果您无法将文件放入内存中，请使用流式传输选项http://elasticsearch-py.readthedocs.io/en/master/helpers.html?highlight=bulk#elasticsearch.helpers.streaming_bulk