批量Elasticsearch 5.6中的JSON文件索引

Question

我有一个包含约590,035个json文件的文件夹。 每个文件都是必须索引的文档。 如果我使用python为每个文档编制索引，则将花费30多个小时。 如何快速索引这些文档？

注意 -我见过大量的api，但这需要将所有文件合并为一个文件，所需的时间与上述时间相似。 请告诉我如何提高速度。 谢谢。

Answer 1

如果您确定I / O是您的瓶颈，请使用线程读取文件，即使用ThreadPoolExecutor进行存储，以积累大量请求，或者一一保存。 在您使用唯一或内部ID之前，ES都不会有任何问题。

批量操作可以更快地完成工作，只需节省您的HTTP开销，那么1比1的保存就更容易编码了。