如何快速重新索引ElasticSearch？

Question

我有一个ElasticSearch索引，包含大约200M文档，总索引大小为90Gb。

我改变了映射，所以我希望ElasticSearch重新索引所有文档。

我编写了一个创建新索引（使用新映射）的脚本，然后遍历旧索引中的所有文档，然后将其放入新索引中。

它似乎有效，但问题是它的工作速度非常慢。 它开始于两天前的300个文件/分钟，现在速度是150个文件/分钟。

该脚本在弹性搜索机器所在的同一网络中的机器上运行。

有了这样的速度，重新索引需要一个月才能完成。

有人知道一些更快的技术来重新索引弹性搜索索引吗？

Answer 1

在谷歌群组中回答：

选项A：使用批量索引操作。

选项B：使用在ES机器内运行的重新索引插件： https ： //github.com/karussell/elasticsearch-reindex

Answer 2

如何使用Elasticsearch重新索引的正确方法是使用scan和scroll API，Pyes应该支持这些API。

似乎Pyes库有一个reindex方法，但我没有经验。

（如果你过度使用Ruby over Python :)， Tire Ruby客户端有一个Index#reindex方法： https ： //github.com/karmi/tire/blob/master/test/integration/reindex_test.rb 。 它应该足够快速的数据。）