Lucene 和 Elasticsearch 超出文档限制

Question

当我们尝试将更多文档摄取到超过其最大限制 2,147,483,519 的“Lucene”实例中时会发生什么？

我读到，随着我们接近 20 亿个文档，我们开始看到性能下降。 但是“Lucene”是否只是停止接受超过其最大限制的新文档。

此外，当达到文档限制时，“Elasticsearch”如何处理其中一个分片的相同场景。

Answer 1

Every elasticsearch shard under the hood is Lucene Index, so this limit is applicable to Elasticsearch shard as well, and based on this Lucene issue it looks like it stops indexing further docs.

性能下降受多个因素影响，例如这些文档的大小、分配给 Elasticsearch 进程的 JVM（最大限制约为 32 GB），以及 CPU 带宽的 Z44138F63DC165FE379CE9A27、EZ05 使用的可用文件系统缓存等。