如何扩展elasticsearch使其每秒能够索引大量文档？

Question

目前，我正在使用一条河流对数据进行索引时，我拥有一个基本的Elasticsearch集群。 我想分两个阶段扩展未来的增长。 每秒索引的文档数可能是瓶颈。

1. 阶段1：每秒将100个文档编入Elasticsearch中
2. 阶段2：每秒将10000个文档索引到elasticsearch中

我应该怎么做？

提前致谢！

编辑：
我正在尝试索引Twitter流。 每个文档= 2 KB左右。 硬件很灵活。 现在我有磁盘（具有50 GB的RAM），但是获得SSD（以及更好的配置）并不重要。

Answer 1

来自实验和文章的一些要点：

• 由于您将进行大量编写工作，因此请确保从大量的主要碎片开始。 您可以根据要拥有/需要的节点数来做出决定。 基本上，您想确保主碎片分布在不同的节点上，以便它们可以共享工作。 创建索引后，您将无法更改主分片的数量，因此请考虑一下。

• 请勿将超过50％的计算机内存分配给ES。 其余的将由Lucene使用（请参阅http://www.elasticsearch.org/guide/en/elasticsearch/guide/current/heap-sizing.html ）

• 使用SSD。 在建立索引时，I / O扮演着重要角色（请参阅http://www.elasticsearch.org/blog/performance-considerations-elasticsearch-indexing/ ）

• 通常：I / O>内存>多CPU内核>快速单CPU（请参阅http://www.elasticsearch.org/guide/zh-CN/elasticsearch/guide/current/hardware.html ）

• 几乎每种设置都是唯一的，因此找出适合您的最佳配置的最佳方法是尝试一下。 Elasticsearch有一个很棒的监视工具，称为Marvel（ http://www.elasticsearch.org/overview/marvel/ ）

玩得开心 ！