Solr完全导入性能

Question

我有少量的查询和实体，即使性能很差，我也想知道我可以采取哪些技巧和配置来提高性能？

注意我正在使用Solr 4.1。

Answer 1

您应该在导入过程中尽量减少提交的次数。 即使在将文档添加到Solr时不定期提交，Solr也会基于solrconfig.xml autoCommit设置执行自动提交：

<autoCommit>
   <maxDocs>10000</maxDocs>
   <maxTime>15000</maxTime>
   <openSearcher>false</openSearcher>
</autoCommit>

增加maxDocs和maxTime并查看速度是否更好。 （ maxTime以毫秒为单位，因此默认设置仅为15秒，对于批量导入而言，这是非常低的。）

您甚至可以尝试在批量导入期间禁用自动提交，并在添加所有文档后发出一个提交命令。 如果这没有引发Solr的内存不足异常，则它是您可以获得的最佳速度。

如果要进行RDBMS导入，那么我建议使用JOIN捕获尽可能多的字段，并最小化子实体的数量，因为每个子实体都会打开一个与数据库的单独连接。 由于您是从mongo导入的，因此这不适用于您。 您可以通过创建一个新的mongo集合进行实验，该集合包含Solr所需的所有数据，在数据导入器中保留一个实体，并查看它是否可以提高导入速度。