使用post工具将大文件目录发布到SOLR，如何在每个文件后提交

Question

我正在使用java post工具进行solr上传和索引文档目录。 有几千个文件。 Solr只在进程的最后进行提交，有时事情在完成之前停止，所以我失去了所有的工作。

有没有人可以获取每个文档的名称并在其上调用帖子，以便获得每个文档的提交？ 而不是最后提交所有文档？

Answer 1

从post工具的帮助页面：

Other options:
  ..
  -params "<key>=<value>[&<key>=<value>...]" (values must be URL-encoded; these pass through to Solr update request)

这应该允许您使用-params "commitWithin=1000"来确保每个文档在添加到索引的一秒钟内显示。

Answer 2

在每个文档之后提交对于性能来说是一种过度杀伤 ，无论如何，如果出现问题，你必须从头开始重新提交任何内容，这是很奇怪的。 我建议认真改变您正在使用的索引策略，而不是以不同的方式进行调查。

鉴于此，如果您没有任何其他方式来更改提交配置，我建议您在Solr集合/索引中配置autocommit或使用参数commitWithin ，如commitWithin所建议的那样。 请注意，您使用的工具是否有机会添加此参数。

自动提交

这些设置控制挂起的更新自动推送到索引的频率。 autoCommit的替代方法是使用commitWithin，可以在向Solr发出更新请求时（即，在推送文档时）或在更新RequestHandler中定义。