使用post工具將大文件目錄發布到SOLR，如何在每個文件后提交

Question

我正在使用java post工具進行solr上傳和索引文檔目錄。 有幾千個文件。 Solr只在進程的最后進行提交，有時事情在完成之前停止，所以我失去了所有的工作。

有沒有人可以獲取每個文檔的名稱並在其上調用帖子，以便獲得每個文檔的提交？ 而不是最后提交所有文檔？

Answer 1

從post工具的幫助頁面：

Other options:
  ..
  -params "<key>=<value>[&<key>=<value>...]" (values must be URL-encoded; these pass through to Solr update request)

這應該允許您使用-params "commitWithin=1000"來確保每個文檔在添加到索引的一秒鍾內顯示。

Answer 2

在每個文檔之后提交對於性能來說是一種過度殺傷 ，無論如何，如果出現問題，你必須從頭開始重新提交任何內容，這是很奇怪的。 我建議認真改變您正在使用的索引策略，而不是以不同的方式進行調查。

鑒於此，如果您沒有任何其他方式來更改提交配置，我建議您在Solr集合/索引中配置autocommit或使用參數commitWithin ，如commitWithin所建議的那樣。 請注意，您使用的工具是否有機會添加此參數。

自動提交

這些設置控制掛起的更新自動推送到索引的頻率。 autoCommit的替代方法是使用commitWithin，可以在向Solr發出更新請求時（即，在推送文檔時）或在更新RequestHandler中定義。