Solr在几个较小的块中完全导入

Question

我试图将一个大型MySQL数据库导入Solr，并且服务器上的导入查询非常繁琐（这可能会影响当时正在运行和使用该数据库的实际产品）。 有没有办法将完全导入分成几个较小的块？ 无论是在这里还是在Solr的文档中，我都没有找到关于此主题的任何内容。

我知道增量导入功能，但是我将其用于新数据/更改数据的增量导入。

Answer 1

当然，您可以添加条件

WHERE pk<'${dataimporter.request.INDEX}'

并在请求参数中传递INDEX。 因此，每次调用完全导入时，仅对部分记录进行索引。 请记住当然要使用＆clean = false ，否则每次都会清除掉内容。

Answer 2

也许你可以检查批处理大小 ：

batchSize（默认值：500）–设置在一次查询中从数据库中检索到数据库的最大记录数（或对驱动程序的建议）。 更改此参数可以在查询返回大量结果的情况下提供帮助。 可能没有帮助，因为此机制的实现取决于JDBC驱动程序。

http://lucene.472066.n3.nabble.com/DataImportHandler-running-out-of-memory-td490797.html