Solr delta-import在“处理”之前“获取”所有数据？

Question

我使用solr的DIH从mysql到solr增量导入数据，但是我发现当表中有大量记录（100000000）时，增量导入需要在处理之前获取所有数据。 因此，它总是会导致大量内存消耗，从而导致内存不足 。 当我执行完全导入操作时，它可能会提取部分数据。

solr delta导入上是否有任何设置可以解决此问题？

Answer 1

一种解决方案可能是在data-config.xml设置batchSize 。 这是有关如何执行此操作的示例：

<dataSource type="JdbcDataSource" name="ds-2" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:8889/mysqldatabase" batchSize="-1" user="root" password="root"/>

本示例来自以下链接： DataImportHandler-Solr Wiki

您可能要尝试的另一件事是对您的增量使用full-import命令，但是过去，设置batchSize对我batchSize 。 如果要尝试对增量使用full-import ，请访问以下链接： 完全导入增量-Solr Wiki