如何找到两个SOLR集合之间的差异

Question

我们使用的是Lucid Works Solr 4.6版。

我们的源系统基本上将数据存储到两个目标系统中（一个通过实时，另一个通过批处理模式）。 数据通过实时路由吸收到Solr中。

我们需要定期将Solr中提取的数据与批处理系统中提取的数据同步。

我们当前正在尝试评估的设计是将批处理系统中的数据导入到另一个Solr集合中，但实际上不确定如何同步两个集合（即一个具有实时数据的集合，另一个是通过批处理导入）。

我通读了数据导入处理程序，但这将覆盖Solr中的现有数据。 有什么方法可以识别两个集合之间的差异并仅吸收该差异。

Answer 1

没有好办法。 您可以做几件事：

1. 当数据进入实时系统时，会有一个导入时间戳。 然后执行范围查询以引入新内容。 我认为新版本的Solr已经为此提供了一个领域。
2. 记录进入第一个Solr的文档的ID，然后为它们建立索引。
3. 其他集合的单独队列