如何找到兩個SOLR集合之間的差異

Question

我們使用的是Lucid Works Solr 4.6版。

我們的源系統基本上將數據存儲到兩個目標系統中（一個通過實時，另一個通過批處理模式）。 數據通過實時路由吸收到Solr中。

我們需要定期將Solr中提取的數據與批處理系統中提取的數據同步。

我們當前正在嘗試評估的設計是將批處理系統中的數據導入到另一個Solr集合中，但實際上不確定如何同步兩個集合（即一個具有實時數據的集合，另一個是通過批處理導入）。

我通讀了數據導入處理程序，但這將覆蓋Solr中的現有數據。 有什么方法可以識別兩個集合之間的差異並僅吸收該差異。

Answer 1

沒有好辦法。 您可以做幾件事：

1. 當數據進入實時系統時，會有一個導入時間戳。 然后執行范圍查詢以引入新內容。 我認為新版本的Solr已經為此提供了一個領域。
2. 記錄進入第一個Solr的文檔的ID，然后為它們建立索引。
3. 其他集合的單獨隊列