如何生成 _id 像 elasticsearch 但對於 apache lucene？

Question

我想在 apache Lucene 中以相同的方式生成 Elasticsearch 文檔的 _id，使 _id 像 Elasticsearch 但在 Apache Lucene 中。我該怎么做？ 在哪里可以找到生成 Elasticsearch _id 的算法？

Answer 1

該算法基於Flake ID ，可在此處找到： https://github.com/elastic/elasticsearch/blob/be7c7415627377a1b795400fb8dfcc6cbdf0e322/server/src/main/java/org/elasticsearch/common/TimeBasedUUIDGenerator.java#L49

Answer 2

Apache Lucene 沒有直接等效於 Elasticsearch 中的“_id”字段，但您可以通過使用唯一標識符作為 Lucene 文檔中的字段來模擬此行為。

生成唯一標識符的一種方法是使用 UUID。 您可以使用像 Java 的 java.util.UUID 這樣的庫為每個文檔生成一個唯一標識符，並將其作為一個字段存儲在 Lucene 文檔中。

另一種方法是使用文檔的 hash 值作為標識符。 您可以使用 SHA-256 等散列算法對文檔的內容進行 hash，並將生成的 hash 值存儲為標識符字段。

重要的是要注意 Elasticsearch _id 不僅是唯一的，而且是確定性的。 如果要生成一個在 Apache Lucene 中確定性的_id，則需要使用特定的確定性算法來生成標識符。

這是 Java 中的一個示例，用於使用java.util.UUID為每個文檔生成唯一標識符：

import java.util.UUID;
import org.apache.lucene.document.Document;

public class DocumentIDGenerator {
    public static String generateID(Document document) {
        return UUID.randomUUID().toString();
    }
}

在此示例中，generateID 方法將 Lucene 文檔 object 作為輸入，並以字符串形式返回新生成的 UUID。 要使用此方法，只需在將每個文檔添加到索引之前調用它，並將返回的標識符存儲為文檔中的一個字段。

需要注意的是，UUID 不是確定性的，所以如果需要生成確定性標識符，這種方法不適用。 在這種情況下，您可能需要考慮使用 hash 值，如下一個示例所述。

以下是 Java 中的示例，用於使用 SHA-256 hash 值為每個文檔生成確定性標識符：

import java.nio.charset.StandardCharsets;
import java.security.MessageDigest;
import java.security.NoSuchAlgorithmException;
import org.apache.lucene.document.Document;

public class DocumentIDGenerator {
    public static String generateID(Document document) {
        StringBuilder sb = new StringBuilder();
        for (IndexableField field : document.getFields()) {
            sb.append(field.stringValue());
        }
        String contents = sb.toString();
        try {
            MessageDigest digest = MessageDigest.getInstance("SHA-256");
            byte[] hash = digest.digest(contents.getBytes(StandardCharsets.UTF_8));
            StringBuilder hexString = new StringBuilder();
            for (byte b : hash) {
                hexString.append(String.format("%02X", b));
            }
            return hexString.toString();
        } catch (NoSuchAlgorithmException e) {
            throw new RuntimeException(e);
        }
    }
}

在此示例中，generateID 方法將 Lucene 文檔 object 作為輸入，並返回文檔內容的 SHA-256 hash 的十六進制字符串表示形式。 要使用此方法，只需在將每個文檔添加到索引之前調用它，並將返回的標識符存儲為文檔中的一個字段。

請務必注意，這只是一個示例，還有許多其他方法可以生成確定性標識符。 您應該選擇最適合您的用例和要求的方法。

希望這有幫助。