使用 Apache NIfi 将数据从 RDBMS 迁移到 ElasticSearch

Question

我们正在尝试使用 Apache Nifi 将数据从 RDBMS 迁移到弹性搜索。 我们已经在 Nifi 中创建了管道，并且能够传输数据，但面临一些问题，并想检查是否有人已经克服了它们。

请就以下项目提供意见。

1.如何避免弹性搜索中自动生成_id。 我们希望从数据库列中设置它。 我们尝试在 PutElasticSearchHTTPRecord 处理器的“标识符记录路径”属性中提供列名称，但收到属性名称无效的错误。 你能告诉我们可接受的格式吗？

2. 如何使用 NIfi 将嵌套对象加载到索引中？ 我们希望使用嵌套对象在索引中维护一对多关系，但无法找到这样做的配置。 我们有任何处理器可以在 Nifi 中执行此操作吗？ 请告诉我们。

提前致谢！

Answer 1

1. 它需要是像/myidfield这样的 RecordPath 语句

2. 您需要在 Elasticsearch 中手动创建嵌套字段。 这不是 NiFi 的事情，而是 Elasticsearch 的工作原理。 如果您要使用cURL发布文档，您会遇到同样的问题。