使用 Apache NIfi 將數據從 RDBMS 遷移到 ElasticSearch

Question

我們正在嘗試使用 Apache Nifi 將數據從 RDBMS 遷移到彈性搜索。 我們已經在 Nifi 中創建了管道，並且能夠傳輸數據，但面臨一些問題，並想檢查是否有人已經克服了它們。

請就以下項目提供意見。

1.如何避免彈性搜索中自動生成_id。 我們希望從數據庫列中設置它。 我們嘗試在 PutElasticSearchHTTPRecord 處理器的“標識符記錄路徑”屬性中提供列名稱，但收到屬性名稱無效的錯誤。 你能告訴我們可接受的格式嗎？

2. 如何使用 NIfi 將嵌套對象加載到索引中？ 我們希望使用嵌套對象在索引中維護一對多關系，但無法找到這樣做的配置。 我們有任何處理器可以在 Nifi 中執行此操作嗎？ 請告訴我們。

提前致謝！

Answer 1

1. 它需要是像/myidfield這樣的 RecordPath 語句

2. 您需要在 Elasticsearch 中手動創建嵌套字段。 這不是 NiFi 的事情，而是 Elasticsearch 的工作原理。 如果您要使用cURL發布文檔，您會遇到同樣的問題。