Stream elasticsearch 數據到卡夫卡

Question

這個賞金已經結束。 此問題的答案有資格獲得+50聲望賞金。 賞金寬限期在19 分鍾后結束。 RAVITEJA SATYAVADA正在從有信譽的來源尋找答案。

我對 Elasticsearch 到 Kafka 的數據有要求。 我正在查看 Elasticsearch 和 Kafka（Python 實現）之間的任何連接器，它可以自動識別 CDC 並將數據流式傳輸到 kafka，或者我可以實現我自己的 CDC 方法，但正在尋找一種強大的 ES 方法 - kafka 連接器。 請分享任何現成的解決方案或想法，我正在通過 Kafka 和 ES 之間的 Elasticsearch 接收器連接器。 但它是否是雙向的（Kafka <-> ES）並不明顯。

Answer 1

我認為Debezium沒有 ElasticSearch 源連接器，但您可以自己編寫。 我剛剛遇到的另一個滿足我自己的 CDC/ETL 需求的項目是 Airbyte。 他們確實有一個 ElasticSearch 來源： https://docs.airbyte.com/integrations/sources/elasticsearch 。 我昨晚偶然發現了他們，所以我不能為他們的產品說話。