Stream elasticsearch 数据到卡夫卡

Question

这个赏金已经结束。 此问题的答案有资格获得+50声望赏金。 赏金宽限期在19 分钟后结束。 RAVITEJA SATYAVADA正在从有信誉的来源寻找答案。

我对 Elasticsearch 到 Kafka 的数据有要求。 我正在查看 Elasticsearch 和 Kafka（Python 实现）之间的任何连接器，它可以自动识别 CDC 并将数据流式传输到 kafka，或者我可以实现我自己的 CDC 方法，但正在寻找一种强大的 ES 方法 - kafka 连接器。 请分享任何现成的解决方案或想法，我正在通过 Kafka 和 ES 之间的 Elasticsearch 接收器连接器。 但它是否是双向的（Kafka <-> ES）并不明显。

Answer 1

我认为Debezium没有 ElasticSearch 源连接器，但您可以自己编写。 我刚刚遇到的另一个满足我自己的 CDC/ETL 需求的项目是 Airbyte。 他们确实有一个 ElasticSearch 来源： https://docs.airbyte.com/integrations/sources/elasticsearch 。 我昨晚偶然发现了他们，所以我不能为他们的产品说话。