从 Elasticsearch 中提取增量数据

Question

我是 elasticsearch 的新手，所以请考虑这个问题可能看起来有点幼稚。 我们有一个要求，一方面数据从 Kafka (Kafka-1) 推送到 elasticsearch。

我们有另一个团队无法访问 Kafka-1，他们需要从 elasticsearch 获取增量数据，并希望推送到 Kafka-2 以满足不同的管道需求。

看起来我们无法使用 beats 系列来实现这一点。

也许我们可以跟踪时间戳，并根据该时间戳搜索 elasticsearch。 现在对此我有两个疑问。

• 考虑到数据量很大，这将如何影响增量数据提取的性能
• 还有什么方法可以获取 elasticsearch 插入时间戳，因为在这种情况下我们不能依赖 Kafka-1 中的时间

性能是这里的主要关注点，我们可能会使用 ELasticsearch > 7

如果有任何替代方式，请提出建议。