AWS CloudWatch 日志到 Kafka

Question

我想将 AWS CloudWatch Logs 推送到 Kafka，并尝试找出实现这一目标的最佳架构。

One approach I was thinking of is to -> Subscribe to log group events on cloud watch by selecting log group and clicking on Action ->Stream to AWS Lambda and select the lambda that will stream data to Kafka.

所以我可能需要编写一些 Java/Python function 来将日志从 Lambda 写入 Kafka。 但是，我不确定这是否是正确的设计。

Answer 1

您是否考虑过为 Kafka Connect 使用CloudWatch Logs 源连接器？ 它使用起来应该非常简单，不需要任何代码编写（不幸的是，我只使用了 jdbc 连接器，所以我无法确定配置它有多难）。