將 s3 中的自定義日志上傳到 cloudwatch 以進行指標監控

Question

我創建了一個自定義應用程序，可以自動將日志上傳到 s3。 有沒有辦法將這些日志從 s3 推送到 cloudwatch 進行分析和警報？ 我知道我可以使用 cloudwatch 代理從應用程序直接推送到 cloudwatch，但該選項涉及復雜性。 謝謝！

Answer 1

您可能可以使用 Cloudwatch Events 來監聽 S3 的變化。 不確定您是否可以從 S3 文件中獲取數據，或者只是一個表明已添加新日志的觸發器。

您還可以使用連接到 lambda 或 SQS 的 S3 事件通知 ( https://docs.aws.amazon.com/AmazonS3/latest/dev/NotificationHowTo.html )，並從那里創建日志到 Cloudwatch。 （類似於@marcin 的建議）

一個更好的解決方案，但有點超出問題的范圍，是通過 Kinesis Firehose 發送您的日志，然后從那里添加 Cloudwatch 和 S3 日志。

Answer 2

我不知道 AWS 提供的任何開箱即用的機制。 但我認為它可能相對容易開發。

也就是說，您可以為從您的應用程序到 S3 的新日志文件的 PUT 創建S3 通知。 該事件將觸發lambda 函數。 該函數將獲取文件並使用AWS SDK ，例如 boto3 的put_log_events ，它將日志事件發送到 CloudWatch 日志。