迁移本地 Python 将 Splunk 转发器从系统日志框提供给 AWS 的 ETL 脚本？

Question

我被要求将位于系统日志框上的本地 Python ETL 脚本迁移到 AWS。 这些脚本作为 cron-jobs 和 output 日志运行，Splunk 转发器解析并发送到我们的 Splunk 实例以进行索引。

我最初的想法是部署一个由 Cloudwatch 触发的 Lambda function 启动一个 EC2 实例，运行克隆到该实例的 ETL 脚本（30 分钟），然后关闭该实例。 另一个想法是将脚本容器化并将它们作为任务定义运行。 它们大约需要 30 分钟才能运行。

任何前进的帮助都会很好； 我想在 IaaC 中部署它，最好是在 troposphere/boto3 中。

Answer 1

另一个想法是将脚本容器化并将它们作为任务定义运行

这可能是最好的方法。 您可以在任务定义中包含splunk 通用转发器容器（确保两个容器都配置为安装保存日志的相同存储）以将日志放入 splunk。 您可以像 lambda 函数或类似函数一样安排任务执行。 作为转发器容器的替代方案，如果您可以将 output 的日志配置为 stdout/stderr 而不是日志文件，则只需将 docker 日志驱动程序设置为 output 直接到 splunk。

假设您还没有具有运行任务容量的集群，您可以使用附加到 ECS 集群的 ASG 的容量提供程序，以便在任务需要运行时自动将实例配置到集群中（并在任务完成后缩减规模）完成）。
或者将 Fargate 任务与 EFS 存储一起使用，您根本不必担心集群配置。