AWS lambda 任务在处理来自 S3 存储桶的数据时出现大数据超时问题

Question

我的 S3 存储桶中有 120 mb 的数据文件，我正在通过 python pandas 将其加载到 lambda 中并对其进行处理，但是在 15 分钟（基本设置的超时选项中设置的时间）后，它给我一个任务超时错误和停止进程。我在基本 sublime 文本和终端中执行的相同进程只需要 2-3 分钟。问题是什么，我该如何解决。 提前致谢

Answer 1

如果您认为它花费的时间显着缩短，您应该尝试查看本地计算机中使用的资源。 增加Lambda 可用的内存量可以在它受到限制的情况下显着提高性能，这也会增加 CPU 的数量。

如果有大量数据，可以将其移动到EFS 中吗？ Lambda 可以附加和访问EFS 挂载，就好像它是本地存储一样。 通过这样做，您可以从 Lambda 脚本中删除此进程，而只能进行处理。

最后，如果以上两种方法都没有缩短执行时间，请查看是否可以将 Lambda 分解为更小的 Lambda 函数，然后通过Step Functions进行编排。 通过这样做，您可以创建一个链接的 Lambda 函数序列，这些函数将执行单个 Lambda 函数的原始操作。