胶水工作解决方法：拨打 lambda 获取秘密。 但这对 Glue 不起作用（但对 EC2 起作用）

Question

我需要获得 Python Shell Glue 作业一些存储在 AWS Secrets Manager 中的数据库凭证。

这应该很简单，但我工作的组织似乎有一个模糊的 Secrets Manager 角色，我到目前为止还无法修改它来做我想做的事。

当我在 EC2 上测试时，我调用 Lambda 以获取返回 glue 的秘密的解决方法有效，但从 Glue 中，Lambda 调用永远挂起。 我确保我正在运行的角色具有“Lambda 完全访问权限”，所以不是这样。

有任何想法吗？ 非常感谢。

Answer 1

我的同事使用 Python 从 AWS Glue Python Shell 切换到 Spark，并且成功了！

显然 Python shell 中的.network 设置有些不同？

Answer 2

更新之前的错误答案：我在 Python Shell 版本中使用的代码有一些问题导致了这个问题； 我对 Spark Python 版本进行了一些更改并使其运行。

一项性能说明：Spark 需要 11-14 分钟才能开始运行 Python，其中 Python shell 几乎立即启动。 所以后者调试起来要快得多。