没有名为“psycopg2._psycopg”的模块：AWS Lambda 中的 ModuleNotFoundError

Question

我已经使用我的 python 文件和包括 sqlalchemy 和 psycopg2 的依赖项为 AWS Lambda 创建了一个部署 package。 该代码在本地访问数据库方面非常有效。 但是当我导入这个 zip 文件时，出现以下错误。

No module named 'psycopg2._psycopg': ModuleNotFoundError

错误的堆栈跟踪是，

{
  "errorMessage": "No module named 'psycopg2._psycopg'",
  "errorType": "ModuleNotFoundError",
  "stackTrace": [
    [
      "/var/task/DBAccessLamdaHandler.py",
      50,
      "lambda_handler",
      "engine = create_engine(rds_host)"
    ],
    [
      "/var/task/sqlalchemy/engine/__init__.py",
      387,
      "create_engine",
      "return strategy.create(*args, **kwargs)"
    ],
    [
      "/var/task/sqlalchemy/engine/strategies.py",
      80,
      "create",
      "dbapi = dialect_cls.dbapi(**dbapi_args)"
    ],
    [
      "/var/task/sqlalchemy/dialects/postgresql/psycopg2.py",
      554,
      "dbapi",
      "import psycopg2"
    ],
    [
      "/var/task/psycopg2/__init__.py",
      50,
      "<module>",
      "from psycopg2._psycopg import (                     # noqa"
    ]
  ]
}

任何帮助都是可观的

Answer 1

AWS Lambda 运行时环境不包含 PostgreSQL 库，因此您需要将它们包含在您的 AWS Lambda 上传中。

一种方法是从 GitHub 的jkehler/awslambda-psycopg2 存储库中获取它们。 请注意，您不需要从头开始构建此项目，因为 repo 在psycopg2 文件夹中包含一个预构建的包，您可以简单地将其包含在您的 Lambda 上传中。

Answer 2

jkehler/awslambda-psycopg2中的 psycopg2 构建库是为 python 3.6 构建的，并确保在将代码上传到 AWS lambda 时，选择 Python Runtime environment 作为 3.6，它应该可以工作。 我为此苦苦挣扎了一整天，然后当我更改为 3.6 时，导入错误就消失了。

如果您打算自己构建它， 请记住，您必须在与 AWS 的目标具有相同架构的机器或 VM 上构建它。

Answer 3

最新截至 2020 年 3 月 26 日

我对我的生产代码依赖第三方库持怀疑态度。 在研究以下工作时，

仅当从 MAC OS 构建软件包时才会出现此问题。

我今天可以确认，当我从 Centos 7 ( AWS AMI ) 构建软件包时问题已得到解决

以下是我的做法

需求.txt

psycopg2-binary==2.8.4

构建过程

pip install -r requirements.txt --target .

Lambda 代码位于根目录中

+-- lambda_function.py
+-- psycopg2
    +-- psycopg2 files

压缩目录并测试 lambda 中的代码是否有效。

唯一的额外步骤是使用 Docker 容器在 Linux 环境而不是 macOS 中构建包。 可以在此处找到示例： 使用 Docker 从 macOS 部署 AWS Amplify Python Lambda

Answer 4

对于 Windows（看起来像在任何不是在 Amazon AMI 或 Centos 上构建的操作系统），最简单的修复是使用

适用于 AWS Lambda 的 psycopg2 Python 库

你可以找到https://github.com/jkehler/awslambda-psycopg2

Answer 5

与其他答案一样，psycopg2-binary 对 python3.9 运行良好（看起来其他包awslambda-psycopg2仅适用于 python3.6）。

但是，如果您在发送到 aws lambda 之前在 MacOs 上运行，则必须为您的 pip 安装指定平台，如下所示：

pip3.9 install --platform=manylinux1_x86_64 --only-binary=:all: psycopg2-binary

Answer 6

不要使用 psycopg2，而是尝试在命令提示符下使用 pg8000 转到您当前正在工作的目录（例如 F:\example） pip install pg8000 -t。 （-t. 用于在您正在工作的目录中安装 pg8000）

// handler.py 导入 pg8000

database=''
host=''
port=''
user=''
password=''
conn = pg8000.connect(database=database, host=host, port=port, user=user, 
password=password)

def lambda_function(event, context):
   .
   .
   .

编写代码后压缩代码并上传到您的 aws lambda。

它对我有用！！！

Answer 7

尽管我尝试了多个 psycopg2 版本，但让 SQLAlchemy 在 AWS Lambda 上运行时遇到问题，但最终为我解决的问题是使用较旧的 Python 版本。 我从 Python 3.9 转到 3.7，它终于能够运行（使用 psycopg2-binary 2.8.4，但我没有尝试其他版本或 3.7 的无二进制版本）

Answer 8

多亏了AWS Lambda 层，我们可以为我们选择的 Python 版本直接包含一个已编译好的psycopg2 层到我们的 Lambda 函数中。 请使用此Github repo中您需要的版本。 请注意在 Lambda 和层创建中使用正确的 Python 版本和区域。

Answer 9

我遇到了类似的问题。 我尝试使用与 Python3.8 一起使用的AWS Cloud shell Python3.8图层。 但是在Python3.9中失败了。

请根据您的 AWS 区域更改区域名称

sudo amazon-linux-extras install python3.8

curl -O https://bootstrap.pypa.io/get-pip.py

python3.8 get-pip.py --user

mkdir python

python3.8 -m pip install --platform=manylinux1_x86_64 --only-binary=:all: pandas numpy pymysql psycopg2-binary SQLAlchemy -t python/

zip -r layer.zip python

aws lambda publish-layer-version \
 --layer-name mics-layer \
 --description "Pandas Numpy psycopg2-binary SQLAlchemy pymysql" \
 --zip-file fileb://layer.zip \
 --compatible-runtimes python3.8 python3.9 \
 --region eu-west-1

Answer 10

在 CDK 中你可以使用这样的东西。 考虑到这仅适用于Python 3.8 。

    sqlachemy_layer = lambda_.LayerVersion(
        scope=self,
        id=LAYERS_SQLALCHEMY_LAYER,
        layer_version_name=LAYERS_SQLALCHEMY_LAYER,
        code=lambda_.Code.from_asset(
            str(pathlib.Path(__file__).parent.joinpath("dependencies").resolve()),
            bundling=BundlingOptions(
                image=lambda_.Runtime.PYTHON_3_8.bundling_image,
                command=[
                    "bash", "-c",
                    "pip install -r requirements-sqlalchemy.txt -t /asset-output/python && cp -au . /asset-output/python",
                ]
            )
        ),
        compatible_runtimes=[
            lambda_.Runtime.PYTHON_3_8,
        ],
    )

要求-sqlalchemy.txt：

psycopg2-binary
sqlalchemy

和文件结构：

• 依赖项/
  • 要求-sqlalchemy.txt
• 我的堆栈.py

Answer 11

psycopg 的最新更新（当我回答这个问题时）修复了这个问题。 您需要将 psycopg2-binary 的版本更新为 2.8.4。 这对我有用。

psycopg2-binary==2.8.4