无法在 lambda 容器内安装 tensorflow

Question

我正在尝试构建一个 TensorFlow 容器以部署到 Lambda（按照此处的说明进行操作）。

我的dockerfile文件是：

FROM public.ecr.aws/lambda/python:3.8

# Copy function code
COPY app.py ${LAMBDA_TASK_ROOT}

# Install the function's dependencies using file requirements.txt
# from your project folder.

COPY requirements.txt  .
RUN  pip3 install -r requirements.txt --target "${LAMBDA_TASK_ROOT}"

# Set the CMD to your handler (could also be done as a parameter override outside of the Dockerfile)
CMD [ "app.handler" ]

而我的requirement.txt是

tensorflow==2.4.0

我在构建 docker 容器时遇到的错误是：

#8 0.653 ERROR: Could not find a version that satisfies the requirement tensorflow==2.4.0 (from versions: none)
#8 0.653 ERROR: No matching distribution found for tensorflow==2.4.0
#8 0.847 WARNING: You are using pip version 21.1.1; however, version 21.3.1 is available.
#8 0.847 You should consider upgrading via the '/var/lang/bin/python3.8 -m pip install --upgrade pip' command.
------
executor failed running [/bin/sh -c pip3 install -r requirements.txt --target "${LAMBDA_TASK_ROOT}"]: exit code: 1

我尝试过的事情

1. 其他 python 库（Scikit learn，numpy）安装正常
2. 满足 TF 要求。 Python >= 3.8 && 运行 68 位版本
3. 删除 lambda 任务根目录无效。
4. 更改 TensorFlow 版本

我唯一能猜到的是基础镜像不支持 TF，但我不明白为什么？

Answer 1

我找到的唯一解决方案是更改 Python 的版本，我从 3.8（就像你一样）切换到 3.6 并且它工作。 在下面的 Dockerfile 中，我传递给python:3.6.2022.01.11.19因为它是最轻的。

FROM public.ecr.aws/lambda/python:3.6.2022.01.11.19
WORKDIR ${LAMBDA_TASK_ROOT}

RUN yum update -y

COPY src/ .
COPY requirements.txt requirements.txt

RUN pip3 install --upgrade pip
RUN pip3 install -r requirements.txt

CMD ["lambda_function.lambda_handler"]

Answer 2

基础镜像不支持 TF，因为不是每个需要 Lambda 环境的人都需要运行时中的 Tensorflow。 您必须使用lambci配置 lambda 层来模拟 lambda 函数的执行环境。

PS : Tensorflow library requires 1GB+ worth of dependencies alone which means that your Lambda with the TensorFlow library and your model won't meet the max size limitation of package uploads. 要解决该问题，您可以考虑将 model 转换为其 TFLite 对应项。 这将使您摆脱 package 中沉重的 TensorFlow 库并满足限制。

这是您可以用来入门的指南。