如何部署将 Tensorflow 导入 AWS Lambda 的 Python 脚本？

Question

Tensorflow 是一个大型库，压缩后大约 399 MB。 我正在使用tensorflow_hub下载预训练的通用句子编码器模型。 但是， tensorflow_hub对tensorflow有很多依赖。

我现在的压缩包接近 500MB。 有什么方法可以解决这个必须在我的部署中包含 tensorflow 的问题？ 或者是否有另一种类似于 AWS Lambda 的服务具有更大的包大小限制。

Answer 1

我创建了一个从 tensorflow lib 中删除测试文件和pycache 的脚本：

virtualenv --system-site-packages -p python3 ./venv
source ./venv/bin/activate
pip install tensorflow --target tensorflow-layer
cd tensorflow-layer
find . -type d -name "tests" -exec rm -rfv {} +
find . -type d -name "__pycache__" -exec rm -rfv {} +
cc ..
mv tensorflow-layer python
zip -r python tensorflow-layer.zip

它不会删除太多，但仍然可以帮助您获得较小库所需的额外兆字节

ps：不要忘记有相应的环境（在那种情况下是python3，那就是dl tensorflow 2.10）并确保将您的图层压缩到根据lambda对应语言命名的文件夹中，但显然您已经意识到这一点。