在 AWS Lambda 上运行 Tensorflow 2 预测

Question

我想在 AWS Lambda 上运行 Tensorflow 2 LinearClassifier。 我有一个训练有素的线性分类器 tensorflow model。 由于成本效益，我只想在 AWS Lambda 中运行预测。

目前我不确定如何处理它。

• 我尝试使用普通的 TF2，但它对于 AWS Lambda 层来说太大了。 您找到的所有描述都是针对较旧的 TF 1.1x 版本和 Python 2.x。
• 然后我尝试了 TensorflowJS，但它看起来像使用 TFJS 中未实现的函数的 LinearClassifier。
• 最后我尝试使用 Tensorflow Lite，但我目前在将 model 转换为 TFLite 时遇到问题。

你有什么想法，我怎样才能在 AWS Lambda 上运行 TF 2 Estimation of LinearClassifier？

通常我认为并非所有 1.5 GB Tensorflow 模块都用于对现有 model 进行简单预测。 那么是否有可能只获取用于运行脚本的文件？

Answer 1

我为您的问题找到了可能的答案：

1. 要在 TFlite model 中转换：

• a blog about "How to convert a Tensorflow Estimator to Tensorflow Lite": https://medium.com/datadriveninvestor/how-to-convert-a-tensorflow-estimator-to-tensorflow-lite-a3509a9ba902
• an other example with Keras model but maybe the same trick with get_concrete_function (it works for me with my keras model): https://colab.research.google.com/github/tensorflow/tensorflow/blob/master/tensorflow/lite/示例/experimental_new_converter/Keras_LSTM_fusion_Codelab.ipynb

2. 要与 AWS Lambda 一起使用，有很多博客，但没有一个是完美的。 对于我的情况，我使用 tensorflow 2.3.0 来创建我的 keras model。 所以我不得不稍微修改一下这个非常好的教程：

• https://www.edeltech.ch/tensorflow/machine-learning/serverless/2020/07/11/how-to-deploy-a-tensorflow-lite-model-on-aws-lambda.html or his github: https ://github.com/edeltech/tensorflow-lite-on-aws-lambda

对于部分：“从官方 GitHub 存储库中克隆 TensorFlow”，我们需要强制使用 tensorflow 的版本，因为有时最新版本编译不好。

对于我的情况，我想要 tensorflow v2.3.0，所以我修改了这一行：

git clone https://github.com/tensorflow/tensorflow.git

经过

git clone --branch v.2.3.0 https://github.com/tensorflow/tensorflow.git

最后我也进行了修改，以在 AWS 上调用 lambda：

sls invoke local -f predict

经过

sls invoke -f predict

我建议您使用提供的示例 model 完成所有教程，以确保一切正常。