如何使用 Bulkinferrer 从之前在 Tensorflow Extended (TFX) 中推送的模型中进行预测

Question

在 TFX 管道中，我们如何使用BulkInferrer ？

将BulkInferrer与经过训练的model或pushed_model连接起来是非常标准的。 但是，如果我不想再次训练模型，而是希望使用以前训练过的model或pushed_model并使用BulkInferrer进行批量推理（有点像与BulkInferrer一起BulkInferrer ），该BulkInferrer 。 有可能这样做吗？

如果不是， BulkInferrer组件的目的是BulkInferrer ，只是在整个训练后做一次预测或验证？

任何建议或意见将不胜感激，谢谢。

Answer 1

BulkInferrer是 TFX 库中添加的最新组件，用于支持未标记数据的批量推理。

以下是为什么有人会使用 BulkInferrer 的用例列表，试图在 ml-pipelines 而不是 data-pipelines 的情况下接近它：

1. 在批处理作业中定期运行，例如每晚运行以推断前一天收到的数据的分数。 例如，当推理延迟很高并且需要离线运行以使用分数填充缓存时，或者需要推理大量实例时。
2. 当推断结果不期望直接返回到推断请求（即实时）但可以异步执行时。 例如，在新模型发布之前对其进行影子测试。
3. 以事件驱动的方式。 例如，在推断批量数据并检测到模型漂移时触发模型重新训练。
4. 用于成本优化。 例如，在低吞吐量模型/服务上，cpu/gpu 实例的空闲时间可能很长。

要在您的 ML 管道中执行此操作而不重新训练您的模型，您可以在管道的末尾确实包含 BulkInferrer，并在输入和配置未更改的情况下重用之前运行的结果。 这是由 Kubeflow 管道上的 Argo 和 Tekton 工作流管理器实现的，因为他们实现了 TFX，请参阅步骤缓存。