每晚TF /克隆的TFX-如何为Kubeflow管理图像？

Question

当我访问Kubeflow端点以使用克隆的TFX上载并运行管道时，该过程开始于挂起的第一步，并显示以下消息：

“此步骤通过以下消息处于待处理状态：ImagePullBackOff：后退拉取图像“ tensorflow / tfx：0.14.0dev”，该图像与在创建的管道yaml文件中使用的图像相同。

我的总体目标是建立tfrecords文件的ExampleGen，正如指南中所描述这里 。 pip中最新的tfx版本是0.13， 尚未包含必需的功能 。 因此，我每晚安装tf并克隆/构建tfx（dev版本0.14）。 这样做并安装一些其他模块，例如tensorflow_data_validation，我现在可以使用tfx组件并为tfrecords文件包括ExampleGen来创建管道。 我终于用KubeflowRunner构建了管道。 但这会产生上述错误。

我现在想知道解决这个问题的适当方法。 我想一种方法是使用指定的版本自己构建映像，但是也许有更实用的方法吗？

Answer 1

TFX尚无每晚图像生成。 当前，默认情况下，它默认使用标记有用于构建管道的库版本的图像，因此标记的原因是0.14dev0 。 这是HEAD的当前版本，请参见此处： https : //github.com/tensorflow/tfx/blob/a1f43af5e66f9548ae73eb64813509445843eb53/tfx/ve​​rsion.py#L17

您可以构建自己的映像并将其推gcr.io/your-gcp-project/your-image-name:tag某处，例如gcr.io/your-gcp-project/your-image-name:tag ，并通过自定义管道的tfx_image参数，指定管道使用该映像，而不是： https://github.com/tensorflow/tfx/blob/74f9b6ab26c51ebbfb5d17826c5d5288a67dcf85/tfx/orchestration/kubeflow/base_component.py#L54

参见例如： https : //github.com/tensorflow/tfx/blob/b3796fc37bd4331a4e964c822502ba5096ad4bb6/tfx/examples/chicago_taxi_pipeline/taxi_pipeline_kubeflow.py#L243