每晚TF /克隆的TFX-如何為Kubeflow管理圖像？

Question

當我訪問Kubeflow端點以使用克隆的TFX上載並運行管道時，該過程開始於掛起的第一步，並顯示以下消息：

“此步驟通過以下消息處於待處理狀態：ImagePullBackOff：后退拉取圖像“ tensorflow / tfx：0.14.0dev”，該圖像與在創建的管道yaml文件中使用的圖像相同。

我的總體目標是建立tfrecords文件的ExampleGen，正如指南中所描述這里 。 pip中最新的tfx版本是0.13， 尚未包含必需的功能 。 因此，我每晚安裝tf並克隆/構建tfx（dev版本0.14）。 這樣做並安裝一些其他模塊，例如tensorflow_data_validation，我現在可以使用tfx組件並為tfrecords文件包括ExampleGen來創建管道。 我終於用KubeflowRunner構建了管道。 但這會產生上述錯誤。

我現在想知道解決這個問題的適當方法。 我想一種方法是使用指定的版本自己構建映像，但是也許有更實用的方法嗎？

Answer 1

TFX尚無每晚圖像生成。 當前，默認情況下，它默認使用標記有用於構建管道的庫版本的圖像，因此標記的原因是0.14dev0 。 這是HEAD的當前版本，請參見此處： https : //github.com/tensorflow/tfx/blob/a1f43af5e66f9548ae73eb64813509445843eb53/tfx/ve​​rsion.py#L17

您可以構建自己的映像並將其推gcr.io/your-gcp-project/your-image-name:tag某處，例如gcr.io/your-gcp-project/your-image-name:tag ，並通過自定義管道的tfx_image參數，指定管道使用該映像，而不是： https://github.com/tensorflow/tfx/blob/74f9b6ab26c51ebbfb5d17826c5d5288a67dcf85/tfx/orchestration/kubeflow/base_component.py#L54

參見例如： https : //github.com/tensorflow/tfx/blob/b3796fc37bd4331a4e964c822502ba5096ad4bb6/tfx/examples/chicago_taxi_pipeline/taxi_pipeline_kubeflow.py#L243