TensorFlow Extended（TFX）：澄清光束，氣流和Kubeflow的使用

Question

我希望有人能夠闡明TensorFlow及其依賴關系（光束，AirFlow，Flink等）之間的關系

我指的是TFX主頁： https ://www.tensorflow.org/tfx/guide#creating_a_tfx_pipeline_with_airflow等。

在示例中，我看到了三種變體： https : //github.com/tensorflow/tfx/tree/master/tfx/examples/chicago_taxi_pipeline taxi_pipeline_flink.py ， taxi_pipeline_kubeflow.py ， taxi_pipeline_simple.py

BEAM示例？

沒有“ BEAM”示例，幾乎沒有描述其用法。

假設即使沒有安裝氣流， taxi_pipeline_simple.py也會運行，這是否正確？ 我認為不是，因為它使用了“ AirflowDAGRunner”。 如果不是，那么您可以僅使用BEAM及其運行程序運行TFX嗎？ 如果是這樣，為什么沒有這樣的例子呢？

Flink示例

在taxi_pipeline_flink.py ，使用了AirflowDAGRunner。 我假設使用AirFlow作為協調器，然后使用Flink作為其執行器。 正確？

氣流示例

該頁面指出BEAM是必需的依賴項，但是氣流沒有光束作為其執行者之一。 它只有SequentialExecutor，LocalExecutor，CeleryExecutor，DaskExecutor和KubernetesExecutor。 因此， 僅在不使用Airflow時才需要 BEAM嗎？ 使用氣流時，如果需要光束的目的是什么？

感謝您的任何見解。

Answer 1

A）為了運行TFX管道，您需要協調器。 示例包括Apache Airflow，Kubeflow管道和Apache Beam。

B）Apache Beam是ALSO（也許主要是）用於某些TFX組件中的分布式數據處理。 因此，選擇的任何協調器都必須使用Apache Beam（即使您不使用Apache Beam作為協調器！）

回答您的觀點：

1）BEAM示例-現在在https://github.com/tensorflow/tfx/blob/master/tfx/examples/chicago_taxi_pipeline/taxi_pipeline_beam.py有一個Beam示例。 正如您正確預期的那樣，那里沒有AirflowDAGRunner，因為此示例未將Airflow用作協調器。

2）氣流示例-由於上述原因，BEAM是必需的依賴項：TFX始終將BEAM用於某些組件中的分布式數據處理。 因此，即使使用Airflow（或任何其他）作為協調器，您也需要BEAM。

3）Flink示例-目前，我在任何地方都找不到此示例（可能是由於自發布以來對鏈接的更改），但是Flink可能被用作跑步者，而Airflow是協調者。 但是，我在Airflow的文檔中找不到Flink的提及。

希望它能在一定程度上有所幫助。