如果我們有 airflow 用於編排，為什么我們需要 TFX

Question

我仍然不明白為什么我們需要 TFX。 TFX 會將您定義的管道轉換為 Airflow DAG 並在 airflow 上運行它，我可以在 python 中編寫我的管道並直接使用 Airflow 的 PythonOperator 來構建管道嗎？ 為什么還要在上面學習另一個包裝器？ TFX 還提供了哪些僅使用氣流+TF+Spark/Beam 無法完成的功能

Answer 1

我可以在 python 中編寫我的管道並使用 Airflow 的 PythonOperator 直接構建管道，對嗎？

你可以！ 當然，這取決於您如何定義管道。

這是 TFX 的定義，來自它的指南：

“ TFX 是一個基於 TensorFlow 的 Google 生產規模機器學習 (ML) 平台。它提供了一個配置框架和共享庫來集成定義、啟動和監控機器學習系統所需的通用組件。 ”

並制作一個生產機器學習系統

根據Tensorflow 工程師的說法。

因此，如果您可以定義一個能夠涵蓋 Airflow DAG 中所有這些步驟的整個系統，那么您肯定不需要 TFX。

---

PS：

它歸結為您要解決的問題。 這里有一些問題需要思考。

• 你手頭有需要的數據嗎，有價值嗎？

• 在將其提供給 model 之前是否需要對其進行調整？

• 您應該使用哪個 model？

• 您是否要在獲得新數據時重新訓練 model？ 如果是這樣，這個過程的周期應該是多少？

• 當您進行推理或為您的 model 提供服務時，您將如何使用預測結果？

• 您評估服務成功的門檻是多少？ 您應該使用哪些指標？

要了解更多信息，您可以在此處查看。