RuntimeError: Split pattern data/* 不匹配任何文件

Question

我目前正在嘗試將TFX-TFRS 教程轉換為 Airflow 管道。 當我使用 LocalDagRunner() 運行此管道時，它執行時不會出錯。 當我使用 AirflowDagRunner() 時，它會引發以下錯誤（通過 Airflow Web-UI 觸發 Airflow 管道）：

RuntimeError: Split pattern data/* 不匹配任何文件。

數據文件夾內有一個 CSV 數據集。
在這兩種情況下，我都使用標准的 CsvExampleGen 組件。

這是數據集的路徑，它被管道攝取：

PIPELINE_NAME = 'TFRS-ranking'

# Directory where MovieLens 100K rating data lives
DATA_ROOT = os.path.join('data', PIPELINE_NAME)

Answer 1

我通過為 Airflow 管道提供數據的絕對路徑而不是相對路徑來解決此問題。