Kedro：如何將目錄中的多個相同數據作為節點輸入傳遞？

Question

我有一個目錄，其中包含相同數據格式的多個文件（每天 1 個文件）。 這就像一個數據拆分成多個文件。

是否可以在不指定每個文件的情況下將所有文件傳遞給 Kedro 節點？ 那么它們都根據跑步者順序或並行處理？

Answer 1

1. 如果文件數量很小且固定，您可以考慮手動為每個文件創建這些預處理管道。
2. 如果文件的數量很大/動態，您可以以編程方式為每個文件創建管道定義，然后將它們全部添加在一起。 同樣可能適用於所需數據集的編程創建。
3. 另一種選擇是在第一個節點中讀取所有文件一次，將它們全部連接到一個數據集中，並使所有連續的 preproc 節點使用該數據集（或其派生數據）作為輸入