如何從 Kedro 獲取復雜的 MongoDB 數據？

Question

我正在嘗試接觸 Kedro，但不了解如何構建我的 Data Fetcher（我以前使用過）。

我的數據存儲在多個“表”上的 MongoDB 實例中。 一張表是我的用戶名。 首先，我想獲取它們。 此后，根據我得到的用戶名，我想從三個“表”中獲取數據並將它們合並。

我應該如何在 Kedro 中做到最好？

我應該把所有東西都放在自定義數據集中嗎？ 僅獲取用戶名並在管道的一部分中執行 rest？

Answer 1

所以這是一個有趣的 - Kedro 的設計方式是任務不知道提供/保存數據所需的 IO。 這（出於充分的理由）要求您跨越此邊界。

我的建議是 go 向下自定義數據集，但可能 go 更遠一點，並使其直接返回您需要的 3 個表。 即在此階段也執行用戶名過濾邏輯。

如果您不打算這樣做，也可以在save()上引發NotImplementedError 。