如何从 Kedro 获取复杂的 MongoDB 数据？

Question

我正在尝试接触 Kedro，但不了解如何构建我的 Data Fetcher（我以前使用过）。

我的数据存储在多个“表”上的 MongoDB 实例中。 一张表是我的用户名。 首先，我想获取它们。 此后，根据我得到的用户名，我想从三个“表”中获取数据并将它们合并。

我应该如何在 Kedro 中做到最好？

我应该把所有东西都放在自定义数据集中吗？ 仅获取用户名并在管道的一部分中执行 rest？

Answer 1

所以这是一个有趣的 - Kedro 的设计方式是任务不知道提供/保存数据所需的 IO。 这（出于充分的理由）要求您跨越此边界。

我的建议是 go 向下自定义数据集，但可能 go 更远一点，并使其直接返回您需要的 3 个表。 即在此阶段也执行用户名过滤逻辑。

如果您不打算这样做，也可以在save()上引发NotImplementedError 。