Jupyter 笔记本作为 Kedro 节点

Question

如何使用 Jupyter Notebook 作为 Kedro 管道中的节点？ 这与将函数从 Jupyter Notebooks 转换为 Kedro 节点不同。 我想要做的是使用完整的笔记本作为节点。

Answer 1

尽管这在技术上是可行的（例如，通过nbconvert ），但由于多种原因，包括笔记本缺乏可测试性和可重复性等，强烈建议不要这样做。

最佳实践通常是保持您的管道节点功能纯（如果适用），这意味着它们不会产生任何副作用。 笔记本的工作方式通常与该原则相矛盾。

Answer 2

AFAIK Kedro 不支持这一点，但Ploomber支持（免责声明：我是作者）。 任务可以是笔记本、脚本、函数或它们的任意组合。 您可以在本地、Airflow 或 Kubernetes（使用 Argo 工作流）运行。

如果使用笔记本或脚本作为管道任务，Ploomber 会在您运行管道时创建一个副本。 例如，您可以创建函数来预处理数据并添加在笔记本中训练模型的最终任务，这样您就可以利用 ipynb 格式为模型训练过程生成报告。

这是管道声明的样子：

tasks:
  - source: notebook.ipynb
    product:
      nb: output.html
      data: output.csv

  - source: another.ipynb
    product:
      nb: another.html
      data: another.csv

资源：

• 存储库
• 导出到气流
• 导出到 Kubernetes
• 示例管道