如何在 Databricks 中运行笔记本列表

Question

我想 %run 来自另一个 Databricks 笔记本的笔记本列表。

my_notebooks = ["./setup", "./do_the_main_thing", "./check_results"]
for notebook in my_notebooks:
   %run notebook

这当然行不通。
我不想使用dbutils.notebook.run()因为这会创建新的作业并且不会返回任何东西 - 我希望主笔记本中的所有内容都是可执行和可查询的。

我想也许可以导入实际的模块并运行 function。

?%run显示命令指向 IPython/core/magics/execution.py 并且run是模块execution中 class ExecutionMagics的一个方法。 所以也许，如果我创建了 class 的实例，我可以使用execution.ExecutionMagic.run() 。

但这超出了我的范围 - 棘手而且我怀疑它是否是一个有效的解决方案。

如何才能做到这一点？

我真的坚持：-
%run./a notebook

%run./another_notebook

%run./yet_another_hardcoded_notebook_name

永远感谢任何帮助！

Answer 1

不幸的是，这是不可能的 - %run不允许将笔记本名称作为变量传递（有关更多详细信息和可能的解决方法，请参阅此答案）。

另一种方法是在 repos 功能中使用所谓的任意文件- 如果您将代码定义为 Python 文件而不是笔记本，那么您将能够将其用作正常的 Python 模块，甚至可以在需要时动态加载它。