从另一个Jupyter笔记本中有选择地导入

Question

我将我的Jupyter笔记本安排到： data.ipynb ， methods.ipynb和results.ipynb 。 如何有选择地从数据和方法笔记本中导入单元格以便在结果笔记本中使用？

我知道nbimporter和ipynb但这些都没有提供选择性的变量导入。 有一个选项可以导入定义 - 包括大写的变量 - 但这对我不起作用，因为我必须将笔记本中的大多数变量转换为大写。

我宁愿导入除了需要很长时间才能评估的两个或三个单元格之外的所有内容。 理想情况下，我想将一些任务的执行推迟到我访问它们的那一刻（懒惰评估） - 但我知道它可能很难实现。

这是概述，在伪代码中（每行重复一个单元格）：

data.ipynb ：

raw_data = load_data()
dataset = munge(raw_data)
describe(dataset)             # I want this line to be skipped at import

methods.ipynb ：

import data
method = lambda x: x * x
# showcase how the method works on a subset of the dataset
method(data.dataset[:5])      # I want this line to be skipped at import

results.ipynb ：

import data
import methods
result = methods.method(data.dataset)
describe(result)

动机是我的真实数据和方法笔记本：

• 更长，更复杂，因此我想使用导入系统
• 只有几个单元需要花费超过几秒的时间来评估

另外， 方法笔记本不能用methods.py文件替换。 实际上，我有这样一个文件，其中包含我的方法的实现细节。 笔记本更适合指定默认参数，展示我的方法如何工作并解释示例结果。

这个问题基本上是一个组合：

• 如何从另一个ipython-notebook导入？ ，和
• 在运行期间选择在ipython笔记本中运行哪些单元格的简单方法

我读了两个答案，没有人满足我的要求。

在下面的答案中，我提出了使用自定义单元格魔法和猴子修补的解决方案。 但是，我更喜欢一种解决方案，它允许指定哪些单元格/表达式不包含/不包含在原始笔记本中（例如data.ipynb ），而是指定在目标笔记本中（例如在methods.ipynb ）。

例如，它可以使用正则表达式：

# all variables starting with 'result' would be ignored
nbimporter.options['exclude'] = '^result.*'

或者（甚至更好）懒惰的评价：

# only `a` and `b` would be evaluated and imported
from data import a, b

所有的想法将不胜感激！

Answer 1

到目前为止，我一直在修补nbimporter并使用细胞魔法选择要排除的细胞：

from IPython.core import magic

@magic.register_cell_magic
def skip_on_import(args, cell):
    get_ipython().ex(cell)

用于猴子补丁的细胞去除剂的代码：

import ast

class SkippingTransformer(ast.NodeTransformer):
    # usage:
    # import nbimporter 
    # nbimporter.CellDeleter = SkippingTransformer

    def visit(self, node):
        if (
            isinstance(node, ast.Expr)
            and isinstance(node.value, ast.Call)
            and isinstance(node.value.func, ast.Attribute)
            and node.value.func.attr == 'run_cell_magic'
            and node.value.args[0].s == 'skip_on_import'
        ):
            return
        return node

一个实际的例子， data.ipynb ：

而methods.ipynb （最后的例外意图 - 它意味着成功！）：

编辑 ：我不久前发布了上面的代码作为jupyter-helpers的一部分。 使用此软件包只需在导入笔记本中导入导入程序：

from jupyter_helpers.selective_import import notebooks_importer 

并且可以在导入的笔记本中导入cell-magic：

from jupyter_helpers.selective_import import skip_on_import

以下是导入笔记本的示例： Data.ipynb和示例导入笔记本： Results.ipynb