我可以将 Papermill 和 Scrapbook 与 AWS EMR Notebooks 一起使用吗？

Question

我有几个笔记本，由使用造纸厂的“驱动程序”笔记本运行。 这些笔记本使用剪贴簿库向驱动程序传达信息。 然后驱动程序将此信息作为参数传递给其他笔记本。 我想使用 EMR Notebooks 来优化这个“笔记本管道”的执行效率。 AWS EMR Notebooks 是否支持剪贴簿和造纸厂，还是我需要重构我的笔记本？

Answer 1

截至目前，没有。 你不能直接这样做。 您可以做的（我们正在做的）如下：

1. 使用hadoop用户在 EMR 主节点上创建 python 环境
2. 在您的环境中安装sparkmagic并按照 sparkmagic 的 README.md 文件中的描述配置所有内核
3. 将您的笔记本复制到主节点/直接从 s3 位置使用它

4. 安装 papermill 并使用 papermill 运行：

   造纸厂 s3://path/to/notebook/input.ipynb s3://path/to/notebook/output.ipynb -p param=1