Apache Airflow、Papermill 和自定义内核

Question

我目前正在尝试使用 apache 气流和造纸厂执行 jupyter 笔记本。

为了使用我的自定义环境和自定义用户内核，我正在使用 BashOperator 并以这种格式运行命令

runuser {user} -c 'papermill {input_notebook_path} {output_notebook_path} -k {kernel_name}'

这是尝试执行后 Dag 日志的样子： Dag 日志

我一直无法使用 python 或 papermill 运算符，因为笔记本使用的内核/环境没有全局安装。

有任何想法吗？

Answer 1

看看这个： https ://soopervisor.readthedocs.io/en/latest/tutorials/airflow.html

所以它通过 docker 操作符工作，它为你包装了所有东西，并为你分解了笔记本。 输出是您可以提交给气流的 dag 文件。

Answer 2

解决此问题的方法是编辑气流“Bash Operator”以创建一个目录，而不是为每个 dag 创建自己的目录。

输出笔记本的文件夹也必须是 777