在 docker 上运行 airflow 时如何解决“设备上没有剩余空间”错误

Question

我在 docker 上运行 Airflow，调度程序容器在一段时间后停止运行并出现以下错误

Error response from daemon: Cannot restart container airflow-scheduler_1: mkdir /var/snap/docker/common/var-lib-docker/overlay2/3355a6abc0c5f0bde0eba9026fd04a9d627562d6c6f069c4a564c5fe7738721f/merged: no space left on device

我用过了

docker system prune --volumes

但这在容器再次停止运行并显示相同错误之前的短时间内有效。

我错过了什么？

Answer 1

你有几个选择：

1. 增加docker实例本身的空间
2. 有一个重复的脚本或作业来修剪卷
3. Map docker 实例中的 DAG 或日志文件夹到非 docker 挂载点

第三个选项是我们所做的，我们所有的日志和代码文件都保存在 docker 实例之外，因此它们不会被不必要地填满。

我们发现日志有时会非常冗长，因此您可能还想查看过滤日志或添加日志生命周期。