Apache Airflow - dags 文件夹中更多的 DAG 文件会降低性能
[英]Apache Airflow - More number of DAG file in the dags folder deteriorates the performance
问题描述
We are using Local Executor in Airflow for scheduling jobs.
我们在 Airflow 中使用本地执行器来调度作业。 when number of Dags file increased we are facing slowness in the dag run, task inside the Dag picking very slowly to process.当 Dags 文件的数量增加时，我们面临着 dag 运行速度缓慢，Dag 内的任务处理速度非常慢。
currently we are keep around 30 dag file.目前我们保留了大约 30 个 dag 文件。 each dag will have maximum of 2 to 4 task.每个 dag 最多有 2 到 4 个任务。
we tried with less number of dag, i could see its running fast.我们尝试使用更少的 dag，我可以看到它运行得很快。
is there any limitation on number of dag which we can use in airflow?我们可以在 airflow 中使用的 dag 数量是否有任何限制？
Please suggest me how to solve this problem.请建议我如何解决这个问题。
We are using Airflow 1.10.9.我们正在使用 Airflow 1.10.9。
1 个解决方案
解决方案1
0 2020-10-13 05:21:44
Increase the resources in your Airflow installation, more CPU, more memory.增加 Airflow 安装中的资源，更多 CPU，更多 memory。
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.