如何在Airflow Scheduler中解决DB连接无效警告？
[英]How to resolve DB connection invalidated warning in Airflow Scheduler?
问题描述
我正在将我的Airflow实例从1.9升级到1.10.3，并且每当调度程序现在运行时，我都会收到一条警告，指出数据库连接已失效，并且它正在尝试重新连接。 一堆这些错误连续出现。 控制台还指示正在安排任务，但如果我检查数据库，则不会写入任何内容。
以下警告显示之前没有的位置
[2019-05-21 17:29:26,017] {sqlalchemy.py:81} WARNING - DB connection invalidated. Reconnecting...
最终，我也会得到这个错误
FATAL: remaining connection slots are reserved for non-replication superuser connections
我试图在airflow.cfg增加SQL Alchemy池大小设置但是没有效果
# The SqlAlchemy pool size is the maximum number of database connections in the pool.
sql_alchemy_pool_size = 10
我正在使用CeleryExecutor，我想也许工人数量正在超载数据库连接。
我运行三个命令， airflow webserver ， airflow scheduler和airflow worker ，因此应该只有一个工作人员，我不明白为什么会使数据库超载。
如何解决数据库连接错误？ 是否有设置来增加数据库连接的数量，如果是这样的话呢？ 我需要以不同的方式处理工人吗？
更新：
即使没有工作人员正在运行，启动Web服务器和调度程序，当调度程序填满气流池时，DB连接警告也会开始出现。
更新2：
我在Airflow Jira中发现了以下问题： https ： //issues.apache.org/jira/browse/AIRFLOW-4567
有些活动与其他人说他们看到同样的问题。 目前还不清楚这是否会直接导致某些人看到的崩溃，或者这只是一个烦人的化妆品日志。 到目前为止，还没有解决这个问题的方法。
1 个解决方案
解决方案1
1 已采纳 2019-08-16 16:55:21
约会调度程序的数据库设计
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.