如何在Airflow Scheduler中解決DB連接無效警告？
[英]How to resolve DB connection invalidated warning in Airflow Scheduler?
問題描述
我正在將我的Airflow實例從1.9升級到1.10.3，並且每當調度程序現在運行時，我都會收到一條警告，指出數據庫連接已失效，並且它正在嘗試重新連接。 一堆這些錯誤連續出現。 控制台還指示正在安排任務，但如果我檢查數據庫，則不會寫入任何內容。
以下警告顯示之前沒有的位置
[2019-05-21 17:29:26,017] {sqlalchemy.py:81} WARNING - DB connection invalidated. Reconnecting...
最終，我也會得到這個錯誤
FATAL: remaining connection slots are reserved for non-replication superuser connections
我試圖在airflow.cfg增加SQL Alchemy池大小設置但是沒有效果
# The SqlAlchemy pool size is the maximum number of database connections in the pool.
sql_alchemy_pool_size = 10
我正在使用CeleryExecutor，我想也許工人數量正在超載數據庫連接。
我運行三個命令， airflow webserver ， airflow scheduler和airflow worker ，因此應該只有一個工作人員，我不明白為什么會使數據庫超載。
如何解決數據庫連接錯誤？ 是否有設置來增加數據庫連接的數量，如果是這樣的話呢？ 我需要以不同的方式處理工人嗎？
更新：
即使沒有工作人員正在運行，啟動Web服務器和調度程序，當調度程序填滿氣流池時，DB連接警告也會開始出現。
更新2：
我在Airflow Jira中發現了以下問題： https ： //issues.apache.org/jira/browse/AIRFLOW-4567
有些活動與其他人說他們看到同樣的問題。 目前還不清楚這是否會直接導致某些人看到的崩潰，或者這只是一個煩人的化妝品日志。 到目前為止，還沒有解決這個問題的方法。
1 個解決方案
解決方案1
1 已采納 2019-08-16 16:55:21
約會調度程序的數據庫設計
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.