在 google cloud composer 2.0.1 上更新 pypi 包后，airflow 調度程序停止工作

Question

我正在嘗試從 google cloud composer composer-1.16.4-airflow-1.10.15 遷移到 composer-2.0.1-airflow-2.1.4，但是每次我上傳庫時我們都遇到了一些困難，調度程序無法工作。

這是我的要求.txt

flashtext
ftfy
fsspec==2021.11.1
fuzzywuzzy
gcsfs==2021.11.1
gitpython
google-api-core
google-api-python-client
google-cloud
google-cloud-bigquery-storage==1.1.0
google-cloud-storage
grpcio
sklearn
slackclient
tqdm
salesforce-api
pyjwt
google-cloud-secret-manager==1.0.0
pymysql
gspread
fasttext
spacy
click==7.1.2
papermill==2.1.1
tornado>=6.1
jupyter

這是我用來更新庫的代碼：

gcloud composer environments update $AIRFLOW_ENV \                   
    --update-pypi-packages-from-file requirements.txt \
    --location $AIRFLOW_LOCATION

它成功運行，但隨后不再安排 dag 任務，並且調度程序心跳變為已讀取。

我試圖刪除所有庫，並在一段時間后再次安排。 我嘗試僅通過界面添加簡單庫：pandas 或 flashtext 但在更新后，計划再次變為紅色並且任務保持未計划狀態。

我在日志界面找不到任何錯誤日志。 您是否知道我如何查看有關這些錯誤的一些日志，或者您是否知道為什么這些庫使我的 env 失敗？

謝謝

Answer 1

我們已經知道發生了什么。 根本原因是工人的表現。 為了正常工作，composer 希望掃描 dags 占用的 CPU 資源少於 15%。 如果超過此限制，則無法安排或更新 dag。 我們剛剛采用了更大的工人並且效果很好