簡體   English   中英

如何在 Airflow 中安裝包(Pandas)?

[英]How to install packages(Pandas) in Airflow?

Airflow安裝在Linux(Debian)上,最笨的直接按照官方教程-沒有docker等(官方教程: https://airflow.apache.org/docs/apache-airflow/stable/installation/installing -來自-pypi.html

我創建了一個 DAG,它有一個使用 Pandas package 的 Python 運算符。但我收到一個錯誤:

Broken DAG: [/home/airflow/airflow/dags/air_etl.py] Traceback (most recent call last): File "<frozen importlib._bootstrap>", line 228, in _call_with_frames_removed File "/home/airflow/airflow/dags/air_etl.py", line 12, in <module> import pandas as pd ModuleNotFoundError: No module named 'pandas'

我安裝了 pandas 和 pip,它出現在pip 列表中

我在論壇上發現了很多類似的問題( How to install packages in Airflow? , How to install packages in Airflow (docker-compose)? ),但是在docker都是關於這類問題的。在這樣的問題中,是通常建議通過添加必要的庫來重建 docker 圖像。 如果沒有 docker,是否可以在不重新安裝的情況下以某種方式添加庫。

或者也許我根本不了解某些東西。

老實說,我發現了問題。 在一般情況下,pandas 模塊工作正常。 但有時 web 接口 Airflow 顯示此錯誤: 在此處輸入圖像描述

有時它顯示,但有時不顯示。我還沒有弄清楚它是否相關。 現在我將研究這個問題。

老實說,我發現了問題。 在一般情況下,pandas 模塊工作正常。 但有時 web 接口 Airflow 顯示此錯誤:

在此處輸入圖像描述

我的理解是,Airflow 不會拉起庫,也不會重新加載其數據庫 => 為了拉起新安裝的庫,您需要執行“airflow db reset”。 db init - 在這里沒有幫助。

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM