繁体   English   中英

如何在 Airflow 中安装包(Pandas)?

[英]How to install packages(Pandas) in Airflow?

Airflow安装在Linux(Debian)上,最笨的直接按照官方教程-没有docker等(官方教程: https://airflow.apache.org/docs/apache-airflow/stable/installation/installing -来自-pypi.html

我创建了一个 DAG,它有一个使用 Pandas package 的 Python 运算符。但我收到一个错误:

Broken DAG: [/home/airflow/airflow/dags/air_etl.py] Traceback (most recent call last): File "<frozen importlib._bootstrap>", line 228, in _call_with_frames_removed File "/home/airflow/airflow/dags/air_etl.py", line 12, in <module> import pandas as pd ModuleNotFoundError: No module named 'pandas'

我安装了 pandas 和 pip,它出现在pip 列表中

我在论坛上发现了很多类似的问题( How to install packages in Airflow? , How to install packages in Airflow (docker-compose)? ),但是在docker都是关于这类问题的。在这样的问题中,是通常建议通过添加必要的库来重建 docker 图像。 如果没有 docker,是否可以在不重新安装的情况下以某种方式添加库。

或者也许我根本不了解某些东西。

老实说,我发现了问题。 在一般情况下,pandas 模块工作正常。 但有时 web 接口 Airflow 显示此错误: 在此处输入图像描述

有时它显示,但有时不显示。我还没有弄清楚它是否相关。 现在我将研究这个问题。

老实说,我发现了问题。 在一般情况下,pandas 模块工作正常。 但有时 web 接口 Airflow 显示此错误:

在此处输入图像描述

我的理解是,Airflow 不会拉起库,也不会重新加载其数据库 => 为了拉起新安装的库,您需要执行“airflow db reset”。 db init - 在这里没有帮助。

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM