Python virtualEnv 和 airflow bash 运算符

Question

我面临一个奇怪的问题。

我已经部署了一个完整的 Airflow 设置，但是我在使用 BashOperator 运行 python 脚本时遇到了问题

我的 dag 看起来像这样：

 from datetime import datetime
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
import pendulum


dag = DAG('ext_pipeline_import', description='Pipeline d''import des données extranet ', schedule_interval='00 04 * * *', start_date=pendulum.datetime(year=2020, month=3, day=20,tzinfo='Europe/Paris'),catchup=False)


t2 = BashOperator(
    task_id='t2',
    bash_command="customPython /data/airflow/dags/project/pyhton_src/myscript.py ",
    dag=dag
)



t2 

并且它会在 customPython 中的模块上导入失败。

如果我直接在终端中运行customPython /data/airflow/dags/project/pyhton_src/myscript.py就像一个魅力。 知道发生了什么吗？ customPython 指的是一个工作 python virtualenv

Answer 1

PYTHONPATH 是正确的问题。

在运行我的 python 之前，我必须导出正确的路径。