在Airflow的docker內部運行python腳本

Question

我有這段代碼用於在docker內部執行python腳本的氣流：

a02_retrieve_2 = SSHExecuteOperator(
    task_id='a02_retrieve_2',
    ssh_hook=sshHook,
    dag=dag,
    bash_command= 'docker exec myDocker -i bash -c "  /opt/conda/bin/python aretrieve_2.py   --myarg  45  --myarg 35   "  '
)

不幸的是，它不起作用。

但是，不帶參數的版本有效。

a02_retrieve_2 = SSHExecuteOperator(
    task_id='a02_retrieve_2',
    ssh_hook=sshHook,
    dag=dag,
    bash_command= 'docker exec myDocker -i bash -c "  /opt/conda/bin/python aretrieve_2.py  "  '
)

錯誤是：

Python script starts to run but Airflow is unable to catch up the python script parameters...

如何使帶有python腳本參數的版本有效？

這和神社模板有關嗎？ BashOperator不運行bash文件apache氣流

Answer 1

我通過查看bashoperator的源代碼找到了答案：這使用popen

            self.log.info("Running command: %s", bash_command)
            sp = Popen(
                ['bash', fname],
                stdout=PIPE, stderr=STDOUT,
                cwd=tmp_dir, env=self.env,
                preexec_fn=pre_exec)

https://airflow.incubator.apache.org/_modules/bash_operator.html