Airflow 中從一台服務器到另一台服務器的文件傳輸

Question

我在 server1 中存在一個文件（file.txt），路徑中的用戶 ID 為“username1”（/home/A/file1.txt），並希望將此文件傳輸到其他服務器“server2”，用戶 ID 為“username2”和要將文件放在路徑（/home/B/）中。 我寫了下面的代碼，但它沒有按預期工作。 我在哪里 go 錯了？

import airflow
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from datetime import datetime, timedelta
from airflow.contrib.operators.ssh_operator import SSHOperator
from airflow.contrib.hooks.ssh_hook import SSHHook
from airflow.contrib.sensors.sftp_sensor import SFTPSensor

default_args = {
         'owner': 'john',
         'depends_on_past': False,
         'email': [''],
         'email_on_failure': False,
         'email_on_retry': False,
         'retries': 0,
         'retry_delay': timedelta(minutes=5)
       }

  dag = DAG(
    'file transfer',
    default_args = default_args,
    description='A file transfer',
    schedule_interval=None)

 bash_file_transfer = """
  cp server1@username1:/home/A/file1.txt server2@username2:/home/B/  
  """

t1 = SSHOperator(
        ssh_conn_id='server1_conn'
        task_id='connected_to_server1'
        dag=dag
        )

t2 = SFTPOperator(
        sftp_conn_id='server2_conn'
        task_id='transfer file from server1 to server2'
        command=bash_file_transfer,
        dag=dag
        )

t1 >> t2

Answer 1

我認為您的錯誤在於bash_file_transfer聲明。 應該是scp ，而不是cp 。