在 DAG 中使用 boto3 時，Apache airflow 無法找到 AWS 憑證

Question

在 ECS Fargate 上運行 Airflow 的實例。 問題是我無法運行代碼來調用 DAG 中的現有 Glue 作業。 下面是 DAG 腳本。

import boto3
import os
import logging
import time
import sys
import botocore
from datetime import datetime, timedelta
from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from airflow.operators.bash_operator import BashOperator
from airflow.providers.amazon.aws.sensors.s3_key import S3KeySensor

default_args = {
    'owner': 'test',
    'start_date': datetime(2021, 1, 4),
    'depends_on_past': False,
    'provide_context': True
}

dag = DAG('run_glue_job',
          description='Executes Glue job.',
          schedule_interval=None,
          catchup=False,
          default_args=default_args)

def task_1(**kwargs):
    print('recieved trigger')

    glue = boto3.client('glue', 'us-east-1')
    response = glue.start_job_run(JobName='airflow-dev-job')
    print(response['JobRunId'])

    return response['JobRunId']

def task_2(**kwargs):
    print('send email message')

    return 'passed' 

t1 = PythonOperator(
    task_id = 'execute_glue_job',
    dag = dag,
    python_callable = task_2
)

t2 = PythonOperator(
    task_id = 'send_email_notification',
    dag = dag,
    python_callable = task_3
)

t1 >> t2

我正在返回憑據錯誤。

File "/usr/local/airflow/.local/lib/python3.7/site-packages/botocore/auth.py", line 357, in add_auth
    raise NoCredentialsError
botocore.exceptions.NoCredentialsError: Unable to locate credentials

我嘗試在連接下的 aws_default 中設置 task_role_arn； 但是，我仍然無法解決這個問題。

Answer 1

我能夠通過在 ECS 的任務定義中添加正確的任務角色來解決問題。

確保分配的任務角色為您嘗試通過 Airflow 訪問/運行的服務附加了所有策略。