AWS Glue 通过 Boto3 传递参数导致异常

Question

对于我的生活，我无法弄清楚这里发生了什么。

我正在通过 Boto3 开始胶水作业（来自 Lambda，但在本地测试会给出完全相同的问题），当我通过“开始作业运行”api 传递参数时，我得到了同样的错误，但查看日志参数看起来都是正确的. 这是 output （我已经更改了存储桶的一些名称等）

胶水代码（示例）：

def main():
    args = getResolvedOptions(sys.argv, [
        'JOB_NAME',
        's3_bucket',
        's3_temp_prefix',
        's3_schema_prefix',
        's3_processed_prefix',
        'ingestion_run_id'
    ]
                              )

    sc = SparkContext()
    glueContext = GlueContext(sc)
    logger = glueContext.get_logger()
    job = Job(glueContext)
    job.init(args['JOB_NAME'], args)

    s3_client = boto3.client('s3')
    s3_bucket = args['s3_bucket']
    temp_prefix = args['s3_temp_prefix']
    schema_prefix = args['s3_schema_prefix']
    processed_prefix = args['s3_processed_prefix']
    ingestion_run_id = args['ingestion_run_id']

    logger.info(f's3_bucket: {s3_bucket}')
    logger.info(f'temp_prefix {temp_prefix}')
    logger.info(f'schema_prefix: {schema_prefix}')
    logger.info(f'processed_prefix: {processed_prefix}')
    logger.info(f'ingestion_run_id: {ingestion_run_id}')

制作胶水作业的 SAM 模板：

  CreateDataset:
    Type: AWS::Glue::Job
    Properties:
      Command:
        Name: glueetl
        PythonVersion: 3
        ScriptLocation: !Sub "s3://bucket-name/GLUE/create_dataset.py"
      DefaultArguments:
        "--extra-py-files": "s3://bucket-name/GLUE/S3GetKeys.py"
        "--enable-continuous-cloudwatch-log": ""
        "--enable-metrics": ""
      GlueVersion: 2.0
      MaxRetries: 0
      Role: !GetAtt GlueRole.Arn
      Timeout: 360
      WorkerType: Standard
      NumberOfWorkers: 15

尝试启动 Glue 作业的代码：

import boto3

session = boto3.session.Session(profile_name='glue_admin', region_name=region)
client = session.client('glue')

name = 'CreateDataset-1uPuNfIw1Tjd'

args = {
    "--s3_bucket": 'bucket-name',
    "--s3_temp_prefix": 'TEMP',
    "--s3_schema_prefix": 'SCHEMA',
    "--s3_processed_prefix": 'PROCESSED',
    "--ingestion_run_id": 'FakeRun'
}

client.start_job_run(JobName=name, Arguments=args)

这开始了工作，然后脚本错误，这是留下的日志，从我所见，参数似乎排列得很好？

Wed Feb 10 09:16:00 UTC 2021/usr/bin/java -cp /opt/amazon/conf:/opt/amazon/lib/hadoop-lzo/*:/opt/amazon/lib/emrfs-lib/*:/opt/amazon/spark/jars/*:/opt/amazon/superjar/*:/opt/amazon/lib/*:/opt/amazon/Scala2.11/* com.amazonaws.services.glue.PrepareLaunch --conf spark.dynamicAllocation.enabled=true --conf spark.shuffle.service.enabled=true --conf spark.dynamicAllocation.minExecutors=1 --conf spark.dynamicAllocation.maxExecutors=29 --conf spark.executor.memory=5g --conf spark.executor.cores=4 --conf spark.driver.memory=5g --JOB_ID j_76c49a0d580594d5c0f584458cc0c9d519 --enable-metrics --extra-py-files s3://bucket-name/GLUE/S3GetKeys.py --JOB_RUN_ID jr_c0b9049abf1ee1161de189a901dd4be05694c1c42863 --s3_schema_prefix SCHEMA --enable-continuous-cloudwatch-log --s3_bucket bucket-name --scriptLocation s3://bucket-name/GLUE/create_dataset.py --s3_temp_prefix TEMP --ingestion_run_id FakeRun --s3_processed_prefix PROCESSED --JOB_NAME CreateDataset-1uPuNfIw1Tjd

此帖子的存储桶名称已更改，但完全匹配。

Glue JOb 日志中的故障点：

java.lang.IllegalArgumentException: For input string: "--s3_bucket"

存储桶名称没有非法字符，但里面有“-”？

提前感谢您的帮助。

Answer 1

发生这种情况是因为--enable-continuous-cloudwatch-log参数需要一个值，并且由于您没有提供值，因此参数解析器假定下一个参数是它的值（ --enable-continuous-cloudwatch-log --s3_bucket ），在这种情况下是--s3_bucket ，现在--s3_bucket是--enable-continuous-cloudwatch-log选项的无效值，因此会发生该错误。