如何从 Lambda function 检查 EMR 上提交的作业的状态？

Question

将我的用例视为两部分：

第 1 部分（已实施） - 从 Lambda function 'a' 向现有 EMR 执行spark-submit

这是我用来向 EMR 集群提交 Spark 作业的 lambda 代码：

import json
import boto3

def lambda_handler(event, context):
    conn = boto3.client("emr")
    cluster_id = "my-cluster-id"
    
    step_args = ["/usr/bin/spark-submit", "--master", "yarn",
                 "--deploy-mode", "cluster",
                 "--class", "DataQualityPackage.DataQuality",
                 "--jars", "s3://my_bucket/dep1.jar,s3://my_bucket/dep2.jar",
                 "--files", "s3://my_bucket/application.properties",
                 "s3://my_bucket/my_code.jar", 
                 "arg1", "arg2", "arg3"]

    step = {"Name": "testing-1",
            'ActionOnFailure': 'CONTINUE',
            'HadoopJarStep': {
                'Jar': 's3n://elasticmapreduce/libs/script-runner/script-runner.jar',
                'Args': step_args
            }
        }
    action = conn.add_job_flow_steps(JobFlowId=cluster_id, Steps=[step])
    return "Added step: %s"%(action)

这正在按预期运行 spark 作业，并且我在 S3 中像往常一样获取 output 文件。

第 2 部分（想要实施）

现在，在运行 Lambda function 'a' 之后，我想立即运行 lambda ZC1C4268E68385145268E68385D。

这将需要一些 job_ID，并查询作业的状态。 即 - 它应该返回一个字符串，如 - “starting”、“running”、“successful”、“dead”等。

Q1 - 我该怎么做才能从 lambda 'a' 中提取类似 job_ID 的东西？

Q2 - 假设这个 job_ID 现在是 lambda 'b' 中的一个变量。 查询作业并获取其状态的代码是什么？