如何使用 Boto3 库在 AWS Glue 中创建工作流程？

Question

我在使用包含所有编排的 Boto3 库在 AWS Glue 中创建 ETL 工作流时遇到问题。 我创建了所有作业和触发器，但是当我使用glue.create_workflow(Name="Test)命令时，无法包含编排。

我尝试使用此参数

DefaultRunProperties={
        'string': 'string'
    }

和：

'--extra-files': 'file' #就像你在作业中使用外部库一样

'Graph': {'Nodes': [], 'Edges': []}} #Graph output 使用glue.get_workflow('Test')

这可能吗，或者您只能使用 AWS 控制台执行此操作？

Answer 1

我有同样的问题，没有直接从 Boto3 模块找到任何解决方案。

但是，我发现了 AWS Glue Blueprint，它允许您从模板创建工作流，因此可以使用一些输入参数轻松复制它们。 然后可以通过为 Boto3 提供正确的输入来启动此蓝图。

关于此主题的官方 AWS 文档及其教程目录： https://docs.aws.amazon.com/glue/latest/dg/orchestrate-using-workflows.html https://github.com/awslabs/aws-glue -蓝图库

希望这会帮助你