aws胶水触发作业

Question

我已经修改了Glue生成的脚本，该脚本用于数据的转换和操作。 我想通过触发出现在目录中的每个新表上来运行同一作业，但不手动更改作业脚本中的表名。 简而言之，如何在脚本中对出现在数据目录中的每个新表上执行相同的转换，而不必每次都手动更改表名？

谢谢

Answer 1

您可以使用Catalog Client动态获取数据库中的表列表。 我不知道如何在pyspark中获取目录客户端，但是在scala中，它看起来像这样

val catalog = glueContext.getCatalogClient

for (table <- catalog.listTables("myDatabaseName", "").getTableList.asScala) {
    // do your transformation
}