在 AWS Glue 中解析动态 dataframe 的架构

Question

我在 AWS glue 中有一个动态的 dataframe，它是我使用下面的代码创建的。

val rawDynamicDataFrame = glueContext.getCatalogSource(
    database = rawDBName, 
    tableName = rawTableName, 
    redshiftTmpDir = "", 
    transformationContext = "rawDynamicDataFrame"
).getDynamicFrame()

为了获得上述动态框架的架构，我使用了以下代码：

val x = rawDynamicDataFrame.schema

现在x的类型为com.amazonaws.services.glue.schema.Schema 。 如何解析架构 object？

Answer 1

要检查模式中是否存在字段，请使用containsField(fieldPath) ：

if (rawDynamicDataFrame.schema.containsField("app_name")) {
    // do something
}

Answer 2

也许你可以使用field_names = [field.name for field in self. rawDynamicDataFrame.schema().fields] field_names = [field.name for field in self. rawDynamicDataFrame.schema().fields]以获取字段名称列表。