在 AWS Glue 中解析動態 dataframe 的架構

Question

我在 AWS glue 中有一個動態的 dataframe，它是我使用下面的代碼創建的。

val rawDynamicDataFrame = glueContext.getCatalogSource(
    database = rawDBName, 
    tableName = rawTableName, 
    redshiftTmpDir = "", 
    transformationContext = "rawDynamicDataFrame"
).getDynamicFrame()

為了獲得上述動態框架的架構，我使用了以下代碼：

val x = rawDynamicDataFrame.schema

現在x的類型為com.amazonaws.services.glue.schema.Schema 。 如何解析架構 object？

Answer 1

要檢查模式中是否存在字段，請使用containsField(fieldPath) ：

if (rawDynamicDataFrame.schema.containsField("app_name")) {
    // do something
}

Answer 2

也許你可以使用field_names = [field.name for field in self. rawDynamicDataFrame.schema().fields] field_names = [field.name for field in self. rawDynamicDataFrame.schema().fields]以獲取字段名稱列表。