以編程方式檢索AWS Glue動態框架字段名稱和數據類型

Question

PySpark和AWS Glue的新功能。 我需要檢索字段名稱和數據類型以在程序中使用它們。 我可以打印DynamicFrame.schema（）的結果，該結果似乎是一個類似於JSON的結構。 我嘗試了json.loads來查看該結構是否可以轉換為Python字典，所以我可以對其進行迭代，但是遇到了此錯誤-TypeError：期望的字符串或緩沖區--------------- --------------- *

AWS Glue文檔沒有指出schema（）的返回類型。 謝謝。

Answer 1

您可以使用DynamicFrame.schema().field_map獲取所有字段及其類型的字典：

 {'field_map': 
   {'PersonId': Field(PersonId, IntegerType({}), {}),
    'ChangeId': Field(ChangeId, LongType({}), {}),
    'CreateDate': Field(CreateDate, TimestampType({}), {}),)},
 'fields': 
    [Field(PersonId, IntegerType({}), {}),
    Field(ChangeId, LongType({}), {}),
    Field(CreateDate, TimestampType({}), {})],
    'properties'