在數據集中查找結構字段的數據類型

Question

我有一個數據集，它具有以下架構：

ds.schema()
    0 = {StructField@21690} "StructField(col_name_1,NullType,true)"
    1 = {StructField@21691} "StructField(col_name_2,StringType,true)"
    2 = {StructField@21692} "StructField(col_name_3,ArrayType(StructType(StructField(person_name,StringType,true), StructField(person_surname,StringType,true)),true),true)"

我想訪問每個 StructField 的數據類型。 例如if the data type of col_name_1 is NullType print null.

如何構建這個 if 循環？

Answer 1

您可以將其從架構中提取出來：

 for field in df.schema.fields: print(field.name +" , "+str(field.dataType))

Answer 2

這對我來說很好：

ds.schema().apply(ColName).dataType().toString().equals("NullType")