在另一个 df 的架构定义中使用 df 的架构？

Question

我有一个带有这样架构的 spark df：

print(df.schema)

StructType(List(StructField(column_info,ArrayType(StructType(List(StructField(column_datatype,StringType,true),StructField(column_description,StringType,true),StructField(column_length,StringType,true),StructField(column_name,StringType,true),StructField(column_personally_identifiable_information,StringType,true),StructField(column_precision,StringType,true),StructField(column_primary_key,StringType,true),StructField(column_scale,StringType,true),StructField(column_security_classifications,ArrayType(StringType,true),true),StructField(column_sequence_number,StringType,true))),true),true),StructField(file_code_page,StringType,true),StructField(file_delimiter,StringType,true),StructField(file_description,StringType,true),StructField(file_end_of_line_char,StringType,true),StructField(file_extension,StringType,true),StructField(file_footer_rows,StringType,true),StructField(file_header_rows,StringType,true),StructField(file_name,StringType,true),StructField(logs_id,StringType,true),StructField(metadata_version,StringType,true),StructField(oar_id,StringType,true),StructField(schema_version,StringType,true)))

我想在另一个 df 中使用这个模式。 为此，我手动调整以具有以下格式：

mdata_schema = StructType([\
                                  StructField('column_info',ArrayType(StructType([\
                                                                                    StructField('column_datatype',StringType(),True),\
                                                                                    StructField('column_description',StringType(),True),\
                                                                                    StructField('column_length',StringType(),True),\
                                                                                    StructField('column_name',StringType(),True),\
                                                                                    StructField('column_personally_identifiable_information',StringType(),True),\
                                                                                    StructField('column_precision',StringType(),True),\
                                                                                    StructField('column_primary_key',StringType(),True),\
                                                                                    StructField('column_scale',StringType(),True),\
                                                                                    StructField('column_security_classifications',ArrayType(StringType(),True),True),\
                                                                                    StructField('column_sequence_number',StringType(),True)]),True),True),\
                                  StructField('file_code_page',StringType(),True),\
                                  StructField('file_delimiter',StringType(),True),\
                                  StructField('file_description',StringType(),True),\
                                  StructField('file_end_of_line_char',StringType(),True),\
                                  StructField('file_extension',StringType(),True),\
                                  StructField('file_footer_rows',StringType(),True),\
                                  StructField('file_header_rows',StringType(),True),\
                                  StructField('file_name',StringType(),True),\
                                  StructField('logs_id',StringType(),True),\
                                  StructField('metadata_version',StringType(),True),\
                                  StructField('oar_id',StringType(),True),\
                                  StructField('schema_version',StringType(),True)\
                             ])

有没有办法避免这种手动调整？ 是否有一种内置方法可以提取模式，以便我可以在另一个 df 中自动使用它？

Answer 1

正如其他人所说，如果您可以在笔记本中访问该数据框，那么您可以读取结构类型中的 df.schema.fields 并将其用作架构，否则您可以使用以下函数为第一个数据框生成字符串并将输出字符串用作第二个数据框的架构

k=[]
for f in df.schema.fields:
  x=StructField('"'+f.name+'"',f.dataType,f.nullable)
  k.append(x)
print("StructType("+str(k).replace(",true","(),True").replace(",false","(),False")+")")