從pyspark數據框中的結構類型獲取字段值

Question

我必須從csv文件（列名和數據類型）中獲取模式。到目前為止，我已經達到了-

l = [('Alice', 1)]
Person = Row('name', 'age')
rdd = sc.parallelize(l)
person = rdd.map(lambda r: Person(*r))
df2 = spark.createDataFrame(person)
print(df2.schema)
#StructType(List(StructField(name,StringType,true),StructField(age,LongType,true)))

我想提取值name和age以及StringType和LongType但是在結構類型上看不到任何方法。

toDDL有結構類型的toDDL方法，但python無法使用。

這是我已經獲得幫助的上述問題的擴展，但是我想創建一個新線程-將數據框架構加載到元數據表

感謝您的答復，我正在更新完整的代碼-

import pyspark # only run after findspark.init()
from pyspark.sql import SparkSession

spark = SparkSession \
    .builder \
    .appName("Python Spark SQL basic example") \
    .config("spark.sql.catalogImplementation", "in-memory") \
    .getOrCreate()
from pyspark.sql import Row
l = [('Alice', 1)]
Person = Row('name', 'age')
rdd = sc.parallelize(l)
person = rdd.map(lambda r: Person(*r))
df2 = spark.createDataFrame(person)
df3=df2.dtypes
df1=spark.createDataFrame(df3, ['colname', 'datatype'])
df1.show()
df1.createOrReplaceTempView("test")
spark.sql('''select * from test ''').show()

產量

+-------+--------+
|colname|datatype|
+-------+--------+
|   name|  string|
|    age|  bigint|
+-------+--------+

+-------+--------+
|colname|datatype|
+-------+--------+
|   name|  string|
|    age|  bigint|
+-------+--------+

Answer 1

IIUC，您可以遍歷df2.schema.fields的值並獲取name和dataType ：

print([(x.name, x.dataType) for x in df2.schema.fields])
#[('name', StringType), ('age', LongType)]

還有dtypes ：

print(df2.dtypes)
#[('name', 'string'), ('age', 'bigint')]

並且您可能也對printSchema()感興趣：

df2.printSchema()
#root
# |-- name: string (nullable = true)
# |-- age: long (nullable = true)