如何从现有 dataframe 中的列之一创建火花 dataframe

Question

要求：

我想从一列（现有的 dataframe ）中创建一个 dataframe 。 该列值是多个 json 列表。

问题：

由于 json 没有固定的架构，我无法使用from_json function，因为它在解析列之前需要架构。

例子

| Column A |           Column B             | 
|   1      | [{"id":"123","phone":"124"}]   |
|   3      | [{"id":"456","phone":"741"}]   |

预计 output：

|  id   | phone| 
|  123  | 124  |
|  456  | 741  |

对此有什么想法吗？

Answer 1

尝试使用 Spark SQL 分解“Column B”数组

from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, IntegerType, StringType, ArrayType


spark = SparkSession.builder.appName("Test_app").getOrCreate()

input_data = [
    (1, [{"id":"123","phone":"124"}]),
    (3, [{"id":"456","phone":"741"}])
]

schema = StructType([
    StructField("Column A", IntegerType(), True),
    StructField("Column B", ArrayType(StructType([
        StructField("id", StringType(), True),
        StructField("phone", StringType(), True)
    ])), True)
])

df = spark.createDataFrame(input_data, schema)

df_exploded = df.selectExpr("Column A", "explode(Column B) as e") \
                .select("e.id", "e.phone")

df_exploded.show()

Output在下方；

+---+-----+
| id|phone|
+---+-----+
|123|  124|
|456|  741|
+---+-----+

Answer 2

将其转换为 rdd，然后将其读取为 json。为了测试，我删除了第二行中的 id 元素。

input_data = [
    (1, [{"id":"123","phone":"124"}]),
    (3, [{"phone":"741"}])
]
df = spark.createDataFrame(input_data, ["ColA","ColB"])
spark.read.json(df.rdd.map(lambda r: r.ColB)).show()

+----+-----+
|  id|phone|
+----+-----+
| 123|  124|
|null|  741|
+----+-----+