我如何为PySpark数据框创建一条线形图？

Question

我有一个包含三列的数据框，我正在尝试使用Seaborn库绘制线图，但它抛出一个错误，提示'DataFrame' object has no attribute 'get' 。 这是我的测试数据框

Age variable    value
31  Overall 69.76751118
31  Potential   69.76751118
31  Growth  0
34  Overall 68.91176471
34  Potential   68.91176471
34  Growth  0
28  Overall 69.05803996
28  Potential   69.05803996
28  Growth  0.24643197

这是我在读取csv文件后尝试使用seaborn线图进行的操作

test = spark.read.csv("test.csv", inferSchema=True, header=True)
sns.lineplot(x = "Age", y = "value", hue = "variable", data = test)

我得到的错误是

AttributeError: 'DataFrame' object has no attribute 'get'

但是，当我将数据框转换为Pandas数据框并使用完全相同的seaborn代码时，它可以工作

test_df = test.toPandas()
sns.lineplot(x = "Age", y = "value", hue = "variable", data = test_df)

我是否对Spark Data Frame做任何错误。

Answer 1

尽管有很多相同的功能，但Spark数据框和pandas数据框在分配数据的位置和方式方面有所不同。

此步骤是正确的：

test_df = test.toPandas()

您将始终需要先收集数据，然后才能将其用于seaborn（甚至matplotlib）进行绘图