我如何為PySpark數據框創建一條線形圖？

Question

我有一個包含三列的數據框，我正在嘗試使用Seaborn庫繪制線圖，但它拋出一個錯誤，提示'DataFrame' object has no attribute 'get' 。 這是我的測試數據框

Age variable    value
31  Overall 69.76751118
31  Potential   69.76751118
31  Growth  0
34  Overall 68.91176471
34  Potential   68.91176471
34  Growth  0
28  Overall 69.05803996
28  Potential   69.05803996
28  Growth  0.24643197

這是我在讀取csv文件后嘗試使用seaborn線圖進行的操作

test = spark.read.csv("test.csv", inferSchema=True, header=True)
sns.lineplot(x = "Age", y = "value", hue = "variable", data = test)

我得到的錯誤是

AttributeError: 'DataFrame' object has no attribute 'get'

但是，當我將數據框轉換為Pandas數據框並使用完全相同的seaborn代碼時，它可以工作

test_df = test.toPandas()
sns.lineplot(x = "Age", y = "value", hue = "variable", data = test_df)

我是否對Spark Data Frame做任何錯誤。

Answer 1

盡管有很多相同的功能，但Spark數據框和pandas數據框在分配數據的位置和方式方面有所不同。

此步驟是正確的：

test_df = test.toPandas()

您將始終需要先收集數據，然后才能將其用於seaborn（甚至matplotlib）進行繪圖