在 emr 上的 pyspark jupyter notebook 中创建折线图

Question

我在 aws emr 上运行 pyspark。 我有一个 jupyter 笔记本，在 aws emr 上的 jupyter hub 中运行。 我已将数据读入名为 clusters_df 的 spark dataframe。 我不是要创建一个简单的折线图，其中 k 为 x 轴，得分为 y 轴。 我尝试将 dataframe 转换为 pandas dataframe，因为我认为 spark 没有内置数据可视化。 当我尝试在 jupyter notebook 中显示图表时，我收到以下消息。 我也试过 matplotlib。 两个代码示例都在下面，并带有返回的消息。 谁能建议如何使用在 emr 上运行 pyspark 的 jupyter 笔记本创建折线图？

导入的库：

import pyspark
##### running on emr
## function to create all tables
from pyspark.sql.types import *
from pyspark.context import SparkContext
from pyspark.sql import Window
from pyspark.sql import SQLContext
from pyspark import SparkConf
from pyspark.sql import SparkSession

from pyspark.sql.functions import col
from pyspark.sql.functions import first
import pyspark.sql.functions as func
from pyspark.sql.functions import lit,StringType,coalesce,lag,trim, upper, substring
from pyspark.sql.functions import UserDefinedFunction
from pyspark.sql.functions import round, explode,row_number,udf, length, min, when, format_number
from pyspark.sql.functions import  hour, year, month, dayofmonth, date_add, to_date,datediff,dayofyear, weekofyear, date_format, unix_timestamp

from pyspark.ml.evaluation import RegressionEvaluator
from pyspark.ml.recommendation import ALS
from pyspark.ml.feature import MinMaxScaler, PCA
from pyspark.ml.feature import VectorAssembler
from pyspark.ml import Pipeline
from pyspark.sql.functions import udf
from pyspark.sql.types import DoubleType
from pyspark.ml.feature import StandardScaler


import traceback
import sys
import time
import math
import datetime
import numpy as np
import pandas as pd

导入 dataframe：

clusters_df=sqlContext.read.parquet("path")

代码：

clusters_df.toPandas().plot.line(x="k",y="score");

output：

<AxesSubplot:xlabel='k'>

代码：

%matplotlib inline

import matplotlib.pyplot as plt

pnds_df=clusters_df.toPandas()

plt.plot(pnds_df['k'],pnds_df['score'])

plt.show()

output：

---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
<ipython-input-33-5e7649bc56fb> in <module>
      3 import matplotlib.pyplot as plt
      4 
----> 5 pnds_df=clusters_df.toPandas()
      6 
      7 plt.plot(pnds_df['k'],pnds_df['score'])

NameError: name 'clusters_df' is not defined