Python + Pandas + Spark-如何将数据框导入Pandas数据框并将其转换为字典？

Question

如何将数据框导入Pandas数据框并将其转换为字典？

我有从Spark创建的数据框，

sc = SparkContext(appName="PythonSQL")
    sqlContext = SQLContext(sc)

    path = os.path.join(os.environ['SPARK_HOME'], "examples/src/main/resources/people.json")

# Create the DataFrame
df = sqlContext.read.json(path)

# Register this DataFrame as a table.
df.registerTempTable("people")

# SQL statements can be run by using the sql methods provided by sqlContext
teenagers = sqlContext.sql("SELECT name FROM people")

sc.stop()

当我尝试将其导入熊猫时，

teenagers = pd.DataFrame(teenagers, columns=['name'])

我得到这个错误，

[客户端127.0.0.1:50885] PandasError：未正确调用DataFrame构造函数！

毕竟，我只想将数据框转换为字典，

dict = teenagers.set_index('name').to_dict()
print dict

有任何想法吗？

Answer 1

可以使用toPandas方法将Spark DataFrame转换为pandas DataFrame。