如何使用PySpark从Panda数据帧写入Spark SQL表？

Question

使用pandas.DataFrame.to_sql（）方法，您可以将数据框的结果写出到数据库中。 在标准RDBMS的上下文中，这可以正常工作。 但是如何通过PySpark在Spark SQL中使用它？ 我需要此方法的连接参数-那可以是什么？

谢谢，马特

Answer 1

SparkSQL与连接到SQL引擎的to_sql（）无关。 如果sc是您的SparkContext

import pandas as pd
df = pd.DataFrame({'Name':['Tom','Major','Pete'], 'Age':[23,45,30]})

from pyspark import SQLContext
sqlc = SQLContext(sc)

spark_df = sqlc.createDataFrame(df)