将pyspark sql查询输出写入csv文件

Question

我执行sql查询，将其转换为pandas然后写入csv文件的代码如下，但在执行时看到错误。

src_query = """select * from table"""

df = spark.sql(src_query).toPandas()

df.write.csv('output.csv', index=False)

这是我在执行它时在最后一行看到的错误 - “无效语法” 任何人都可以分享有关如何轻松将 spark 输出写入 csv 文件的任何提示吗？

Answer 1

这是pyspark的语法。

df.write.csv

但是，您使用此将数据帧转换为Pandas数据帧。

df = spark.sql(src_query).toPandas()

因此， df是熊猫对象，您需要使用熊猫语法。

df.to_csv('output.csv', index=False)

Answer 2

试试这个看看

filename='output.csv'
df.to_csv(file_name, encoding='utf-8', index=False)