簡體   English   中英

將spark數據幀列表保存到pyspark中的多個csv文件

[英]Save a list of spark data frames to multiple csv files in pyspark

我試圖通過這樣做將 spark dfs 列表寫入本地 csv:對於我而言: i.repartition(1).write.csv('D:\\cc_file.csv',header=True) ,並在第二次迭代,因為我已經在第一次創建了文件,它不會寫入具有相同文件名的文件。 我想知道是否有辦法在每次迭代中創建一個新的文件名。

謝謝!

嘗試用 f-string 書寫 -

for i in view: i.repartition(1).write.csv(f'D:\cc_file_{i}.csv',header=True)

並且文件名應該不同。

或者 -

    for i in view: i.repartition(1).write.csv(f"D:\cc_file_{i}.csv",header=True)

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM