Pyspark 读取所有文件并在转换后将其写回同一文件

Question

嗨，我在目录 Folder/1.csv Folder/2.csv Folder/3.csv 中有文件

我想在 pyspark 数据帧/rdd 中读取所有这些文件并更改一些列值并将其写回同一个文件。 我已经尝试过了，但它在文件夹 part_000 中创建了新文件，但我想在修改列值后将数据写入同一个文件，无论 1.csv 、 2.csv、3.csv 中的内容是什么

如何使用循环或将文件加载到每个数据帧或如何使用数组或任何逻辑来实现这一点？

Answer 1

假设在转换后 df_1、df_2 和 df_3 是将保存回同名文件夹中的数据名。

然后，您可以使用此功能：

def export_csv(df, fileName, filePath):
  
  filePathDestTemp = filePath + ".dir/" 

  df\
    .coalesce(1)\
    .write\
    .mode('overwrite')
    .save(filePathDestTemp) 

  listFiles = dbutils.fs.ls(filePathDestTemp)
  for subFiles in listFiles:
    if subFiles.name[-4:] == ".csv":
      
      dbutils.fs.cp (filePathDestTemp + subFiles.name,  filePath + fileName+ '.csv')

  dbutils.fs.rm(filePathDestTemp, recurse=True)

...并为每个 df 调用它：

export_csv(df_1, '1.csv', 'Folder/')
export_csv(df_2, '2.csv', 'Folder/')
export_csv(df_3, '3.csv', 'Folder/')