如果我有一个CSV文件的Python列表，如何将它们全部合并为一个巨型CSV文件？

Question

我创建了这样的文件列表：

merge_files = []
for i in range(2, 12):
    merge_files.append(pandas.read_csv(final_user_study_path + "/P" + str(i) + "/DataCollection/data/merge.csv"))

我想使用此列表中的所有文件创建一个巨大的csv文件。

这是最有效的方法吗？

Answer 1

我建议使用unix shell。 如果它们没有标题，或者只有第一个标题：

cat file1.csv file2.csv ... fileN.csv > result.csv

如果它们具有标题，则必须先将其剪下：

cat file1.csv > result.csv
for i in {1..N}; do tail +2 file$i.csv >> result.csv; done

如果文件位于不同目录中，请使用每个文件的路径：

cat path1/file.csv path2/file.csv > result.csv

Answer 2

大熊猫的方式是在数据帧上使用concat，如果您也想执行一些操作（例如过滤，删除重复项等），这可能会很有用。

import io
import pandas as pd

我们创建两个文件

csv1 = "a,b\n1,2"
csv2 = "a,b\n3,4"

file1 = io.StringIO(csv1)
file2 = io.StringIO(csv2)

循环遍历并合并：

pd.concat((pd.read_csv(i) for i in [file1,file2])).to_csv(index=False)

结果是：

'a,b\n1,2\n3,4\n'

---

以一种可读的方式（我的首选方式）为您适应：

files = []
for i in range(2, 12):
    path = "{}/P{}/DataCollection/data/merge.csv".format(final_user_study_path,i)
    files.append(path)

pd.concat((pd.read_csv(i) for i in files)).to_csv("output.csv",index=False)