如何串联目录中的所有CSV，并使用Python将CSV名称添加为列

Question

• 我有一个包含约100 CSV的文件夹（ Downloads/challenges ）。
• 每个CSV具有相同的50+列。
• 每个CSV的标题都类似于azerbaijan_challenge_entrants.csv 。

我想创建一个新的CSV（ all_entrants.csv ），其中包括所有100个CSV的所有数据，并添加一列新内容： challenge ，其中应包括行数据来自的CSV的名称。

我通常喜欢Python这样的任务。 但是我正在努力使这项工作。 任何帮助，将不胜感激！

Answer 1

使用标准库和3rd party库pandas os可以实现：

import os
import pandas as pd

mypath = os.path.join('Downloads', 'challenges')

# get list of files
files = [f for f in os.listdir(mypath) if os.path.isfile(os.path.join(mypath, f))]

# build list of dataframes, adding "challenge" column
dfs = [pd.read_csv(os.path.join(mypath, f)).assign(challenge=f) for f in files]

# concatenate dataframes into one
df = pd.concat(dfs, ignore_index=True)

# write to csv
df.to_csv('all_entrants.csv')