从文件名可变的文件夹中读取多个.csv文件

Question

我有一个包含可变数量文件的文件夹，并且每个文件的名称中都有一个可变字符串。 例如：

my_file V1.csv
my_file V2.csv
my_file something_else.csv

我需要：

1. 加载所有名称以“ my_file”开头的文件
2. 将所有这些连接在一个数据框中

现在，我对每个文件使用单独的pd.read_csv函数，然后将它们与串联合并。

这不是最佳选择，因为每次源文件夹中的文件更改时，我都需要修改脚本。

是否可以自动执行此过程，以便即使源文件发生更改也可以运行？

Answer 1

您可以相当容易地组合glob ， pandas.concat和pandas.read_csv 。 假设CSV文件与脚本位于同一文件夹中：

import glob

import pandas as pd

df = pd.concat([pd.read_csv(f) for f in glob.glob('my_file*.csv')])

Answer 2

for filename in os.listdir(directory):
     if filename.startswith("my_file") and filename.endswith(".csv"): 
         # do some stuff here
         continue
     else:
         continue