使用 Python 合並不同文件夾中的 CSV 個文件

Question

我有大約 5600 個目錄結構如下：

我需要將所有 A 文件合並到一個文件中，將所有 B 文件合並到另一個文件中，依此類推。

我怎樣才能做到這一點？

Answer 1

IIUC，這應該適用於您的情況（我在每個 2 個文件A.csv和B.csv中使用了帶有 2 個子目錄Dir1和Dir2的RootDir ）。 您可以更改rootdir的值以匹配您的用例：

import os
import pandas as pd
rootdir = 'RootDir' # Change when needed to your root directory
files = [os.path.join(dp, f) for dp, dn, filenames in os.walk(rootdir) for f in filenames if os.path.splitext(f)[1] == '.csv']
names = set([x.rstrip('.csv').split('/')[-1] for x in files])
df_dict = {key: pd.DataFrame() for key in names}
for file in files:
    key = file.rstrip('.csv').split('/')[-1]
    df = pd.read_csv(file)
    df_dict[key] = pd.concat([df_dict[key], df])

df_dict是以A和B為鍵的數據幀 df_dict 的字典。

使用df_dict['A']訪問 DataFrame A等等......