导入多个嵌套的csv文件并将其串联到一个DataFrame中

Question

我正在尝试读取多个具有相同结构（列名称）并且位于几个文件夹中的CSV文件。我的主要目的是将这些文件连接到一个熊猫数据框中。 请在附件的文件夹位置分布下面找到附件，因此每个文件夹包含5个CSV文件。 是否有任何预定义的功能或功能可以帮助您？

Answer 1

您可以使用glob.glob('*.csv')查找所有csv，然后将它们全部合并。

import glob
import pandas as pd

csv_paths = glob.glob('*.csv')
dfs = [pd.read_csv(path) for path in csv_paths]
df = pd.concat(dfs)

Answer 2

使用os.walk（）和pd.concat（） ：

import os
import pandas as pd
outdir = [YOUR_INITIAL_PATH]
df_final = pd.DataFrame(columns=['column1', 'column2', 'columnN']) # creates an empty df with the desired structure
for root, dirs, filenames in os.walk(outdir):
    for f in filenames:
        if f.endswith('.csv'):
            df_temp = pd.read_csv(root + '\\' + f)
            df_final = pd.concat([df_final, df_temp])

Answer 3

您可以使用os.walk()遍历目录树中的文件（ 示例 ）。 pd.read_csv()将单个文件读入数据帧。 pd.concat(df_list)将pd.concat(df_list)所有数据帧连接在一起。

我不相信有一种方法可以将以上所有内容结合在一起，以方便您使用。

Answer 4

疯狂的猕猴桃给了您正确的答案。 一个替代方法可能是使用dask假设您的文件夹结构是

data
├── 2016
│   ├── file01.csv
│   ├── file02.csv
│   └── file03.csv
├── 2017
│   ├── file01.csv
│   ├── file02.csv
│   └── file03.csv
└── 2018
   ├── file01.csv
   ├── file02.csv

然后，您可以通过阅读所有这些信息

import dask.dataframe as dd
import pandas as pd

df = dd.read_csv("data/*/*.csv")
# convert to pandas via
df = df.compute()

Answer 5

这是解决此问题的最佳方法：

import os
import glob
import pandas as pd


def nested_files_to_df(path,ext): 

    paths = []
    all_data = pd.DataFrame()

    #--- Putting all files name  in one list ---#

    for root, dirs, files in os.walk(path):
        for file in files:
            if file.endswith(tuple(ext)):
                s = os.path.join(root, file)
                paths.append(s)

    #--- Reading and merging all the  existing  excel files  into one  dataframe  ---#

    for f in paths:
        df = pd.read_excel(f)     
        all_data = all_data.append(df,ignore_index=True)

    return all_data

调用函数：

df= nested_files_to_df('Your main folder root',[".xls",".XLS",".xlsx"])