如何通过第一列和项目值使用Python / Pandas遍历不同的CSV文件？

Question

我有一个文件夹，其中有100多个CSV文件，每个文件有4万多行。 我正在尝试按第一列遍历这些文件，该列具有ID号。 我的目的是在CSV文件中查找具有相同ID号的行，然后通过将具有相同ID号的行串联/放在一起来创建新的CSV文件。

我跳过了前4行，因为它们的数据不相关。

我当前的代码是：

输入目录中的文件夹

for root, dirs, files in os.walk(csv_directory):
    for item in files:
        if item.endswith(".csv"):
            date_string = item.split(".")[1]
            year_string = date_string[:4]
            file_directory = os.path.join(root,item) 
            list_csv = []
            print "Reading %s ..." % item

            # Reads the .csv files  
            with open(file_directory , 'rb') as file:
                reader = csv.reader(file, delimiter = ',')
                next(reader)
                next(reader)
                next(reader)
                next(reader)

                # Takes all rows for ID, col2 ,col3 in the directory
                for row in reader:
                    index = [0,1,8]
                    list_csv.append(row[i] for i in index)
                    list_csv.append(date_string)
                    list_total.append(list_csv)

            print len(list_total) , "rows are added."


print "Total Number of Rows: " , len(list_total)

任何帮助将非常感激！！

Answer 1

您可以按照以下方式使用。

import pandas as pd
from os import listdir
from os.path import join
source_path, dst_path = 'source/path', 'dst/path'

获取所有.csv文件：

files = [f for f in listdir(source_path) if f.endswith('.csv')]

读取所有.csv文件，并使用pd.concat()进行合并-与40K行中的〜100个文件组成每个文件，您将拥有〜4m行，除非每个文件具有大量列，否则该行应该是可管理的：

all_files = pd.concat([pd.read_csv(join(source_path, f_name), skiprows=4) for f_name in files])

使用.groupby()将所有文件按id分组（假定在'id_column'找到），并将所有相同ID的文件保存回.csv ：

files_by_id = all_files.groupby('id_column')
for id, data in files_by_id:
    data.to_csv(join(dst_path, 'file_{}.csv'.format(id)))