如何在没有 Pandas 的情况下合并 CSV？

Question

例如，我有 3 个文件 1.csv、2csv、3csv。 我需要将它们合并到一个文件中。csv。

我正在为此苦苦挣扎。

到目前为止，我这样做了

import csv
import glob
import os
from loguru import logger

if __name__ == '__main__':
    logger.info('Start')

    csvFilesPath = ['1.csv', '2.csv', '3.csv']
    res = []

    for csvFilePath in csvFilesPath:                                
        logger.info(csvFilePath)                                    
        with open(csvFilePath) as csvfile:                          
            csv_reader = csv.DictReader(csvfile, delimiter=',')     
            for row in csv_reader:                                  
                print(row)

Answer 1

由于您在示例中使用了 DictReader，因此我假设所有输入 CSV 都有一个标题 - 并且相同的 header。

在您开始阅读之前，当您创建将合并文件的 DictWriter 时，您需要知道 header 是一个“鸡和蛋”的问题。 有一些方法可以解决这个问题，但它们很老套。

我认为打开第一个文件，读取它的 header 并创建编写器，然后开始读取以进行合并会更清楚：

import csv

file_paths = ["file1.csv", "file2.csv", "file3.csv"]

# Sample first file for its header
header = []
with open(file_paths[0], newline="") as f_in:
    reader = csv.DictReader(f_in)
    header = reader.fieldnames

# Create writer with header
f_out = open("merged.csv", "w", newline="")
writer = csv.DictWriter(f_out, fieldnames=header)

# Start iterating, reading, merging
for file_path in file_paths:
    with open(file_path, newline="") as f_in:
        reader = csv.DictReader(f_in)
        for row in reader:
            writer.writerow(row)

f_out.close()

我模拟了这三个输入 CSV：

file1.csv

| h1     | h2     |
|--------|--------|
| f1r1c1 | f1r1c2 |
| f1r2c1 | f1r2c2 |

file2.csv

| h1     | h2     |
|--------|--------|
| f2r1c1 | f2r1c2 |
| f2r2c1 | f2r2c2 |

file3.csv

| h1     | h2     |
|--------|--------|
| f3r1c1 | f3r1c2 |
| f3r2c1 | f3r2c2 |

当我运行该程序时，我得到了最终的合并 CSV：

| h1     | h2     |
|--------|--------|
| f1r1c1 | f1r1c2 |
| f1r2c1 | f1r2c2 |
| f2r1c1 | f2r1c2 |
| f2r2c1 | f2r2c2 |
| f3r1c1 | f3r1c2 |
| f3r2c1 | f3r2c2 |