尝试将 txt 转换为 csv 并连接成一个文件时出现 MemoryError

Question

我有大约。 400 个 txt 文件，每个文件的大小在几 MB 到 1 GB 之间。 这些 txt 文件包含以长度分隔的数据。 例如考虑这两个 txt 文件（源文件中没有 header）：

文件1.txt：

AB;12345A;400E;500C
CD;12345B;400E;500C

文件2.txt：

EC;12345E;400E;500C
EF;12345E;400D;500E

（再一次：虽然有分号，但这些文件不是“;”分隔的，它们是长度分隔的。我使用 pandas read_fwf 读取它。）

我的第一种方法是读取每个 txt 文件，将其存储在 dataframe 中并将其附加/连接到一个大的 dataframe：

import pandas as pd
import glob
import csv


path = r'C:\folder\Test'
all_files = glob.glob(path + "\*.txt")


for filename in all_files:
    print(filename)
    col_lengths = {'Column1': range(0, 2), 
                   'Column2': range(3, 9), 
                   'Column3': range(10, 14),
                   'Column4': range(15, 19),
                  }
    col_lengths = {k: set(v) for k, v in col_lengths.items()}

    df = pd.read_fwf(filename, colspecs=[(min(x), max(x)+1) for x in col_lengths.values()], encoding='cp1252', header=None, names=col_lengths.keys(), 
               converters={'Column1':lambda x : str(x),
                          'Column2':lambda x : str(x),
                          'Column3':lambda x : str(x),
                          'Column4':lambda x : str(x),
                          }
               )
   
    li.append(df)

frame = pd.concat(li, axis=0, ignore_index=True)

frame.to_csv(r'C:\folder\Python test.csv', encoding='utf-8', index=False, sep=";", decimal=",", quoting=csv.QUOTE_NONE)

此代码适用于示例文件，但不适用于我的原始数据，出现 memory 错误（“无法分配...对于具有形状...和数据类型对象的数组）

我的第二种方法是读取每个 txt 文件，将每个文件存储为一个 csv 文件，然后再次读取每个文件并将其连接成一个大的 dataframe：

import pandas as pd
import glob
import csv
import os

path = r'C:\folder\Test'
all_files = glob.glob(path + "\*.txt")


for filename in all_files:
    col_lengths = {'Column1': range(0, 2), 
                   'Column2': range(3, 9), 
                   'Column3': range(10, 14),
                   'Column4': range(15, 19),
                  }
    col_lengths = {k: set(v) for k, v in col_lengths.items()}

    df = pd.read_fwf(filename, colspecs=[(min(x), max(x)+1) for x in col_lengths.values()], encoding='cp1252', header=None, names=col_lengths.keys(), 
               converters={'Column1':lambda x : str(x),
                          'Column2':lambda x : str(x),
                          'Column3':lambda x : str(x),
                          'Column4':lambda x : str(x),
                          }
               )
    # convert each txt file to a csv file
    df.to_csv(os.path.join(path, os.path.splitext(os.path.basename(filename))[0] + '.' + "csv"), encoding='utf-8', index=False, sep=";", decimal=",", date_format='%d.%m.%Y', quoting=csv.QUOTE_MINIMAL)

# read in csv files and concatenate
path = r'C:\folder\Test'

all_files = glob.glob(os.path.join(path, "*.csv"))

dtypes= {"Column1": str, "Column2": str, "Column3": str, "Column4": str}

df = pd.concat((pd.read_csv(f, sep=";", encoding='utf-8', dtype=dtypes, decimal=",") for f in all_files), ignore_index=True)

df.to_csv(os.path.join(path,"File.csv"), encoding='utf-8', index=False, sep=";", decimal=",", quoting=csv.QUOTE_MINIMAL)

不幸的是，同样的问题再次出现：使用示例文件，但使用我的原始数据我再次收到 memory 错误。

问题始终是pd.concat 。 我认为第二种方法可能更好，但结果 memory 错误出现得更早。

作为第三种方法，我尝试读取 txt 并导出为 pickle 文件，而不是 csv，然后尝试连接这些 pickle 文件：

import pandas as pd
import glob
import csv

path = r'C:\folder\Test'
all_files = glob.glob(path + "\*.pkl")

li = []

for filename in all_files:
    print(filename)
    
    df = pd.read_pickle(filename)
   
    li.append(df)

frame = pd.concat(li, axis=0, ignore_index=True)

frame.to_csv(r'C:\folder\Test\Test.csv', encoding='utf-8', index=False, sep=";", decimal=",", quoting=csv.QUOTE_MINIMAL)

好像跑的快了点，但是很快又出现了memory的错误。

在尝试其他数据格式（如 parquet、hdf5 或 dask 等其他技术）之前，我的问题是：有没有办法让它以更有效的方式运行，以某种方式让我绕过 memory 错误？

不幸的是，我的 RAM 大小限制为 16 GB。 Windows 64x 和 Python 64x。 当然，操作系统和其他后台进程会带走一些可用的 RAM。 也许有一个选项可以更改系统参数并使用更多 RAM，因为 Python Pandas 没有使用全部可能性，只是抛出这个错误，但是我不太喜欢玩这些系统参数，因为我认为根本原因可能是我解决这个问题的方式，我不能肯定地说，更多的 RAM 或者甚至将物理 RAM 大小增加到 32gb 会解决这个问题。

（关于我上面的代码：我知道lambda x: str(x) ，我认为可以简化为 str ，但无论如何这不会改变我的问题，仍然是 memory 错误问题。）

Answer 1

您可能根本不需要 Pandas； 只需读取每个文件并将它们 stream 合为一个：

import glob
import csv
import os

path = r"C:\folder\Test"
all_files = glob.glob(os.path.join(path, "*.txt"))

with open(os.path.join(path, "output.csv"), "w", encoding="utf-8") as outf:
    cw = csv.writer(outf, delimiter=";", quoting=csv.QUOTE_MINIMAL)
    cw.writerow(["Column1", "Column2", "Column3", "Column4"])
    for i, filename in enumerate(all_files):
        with open(filename, "r", encoding="cp1252") as inf:
            for line in inf:
                col1 = line[0:2]
                col2 = line[3:9]
                col3 = line[10:14]
                col4 = line[15:19]
                cw.writerow([col1, col2, col3, col4])

但是，如果你想使用 Pandas，你可以类似地将数据帧 stream 放入你事先打开的单个文件句柄中：

import pandas as pd
import glob
import csv
import os

col_lengths = {
    "Column1": range(0, 2),
    "Column2": range(3, 9),
    "Column3": range(10, 14),
    "Column4": range(15, 19),
}
converters = {col: str for col in col_lengths}
colspecs = [(x.start, x.end + 1) for x in col_lengths.values()]

path = r"C:\folder\Test"
all_files = glob.glob(os.path.join(path, "*.txt"))

with open(os.path.join(path, "output.csv"), "wb") as f:
    for i, filename in enumerate(all_files):
        df = pd.read_fwf(
            filename,
            colspecs=colspecs,
            encoding="cp1252",
            header=None,
            names=col_lengths,
            converters=converters,
        )
        df.to_csv(
            f,
            header=(i == 0),  # write header only for first file
            encoding="utf-8",
            index=False,
            sep=";",
            decimal=",",
            date_format="%d.%m.%Y",
            mode="wb",
            quoting=csv.QUOTE_MINIMAL,
        )