如何将带有熊猫的csv转换为json

Question

我需要将多个巨大的csv文件（每个100k +行，100 +行）转换为JSON，以进行进一步处理。 我想到了将csv线程化和拆分为块以便更快地处理，但是无法通过内置的csv库使python只读取某些行。 因此，我想到了pandas.read_csv。 但是，现在我想不出一种将熊猫数据帧很好地转换为json而又不会由于实现循环而降低所有性能的高效方法。

我已经有一个单线程串行解析文件。 正常运行，速度非常慢，并且每天都会更新数据，因此每天重做一次都不好玩...

header = next(f)
for row in f:
    data[row[0]] = dict()
    e = 0
    for element in row[1:]:
        e += 1
        if element != "":
            try:
                data[row[0]][header[e + 1]] = int(element)
            except ValueError:
                data[row[0]][header[e+1]] = element

结果应该保持不变，只是要快得多...

data = pd.read_csv(file_name, skiprows=self.chunk, nrows=self.steps)
data = data.to_dict(orient="records")

这将是我的开始，但到现在为止，除了缓慢的循环之外，什么都没有。 现在，数据是所有行的列表，每行包含一个字典，该字典包含上一行的键（不是标题），并且期望值为值：

[{row_above_chunk[0] = row[0], row_above_chunk[1] = row[1], row_above_chunk[2] = row[2], ...}, {...}]

Answer 1

似乎有一个复合问题：

• 读取大数据文件
• 将该数据转储到JSON文件中

您可以使用如下形式：

with open('DataDump.json', 'w') as file:
dfs = pd.read_csv('FilePATH.csv', chunksize=50000)
for df in dfs:
    df.to_json(file)

这将使用chunksize和df.to_json()以及更多文档 。

您可以更改chunksize的东西适合你的内存容量。