从多个 json 文件创建 Pandas dataframe

Question

我有一个充满 JSON 文件的目录，我需要从中提取信息并将其转换为 Pandas dataframe。 我目前的解决方案有效，但我觉得有一种更优雅的方式来做到这一点：

for entry in os.scandir(directory):
    if entry.path.endswith(".json"):
        with open(entry.path) as f:
            data = json.load(f)
            ...
            newline = field1 + ',' + field2 + ',' + ... +  ',' + fieldn
            output.append(newline)
...
df = pd.read_csv(io.StringIO('\n'.join(output)))

Answer 1

是的，这可以做得更好。

import os
import pandas as pd
from glob import glob

all_files = glob(os.path.join(path, "*.json"))
ind_df = (pd.read_json(f) for f in all_files)
df = pd.concat(ind_df, ignore_index=True)

使用生成器将节省大量计算和 memory。