迭代地解析JSON文件

Question

我有1000多个JSON文件，看起来像

{
    "name": "Some name",
    "part_num": "123456",

    "other_config": {
        // Large amount of objects
    },
    "some more": {
        // Large amount of objects
    }
    // etc
}

当我的程序启动时，它必须使用所有这些JSON文件扫描目录，加载每个文件，并提取"name"和"part_num"值并使用这些值填充列表视图。 然后，用户选择一个，然后重新解析该配置，然后采取适当的操作。

问题是阅读许多文件需要一段时间。 我已经通过使用multiprocessing在后台抛出所有可用内核的工作，然后在完成后填充列表视图，但我仍然受到IO的限制。 因为我知道这个代码将在比我的处理器和硬盘驱动器更慢的计算机上运行，​​所以这个速度是不可接受的。

平均情况是我需要的值是在文件的开头，但我不能假设在最坏的情况下。 有没有办法迭代解析JSON文件，以便我可以更快地从这些文件加载​​我需要的东西？

我可以诉诸正则表达式， 但我真的不愿意 。

Answer 1

YAJL是一个带有Python绑定的事件驱动的解析器。 这样，一旦检索到所需信息，就可以停止解析。

Answer 2

这让我想起了当天的XML，当时我们有三种解析器样式：基于DOM，基于事件（例如，SAX），以及鲜为人知的基于拉的（例如，StAX）。 后两者效率更高，因为当你只需要它们时，它们不需要将整个文件加载到内存中。

幸运的是，JSON存在类似的事情。 对于Python，请查看yajl-py ，它是C-library Yajl的Python包装器。

通过基于事件的解析器解析需要更多的代码，但它可以更高效。

Answer 3

有一个ijson执行以pythonc方式执行迭代json解析。

我猜你的问题的解决方案是：

import ijson

f = open('...')
objects = ijson.items(f, 'other_config.item')
for part in objects:
    do_something_with(part)

免责声明我没有使用该库。