Python-有效地从大型json文件中找到唯一值

Question

我有一个json文件data_large ，大小为150.1MB。 文件内的内容的类型为[{"score": 68},{"score": 78}] 。 我需要找到每个项目的唯一分数列表。

这就是我在做什么：-

import ijson  # since json file is large, hence making use of ijson

f = open ('data_large')
content = ijson.items(f, 'item') # json loads quickly here as compared to when json.load(f) is used.
print set(i['score'] for i in content) #this line is actually taking a long time to get processed.

我可以使print set(i['score'] for i in content)效率更高print set(i['score'] for i in content) ？ 目前需要201秒才能执行。 可以提高效率吗？

Answer 1

这将为您提供一组唯一的分数值（仅）（以整数为单位）。 您需要150 MB的可用内存。 它使用re.finditer（）进行解析，这比json解析器（在我的计算机上）快大约三倍。

import re
import time
t = time.time()
obj = re.compile('{.*?: (\d*?)}')
with open('datafile.txt', 'r') as f:
    data = f.read()
s = set(m.group(1) for m in obj.finditer(data))
s = set(map(int, s))
print time.time() - t

使用re.findall（）似乎也比json解析器快大约三倍，它消耗约260 MB：

import re
obj = re.compile('{.*?: (\d*?)}')
with open('datafile.txt', 'r') as f:
    data = f.read()
s = set(obj.findall(data))

Answer 2

我认为没有什么办法可以改善很多事情。 最慢的部分可能只是在某些时候您需要解析整个JSON文件这一事实。 无论你做这一切在前面（与json.load ）或一点一点地（消耗来自发电机时ijson.items ），整个文件需要最终处理。

使用ijson的优点是，在任何给定时间，您只需要在内存中存储少量数据即可。 对于具有大约100兆字节数据的文件来说，这可能无关紧要，但是如果您的数据文件增长到千兆字节或更大，这将是非常大的事情。 当然，这也可能取决于您所运行的硬件。 如果您的代码要在内存有限的嵌入式系统上运行，那么限制内存使用就显得尤为重要。 另一方面，如果要在具有大量可用RAM的高性能服务器或工作站上运行，则可能没有任何理由推迟。

因此，如果您不希望数据过大（相对于系统的RAM容量），则可以尝试进行测试以查看是否从一开始就使用json.load读取了整个文件，然后使用set更快。 我认为没有其他明显的捷径。

Answer 3

在我的系统上，下面的简单代码可在18秒内处理10,000,000个分数（139兆字节）。 那太慢了吗？

#!/usr/local/cpython-2.7/bin/python

from __future__ import print_function

import json  # since json file is large, hence making use of ijson

with open('data_large', 'r') as file_:
    content = json.load(file_)
    print(set(element['score'] for element in content))

Answer 4

尝试使用一套

set([x['score'] for x in scores])

例如

>>> scores = [{"score" : 78}, {"score": 65} , {"score" : 65}]
>>> set([x['score'] for x in scores])
set([65, 78])