Python中大数据结构的性能

Question

我在寻找有助于理解Python中大型列表，字典或数组的性能特征的帮助。 我大约需要暂时存储100万个键值对（明年将增长到1000万个）。 它们的键是数据库ID，范围从0到约1.1M（有一些空隙），值是浮点数。

我正在计算pagerank，因此我的过程是将每个ID初始化为1，然后在内存中查找并更新大约十次，然后再将其保存回数据库。

1. 我认为如果使用数据库ID作为数组/列表的索引，则列表或数组最快。 这将创建一个松散的数据结构，但我不知道查找或更新将有多快。 我还不了解使用arrays而不是列表是否有很大的收获。

2. 为此，使用具有键值对的字典是很自然的，但是我第一次建立dict的印象会很慢并且会占用更多内存，因为它会容纳所有条目。

3. 我还读到了SQLite也许可以使用:memory:标志来解决这个问题，但是我还没有深入研究。

无论如何，只是在这里寻找一些指导。 当我深入研究时，任何想法都将不胜感激。

Answer 1

只是从字典开始。 即使您在WinXP上运行， 1000万个密钥也不是问题。 但是我希望你不是:)

字典将更易于编码，并且可能更容易构建和更新，尤其是如果您以随机顺序更新值时。

通常最好开始编写原型并使用它来识别性能问题。 无论您从哪里请求数据，瓶颈都将很可能出现。 不输入字典或从字典中检索它。

Answer 2

借助键的内置散列 ，在字典中查找数据需要O（1）时间。 当然，对于大量数据，将需要花费线性时间来解决冲突 ，但是具有1000万个项目的命令应该可以正常工作。 不要在长列表中搜索数据，因为这将花费线性（O（n））时间。

但是，请根据您打算如何处理数据来考虑使用numpy 。 仅用于存储和检索，字典是完美的，但是使用numpy的矢量化而不是使用loop可以极大地加速大量数据的计算。

当您需要执行更复杂的查询（搜索多个键或定义要匹配的条件）时，就会出现SQL。 对于简单的键/值对，SQL似乎是过大了。

Answer 3

好吧，通常来说，如果您有太多的数据要保留在内存中，则需要使用某种外部存储； 如果所有数据都适合存储在内存中，则无需进行任何花哨的操作。

您可能遇到的最大问题是，如果单个进程映像中的数据量超过操作系统允许的数据量，则可能是最大的问题。 在这种情况下，您将再次需要外部存储。

在两种情况下，这都归结为：使用数据库，无论是sql还是否。 如果是sql数据库，则您可能希望使用ORM使其更容易。

但是，直到遇到此问题，才将所有内容存储在内存中，然后序列化到磁盘。 我建议使用cPickle或ORM + sqlite。