使用大型数据结构时，避免在Java（eclipse）中出现“内存不足错误”？

Question

好的，因此我正在编写一个程序，不幸的是，该程序需要使用巨大的数据结构来完成其工作，但是在初始化过程中，它由于“内存不足错误”而失败。 尽管我完全理解这意味着什么以及它为什么会产生问题，但是我很难克服它，因为我的程序需要使用这种大结构，而且我不知道其他任何存储方法。

该程序首先索引我提供的大量文本文件。 这很好。

然后，它使用该索引来初始化大型2D数组。 该数组将具有n²个条目，其中“ n”是文本语料库中唯一单词的数量。 对于我要测试的相对较小的块（约60个文件），它需要输入大约30,000x30,000条目。 一旦我也用我的全部预期语料来运行它，它可能会更大。

它在初始化数据结构（以后将要处理）时，每次在索引后始终会失败。

我所做的事情包括：

• 修改我的代码以使用原始int[]而不是TreeMap
• 消除多余的结构等
• 另外，我用-Xmx2g运行了程序，以最大化分配的内存

我相当有信心，这不会成为简单的代码解决方案，但很有可能需要一种非常新颖的方法。 我在寻找那种方法，有什么想法吗？

谢谢，B。

Answer 1

听起来（对于您使用数组的目的做一些假设）大多数条目将为0。如果这样，则可以考虑使用稀疏矩阵表示形式。

如果您确实有很多条目（即使没有开销，您当前的阵列已经超过3 GB ），那么您将不得不使用某种磁盘存储或惰性加载/卸载系统。

Answer 2

内存不足问题有多种原因。

首先，最简单的情况是您仅需要更多堆。 当程序可以2G正常运行时，您正在使用512M最大堆。 通过将-Xmx2048m作为JVM选项进行增加，就可以了。 还应注意，根据数据的组成，64位VM最多会使用32位VM两倍的内存。

如果问题不是那么简单，那么您可以考虑进行优化。 用基元等替换对象。 这可能是一个选择。 根据您发布的内容，我不能说真的。

但是最终，您走到了一条十字路口，必须在虚拟化和分区之间做出选择。

在这种情况下， 虚拟化只是意味着以某种形式假装内存比实际更多。 操作系统将其与虚拟地址空间一起使用，并将硬盘空间用作额外的内存。 这可能意味着仅一次将某些数据结构保留在内存中，并将其余数据持久保存到辅助存储（例如文件或数据库）。

分区会将您的数据分散在多个服务器（真实或虚拟）上。 例如，如果您要跟踪纳斯达克的股票交易，则可以在服务器1上放置以“ A”开头的代码，在服务器2上放置以“ B”开头的股票代码，等等。您需要找到一种合理的方法来分割数据，以便减少或消除交叉通信的需求，因为这种交叉通信限制了您的可伸缩性。

如此简单的情况，如果要存储的是30K个单词和30K x 30K个单词的组合，则可以将其分为四个服务器：

• AM x AM
• AM x纽西兰
• NZ x AM
• NZ x NZ

那只是一个主意。 同样，在不了解具体细节的情况下很难做出评论。

Answer 3

这是处理大型数据集的常见问题。 您可以根据需要进行任意优化，但是内存将永远不够（可能），并且一旦数据集增长得更多，您仍然会抽烟。 最具可扩展性的解决方案只是保留更少的内存，处理块并将结构保留在磁盘（数据库/文件）上。

Answer 4

如果您不需要二维数组中每个值的完整32位（整数大小），也许较小的类型（例如字节）可以解决问题？ 另外，您应该给它尽可能多的堆空间-对于现代系统，2GB仍然相对较小。 RAM很便宜，特别是如果您希望在内存中进行大量处理。