如何在一个数据结构中压缩许多字符串？

Question

我有一个要索引的500GB XML文档集合。 我目前只能用32GB的RAM索引此集合的6GB。

我的索引结构是HashMap<String, PatriciaTrie<String, Integer>> ，其中第一个字符串表示一个术语，第二个字符串的格式为filepath+XPath ，最后一个整数表示出现的次数。

我使用了trie来减少共享前缀，并且因为我需要对数据进行排序。 它在压缩方面有所帮助，但还不够。

在此数据结构中，文件filepath+XPath字符串的总集合在1TB到4TB之间。 我需要能够将此数据结构完全压缩到内存中。 目标计算机具有256GB RAM和16个CPU内核。 更少的内存具有多项额外的好处（例如减少冷启动时间）。 索引时间没什么大不了的。

XPath代表大约250种节点类型。

我目前正在使用的方法将根据接下来可能出现的标签为每个2个标签系列构建一个Huffman表。 通常，这会将选项减少到大约4或5，这允许将XPath编码为短得多的位串，然后可以将其编码为字节。

字符串通常为40-600字节（UTF-8），我相信这会将文件路径前缀（前40个字符，由trie压缩）之后的所有内容减少到最大12个字节（树上最深的点）该结构的深度大约为12个节点，每个节点的最坏状态为1个char表示，索引的索引为12个字节（可变字节编码，只有很少的元素包含大于256的索引），产生的字符串通常在40范围内-64个字节。

我认为这是一个好方法，但是我想我可能会遗漏一些东西。

• 是否有更好的方法来压缩此数据结构或其中的数据？
• 人们通常如何在同一数据结构中压缩许多字符串？
• 是否有任何现有解决方案可根据整个集合独立地压缩许多字符串？
• 在字符串进入这样的数据结构之后，是否有任何好的技术可以基于它们之间共享的结构来压缩尝试？

Answer 1

我认为这里最大的问题是每个术语存储的数据过多。 您没有说您有多少个唯一术语或有多少个单独的文件，但我将给出一些示例数字。

假设您在200个不同的文件中有200,000个唯一术语。 因此，每个唯一项的权重至少为一个文件路径或40个字节。 那就是在开始索引任何东西之前。

您应该能够将此数据压缩到filepath+Xpath字符串表和术语列表中，每个术语都包含对该表中条目的引用。 因此，例如，您可能具有：

路径表：

index   Path
  1   file+xpath1
  2   file+xpath2
  3   file+xpath3
  ...
999   file+xpath999

条款

term  references
foo   1, 19, 27, 33, 297
bar   99, 864, 865
...

现在，您的路径表可能仍然太大。 您首先想到的是建立一个文件表，并使路径的第一部分将一个索引输入到文件表中。 因此，您最终得到：

档

  1  file1.xml
  2  file2.xml
 ...
999  file999.xml

然后您的路径变为：

  1  1,xpathA
  2  1,xpathB
  3  2,xpathQ
  ...

如果之后需要更多压缩，请构建一个包含xpath项的字符串表，并且路径条目将成为该表的一系列索引。 不过，您在这里必须要小心，因为数组或列表的分配开销会使简短列表变得非常昂贵。 如果走这条路线，则需要将路径列表编码为一个大的二进制数组，并对其进行索引。 例如。

词表

1 the
2 quick
3 brown
4 fox

路径

index  path
0      1(index of file),2(quick),4(fox),-1(terminator)
4      3(index of file),3(brown),-1(terminator)
7      etc . . .

Paths表只是一个大数组，看起来像这样：

1,2,4,-1,3,3,-1,...

因为没有字符串被存储超过一次，所以这使数据存储成本最小化。 您所拥有的只是字符串表和对这些字符串的引用。 占用的空间将如下所示：

Combined length of all file names
Combined length of all path segment terms
(number of paths) * (average path length) * (size of integer index)
(number of terms) * (average number of references per term) * (size of integer index)

可以在内存中构建它。 不知道您有多少个单独术语很难说。 如果使用单词列表，则将需要字典来提供文件名，路径和各个路径段的字典。 但是，如果您有足够的内存，则可以一次完成所有操作。

如果在构建时没有足够的内存来容纳整个树，则可以加载文件名并在内存中维护路径表。 当您在文件中找到每个术语时，将其与路径参考一起写入磁盘。 您最终得到的磁盘文件如下所示：

term, path reference
term, path reference
...

使用外部排序程序按术语排序，然后遍历并合并重复项。 完成后，您将得到一个包含以下内容的文件：

File names table
Path segments table
Paths
terms

查找真的很容易。 找到术语，在路径表中查找每个引用，然后通过索引文件名和路径段表来解码路径。

几年前，我使用了类似的方法，效果很好。 您应该能够编写一个程序来分析您的数据以得出数字（唯一路径，文件名数量，每个术语的平均引用数等）。 从那里，您可以轻松确定使用此技术是否适合您。